kafka在linux怎么调优

下面从 Linux 系统层面 + Kafka 自身参数层面 给你一个比较实用的 Kafka 调优清单（偏生产环境）。

一、Linux 系统层面调优

1. 文件描述符（File Descriptors）

Kafka 大量使用文件和网络连接。

# 查看
ulimit -n

# 修改（/etc/security/limits.conf）
* soft nofile 100000
* hard nofile 100000

Kafka 启动用户也要生效。

2. 磁盘 I/O 调优

✅ 使用 SSD / NVMe（强烈推荐）

Kafka 是 顺序写磁盘，但对 IOPS 仍敏感。

文件系统

3. 磁盘调度策略

# 查看
cat /sys/block/sd*/queue/scheduler

# 推荐（SSD）
echo noop > /sys/block/sdb/queue/scheduler
# 或
echo none > /sys/block/sdb/queue/scheduler

4. 内存 & Swap

# 尽量少用 swap
sysctl vm.swappiness=1

5. 网络参数（重要）

# /etc/sysctl.conf
net.core.somaxconn = 4096
net.core.netdev_max_backlog = 4096
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 600

sysctl -p

二、Kafka 服务端（broker）调优

1. JVM 参数（关键）

bin/kafka-server-start.sh 或 KAFKA_HEAP_OPTS

export KAFKA_HEAP_OPTS="-Xms8g -Xmx8g"

建议：

不超过物理内存的 50%
使用 G1GC（Kafka 2.x+）

-XX:+UseG1GC
-XX:MaxGCPauseMillis=200

2. 日志 & 刷盘策略

server.properties

# 不每次刷盘（靠 OS page cache）
log.flush.interval.messages=10000
log.flush.interval.ms=1000

# 段大小
log.segment.bytes=1073741824

3. 分区 & 副本

分区数 ≈ 消费者并发数 × 倍数
副本数一般 3

default.replication.factor=3
min.insync.replicas=2

4. 网络线程 & IO 线程

num.network.threads=8
num.io.threads=16

（根据 CPU 核数调整）

5. 压缩（推荐）

compression.type=snappy
# 或 lz4（性能更好）

三、Producer 调优

acks=1 或 all
batch.size=16384 ~ 65536
linger.ms=5 ~ 20
compression.type=lz4
buffer.memory=67108864

四、Consumer 调优

fetch.min.bytes=1024
fetch.max.wait.ms=500
max.poll.records=500

消费逻辑要快，避免阻塞。

五、监控（必做）

Kafka Exporter + Prometheus
监控指标：
- Under Replicated Partitions
- Request Handler Idle
- Disk Util
- GC Time

六、一句话总结

Kafka 调优 = 足够内存 + 快磁盘 + 合理分区 + 不频繁刷盘 + 网络够宽

如果你能告诉我：

Kafka 版本
机器配置（CPU / 内存 / 磁盘）
使用场景（日志 / 订单 / 实时计算）

我可以给你一套 针对性参数模板。