linux kafka怎么调优

在 Linux 上运行 Kafka 时，调优通常分为 OS / 磁盘 / 网络 / JVM / Kafka 参数 / 生产消费端 几个层面。下面给你一份偏实战、可落地的调优清单。

一、Linux 系统层调优（非常重要）

1. 磁盘与文件系统

Kafka 对磁盘顺序写依赖极强。

使用 SSD / NVMe（高吞吐场景）
文件系统用 XFS / ext4
挂载参数建议（ext4）：

mount -o noatime,nodiratime,discard /dev/sdb /kafka

关闭 atime 更新
多磁盘做 JBOD（不要 RAID5/RAID6）

2. 文件描述符

Kafka 会打开大量文件：

ulimit -n 100000

/etc/security/limits.conf：

kafka soft nofile 100000
kafka hard nofile 100000

3. 内存 & 页缓存

Kafka 依赖 OS Page Cache，不要给 JVM 太大内存。

系统内存：≥ 32G 推荐
JVM Heap：6~8G 足够
剩余内存留给 Page Cache

4. 网络参数（/etc/sysctl.conf）

net.core.somaxconn = 4096
net.core.netdev_max_backlog = 4096
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.tcp_tw_reuse = 1
vm.swappiness = 1
vm.dirty_ratio = 10
vm.dirty_background_ratio = 5

sysctl -p

二、JVM 调优

/opt/kafka/bin/kafka-server-start.sh 或 KAFKA_HEAP_OPTS

export KAFKA_HEAP_OPTS="-Xms6g -Xmx6g"
export KAFKA_JVM_PERFORMANCE_OPTS="
-XX:+UseG1GC
-XX:MaxGCPauseMillis=200
-XX:InitiatingHeapOccupancyPercent=35
"

建议：

G1GC
Heap 不要超过 8G
避免 Full GC

三、Kafka Broker 核心参数调优

server.properties 关键项：

1. 基础性能

num.network.threads=8
num.io.threads=16
num.replica.fetchers=4

2. 日志 & 刷盘

Kafka 靠副本保证安全，不依赖频繁刷盘：

log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.flush.scheduler.interval.ms=2000

高吞吐场景甚至可以更大

3. 段文件 & 保留

log.segment.bytes=1073741824
log.retention.hours=72
log.cleaner.enable=true

4. 副本 & ISR

default.replication.factor=3
min.insync.replicas=2
unclean.leader.election.enable=false

四、Producer 调优（非常重要）

acks=all
retries=5
batch.size=64KB~128KB
linger.ms=5~20
compression.type=lz4
buffer.memory=64MB
max.in.flight.requests.per.connection=5

✅ 提升吞吐
❌ 不要 acks=0（丢数据）

五、Consumer 调优

fetch.min.bytes=1MB
fetch.max.wait.ms=500
max.poll.records=500~1000
enable.auto.commit=false

消费逻辑：

避免单条处理
批量处理
异步 + 手动提交

六、监控 & 压测

1. 必备监控

CPU / IO / 网络
Page Cache 命中率
Under Replicated Partitions
Request Handler Idle

2. 压测工具

kafka-producer-perf-test.sh
kafka-consumer-perf-test.sh

七、常见性能问题速查

问题	原因
吞吐上不去	IO 线程少 / 磁盘慢
延迟高	linger.ms 太大
CPU 高	压缩 / 反压
OOM	JVM 太大
消费滞后	单分区 / 消费慢

八、一句话总结

Kafka 调优 = Linux 内核 + 磁盘顺序写 + Page Cache + Producer 批量 + 不滥用 JVM

如果你愿意，可以告诉我：

Kafka 版本
机器配置
吞吐目标（MB/s）
延迟要求

我可以给你一份可直接用的参数模板。