linux kafka怎样调优

在 Linux 上部署和调优 Kafka，通常可以从 操作系统、JVM、Kafka Broker 参数、Topic/分区设计、磁盘与网络、监控 几个层面来进行。下面给你一个较系统的调优指南。

一、Linux 操作系统层调优

1. 文件描述符（File Descriptors）

Kafka 大量使用文件和网络连接。

# 查看
ulimit -n

# 修改（/etc/security/limits.conf）
kafka soft nofile 1000000
kafka hard nofile 1000000

2. 虚拟内存（vm.swappiness）

避免频繁 swap：

sysctl -w vm.swappiness=1

3. 脏页写回（Page Cache）

Kafka 依赖 Page Cache：

sysctl -w vm.dirty_background_ratio=5
sysctl -w vm.dirty_ratio=10

4. 网络参数

sysctl -w net.core.somaxconn=4096
sysctl -w net.ipv4.tcp_max_syn_backlog=8192
sysctl -w net.ipv4.tcp_tw_reuse=1

二、磁盘与文件系统

1. 使用 SSD / NVMe

高吞吐：SSD 明显优于 HDD
日志型系统，顺序写为主

2. 文件系统

3. 多磁盘

log.dirs=/data1/kafka,/data2/kafka,/data3/kafka

Kafka 会自动做分区轮询。

三、JVM 调优

1. 堆内存

一般规则：

堆大小 不超过 6–8GB
其余留给 Page Cache

export KAFKA_HEAP_OPTS="-Xms6g -Xmx6g"

2. GC 选择

JDK 8：G1GC
JDK 11+：ZGC / G1GC

export KAFKA_JVM_PERFORMANCE_OPTS="
-XX:+UseG1GC
-XX:MaxGCPauseMillis=20
"

四、Kafka Broker 核心参数调优

1. 基础配置

num.network.threads=8
num.io.threads=16

（CPU 核数相关）

2. 日志与刷盘

log.flush.interval.messages=10000
log.flush.interval.ms=1000

通常 依赖 OS 刷盘即可，不要频繁 flush。

3. 副本与可靠性

default.replication.factor=3
min.insync.replicas=2

高吞吐可放宽：

acks=1

强一致：

acks=all

4. 段文件大小

log.segment.bytes=1G

5. 消息大小

message.max.bytes=10MB

五、Topic 与分区设计

1. 分区数

经验公式：

分区数 ≈ 目标吞吐 / 单分区吞吐

单分区写入：~10–50 MB/s
消费者并行度 = 分区数

2. 副本分布

使用：

kafka-reassign-partitions.sh

避免热点 Broker。

六、Producer 调优

batch.size=64KB
linger.ms=5–20
compression.type=lz4 / zstd
acks=1
buffer.memory=64MB

七、Consumer 调优

fetch.min.bytes=1MB
fetch.max.wait.ms=500
max.poll.records=500–1000

八、监控与压测

1. 监控

Kafka Exporter + Prometheus + Grafana
关注：
- Under Replicated Partitions
- Request Queue Size
- Disk IO / CPU / GC

2. 压测工具

kafka-producer-perf-test.sh
kafka-consumer-perf-test.sh

九、常见调优误区

❌ 堆内存设太大
❌ 频繁 flush 日志
❌ 分区数过多（>几千）
❌ 忽略 Page Cache
❌ 网络和磁盘瓶颈未定位

如果你愿意，可以告诉我：

Kafka 版本
集群规模（几台、磁盘类型）
业务场景（日志 / 交易 / 实时计算）

我可以给你一套 针对性调优参数模板。