linux kafka如何调优性能

在 Linux 环境下对 Kafka 进行性能调优，通常可以从 系统层、Kafka Broker、Producer、Consumer、Topic/分区设计 五个维度入手。下面给你一份比较系统、可落地的调优指南。

一、Linux 系统层调优（非常关键）

1. 磁盘 I/O 调优

Kafka 是 顺序写磁盘，对磁盘吞吐敏感。

• 使用 SSD / NVMe（高吞吐场景强烈推荐）
• 多磁盘 JBOD（不要用 RAID5）
• 文件系统推荐 XFS

mkfs.xfs /dev/sdb

2. 文件描述符限制

Kafka 会打开大量文件（分区、日志段）。

# /etc/security/limits.conf
kafka  soft  nofile  100000
kafka  hard  nofile  100000

3. 内核参数优化

# 增加 socket buffer
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

# 加快 TIME_WAIT 回收
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30

# 虚拟内存
vm.swappiness = 1
vm.dirty_background_ratio = 5
vm.dirty_ratio = 10

二、Kafka Broker 调优

1. 关键 server.properties 参数

# 网络线程
num.network.threads=8

# 磁盘 IO 线程（建议 = 磁盘数）
num.io.threads=16

# 后台线程
background.threads=10

# socket 缓冲区
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

2. 日志与刷盘策略

Kafka 默认依赖 OS 刷盘，不建议频繁 flush。

# 不强制刷盘（依赖 replica）
log.flush.interval.messages=10000
log.flush.interval.ms=1000

# 日志段大小
log.segment.bytes=1073741824

# 保留策略
log.retention.hours=72
log.retention.bytes=107374182400

3. 副本与一致性

default.replication.factor=3
min.insync.replicas=2
unclean.leader.election.enable=false

三、Producer 性能调优

1. 批量发送（最重要）

batch.size=16384        # 16KB
linger.ms=5             # 稍微等待攒批
buffer.memory=33554432  # 32MB

2. 压缩

compression.type=lz4   # 或 zstd

3. 异步 & ACK

acks=1                 # 吞吐优先
# acks=all 更安全但慢
retries=3

4. 分区命中

• key 设计合理，避免热点
• 分区数 ≥ consumer 数

四、Consumer 性能调优

1. 拉取参数

fetch.min.bytes=1024
fetch.max.wait.ms=100
max.poll.records=500

2. 并行消费

• Consumer 数 = 分区数
• 避免单 Consumer 处理过重逻辑

3. 手动提交优化

enable.auto.commit=false
# 处理完一批再 commit

五、Topic 与分区设计

1. 分区数建议

• 单分区吞吐 ≈ 10–50 MB/s
• 分区数 ≈ 目标吞吐 / 单分区吞吐
• 不建议 超过 2000 分区 / Broker

2. 副本数

• 生产环境：3 副本
• 测试环境：1–2

六、监控与压测

1. 必备监控

• Kafka Exporter + Prometheus + Grafana
• 重点指标：
  • Under Replicated Partitions
  • Request Queue Time
  • Bytes In / Out
  • Consumer Lag

2. 压测工具

# 生产压测
kafka-producer-perf-test.sh

# 消费压测
kafka-consumer-perf-test.sh

七、常见性能问题速查

如果你愿意，可以告诉我：

• Kafka 版本
• 机器配置（CPU / 内存 / 磁盘）
• 业务场景（日志 / 交易 / 实时计算）

我可以直接给你一套 可复制的调优参数模板。