Kafka性能调优Ubuntu版攻略

Kafka 性能调优 Ubuntu 版攻略

一 硬件与操作系统基线

• 存储优先选用 SSD/NVMe，并尽量使用独立磁盘或条带化以降低写放大与 I/O 等待；为 Kafka 与 ZooKeeper 提供充足网络带宽与低时延链路。
• 提升系统资源上限与网络栈：提高文件描述符与 TCP 队列，编辑 /etc/security/limits.conf 与 /etc/sysctl.conf，示例：
  • limits.conf：* soft nofile 65536、* hard nofile 65536
  • sysctl.conf：net.core.somaxconn=65535、net.ipv4.tcp_max_syn_backlog=4096、net.ipv4.tcp_tw_reuse=1、net.ipv4.tcp_keepalive_time=600
    执行 sysctl -p 使内核参数生效。
• 适度调节 vm.swappiness（如 1–10）以减少换页，避免影响顺序写与页缓存命中；脏页刷写参数（vm.dirty_background_ratio、vm.dirty_ratio）按磁盘与负载压测微调。
• 若使用 KRaft 模式（Kafka ≥ 2.8.0），无需外部 ZooKeeper，部署与运维更简洁，可减少外部依赖带来的抖动与网络跳数。

二 JVM 与内存设置

• 堆大小建议：将 -Xms 与 -Xmx 设为相同值（如 4G–8G，视容器/物理内存而定），避免运行期扩缩堆引发停顿；Broker 端总内存应小于机器物理内存，留出页缓存与 OS 开销。
• 垃圾回收器：优先 G1 GC（吞吐与停顿均衡），按堆大小与停顿目标调参；避免过大堆导致 GC 停顿过长。
• 设置方式一（推荐）：在 /etc/profile.d/kafka.sh 中导出变量
  • export KAFKA_HEAP_OPTS="-Xms4G -Xmx4G -XX:+UseG1GC -XX:MaxGCPauseMillis=200"
• 设置方式二：编辑 bin/kafka-server-start.sh，在脚本内导出 JAVA_OPTS；两种方式二选一，避免重复设置。
• 变更后用 source /etc/profile.d/kafka.sh 生效，重启 Broker 观察 GC 日志与停顿。

三 Kafka 关键配置建议

• 并发与网络
  • num.network.threads：处理网络请求的线程数，建议与 CPU 核数匹配或略高。
  • num.io.threads：处理磁盘 I/O 的线程数，通常设置为磁盘数 ×（每盘队列深度/并发度）。
  • socket.send.buffer.bytes / socket.receive.buffer.bytes：增大至 128KB–1MB，提升大消息与高吞吐场景的网络效率。
  • socket.request.max.bytes：控制单请求上限，需 ≥ 生产端最大消息与副本抓取需求，避免请求被拒。
• 生产者
  • batch.size：增大至 16KB–128KB，提升批处理效率。
  • linger.ms：适度开启（如 5–20ms），配合批处理提升吞吐。
  • compression.type：启用压缩（snappy / lz4 / zstd），在 CPU 允许下优先 lz4/zstd。
  • acks：强一致选 all/-1；追求吞吐可权衡为 1（需配合 min.insync.replicas）。
• Broker 与主题
  • num.partitions：分区是并行度单位，通常应 ≥ 消费者线程数；过多分区会增加 Leader/Follower 负担与元数据开销。
  • log.segment.bytes：适度增大（如 1GB–2GB），减少段切换与随机 I/O。
  • log.retention.hours / log.retention.bytes：按磁盘容量与 SLA 设置保留策略，避免磁盘被占满。
  • message.max.bytes 与 replica.fetch.max.bytes：确保端到端消息链路（生产/复制/消费）上限一致。
• 可靠性与一致性
  • `replication.factor ≥ 3**，min.insync.replicas=2（acks=all 时），在吞吐与可用性间取得平衡。
  • `unclean.leader.election.enable=false**，避免数据丢失风险。

四 生产者与消费者端调优

• 生产者
  • 合理设置 max.in.flight.requests.per.connection：acks=all 时建议 ≤ 5，既保吞吐又降低重排概率。
  • 键分布尽量均衡，避免热点分区；必要时对键做 hash 分桶 或预分区。
• 消费者
  • fetch.min.bytes / fetch.max.wait.ms：提高每次拉取有效载荷，降低空轮询。
  • 并发度与分区数匹配：消费者实例数 ≤ 分区数；默认 RangeAssignor 可能不均，可改为 RoundRobinAssignor。
  • 回调中避免阻塞 poll()，将耗时处理放入线程池，防止再均衡时堆积。

五 监控 维护与排错

• 监控与告警
  • 采集 JMX（如请求耗时、请求队列、网络/磁盘、ISR 变化、UnderReplicatedPartitions）并结合 Prometheus + Grafana 建立面板与阈值告警。
  • 关注关键指标：BytesIn/BytesOut、RequestRate、IOWait、RequestHandlerAvgIdlePercent、UnderReplicatedPartitions、ActiveControllerCount。
• 日常维护
  • 按容量与合规要求配置 日志保留/压缩；定期核查磁盘与索引碎片。
  • 升级与变更遵循灰度与回滚预案，先在测试环境验证。
• 常见问题速查
  • 端口占用：lsof -i:<port> 查进程并 kill <pid>。
  • 磁盘告警：调整 log.retention.* 或扩容；清理过期日志。
  • 消费停滞：核对 消费者组、订阅主题与分区、再均衡状态。
  • 发送失败：确认目标主题与分区可用、配额与 ACL、网络连通性。
  • 节点宕机：检查 网络/磁盘/CPU/内存，确认副本同步与健康状态。
  • 数据不一致/NotLeaderForPartitionException：核查 replication.factor、min.insync.replicas、unclean.leader.election.enable 与 ISR。