Kafka配置文件如何优化

Kafka配置文件优化可从生产者、消费者、Broker及硬件层面入手，以下是关键参数及策略：

一、生产者优化

• 批量发送：增大batch.size（建议64KB-1MB），延长linger.ms（5-100ms），减少网络请求次数。
• 压缩配置：启用compression.type=lz4或zstd，降低网络传输量（压缩比约30%-70%）。
• 可靠性：acks=all确保数据持久化，搭配retries=3和max.in.flight.requests.per.connection=1避免乱序。

二、消费者优化

• 批量消费：增大fetch.min.bytes（建议1MB）和fetch.max.wait.ms（500ms），提升单次拉取效率。
• 并行处理：消费者线程数与分区数匹配，使用多线程处理消息，避免单线程阻塞。
• 偏移量管理：关键场景手动提交偏移量（enable.auto.commit=false），配合commitAsync异步提交。

三、Broker优化

• 分区与副本：
  • num.partitions设置为Broker数量的整数倍，避免负载不均。
  • replication.factor=3，min.insync.replicas=2，平衡可用性与一致性。
• I/O优化：
  • num.io.threads=磁盘数×2，提升磁盘读写效率。
  • log.segment.bytes=2-5GB，减少日志切换开销。
• 网络优化：增大socket.send.buffer.bytes和socket.receive.buffer.bytes（建议1MB），提升传输速度。

四、硬件与系统优化

• 磁盘：使用SSD替代HDD，提升I/O吞吐量。
• 内存：JVM堆内存设置为物理内存的50%-75%，启用G1GC减少GC停顿。
• 内核参数：调整vm.swappiness=0减少内存交换，优化网络参数（如net.core.rmem_max）。

五、监控与调优工具

• 使用Kafka自带工具（kafka-consumer-groups.sh、kafka-topics.sh）监控消费滞后和分区状态。
• 集成Prometheus+Grafana，实时监控吞吐量、延迟、磁盘使用率等指标。

参考来源：[1,2,4,6,8,9,11,12,13,14]