Linux中Kafka配置有哪些技巧

以下是Linux中Kafka的关键配置技巧，涵盖性能、稳定性和安全等方面：

1. 硬件与存储优化

   • 使用SSD提升磁盘I/O性能，配置多磁盘目录（如log.dirs=/data1/kafka,/data2/kafka）。
   • 服务器配置：多核CPU、32GB+内存（推荐64GB），避免JVM堆内存超过50%物理内存。

2. 核心配置参数调优

   • Broker参数：
     • num.network.threads/num.io.threads：根据CPU核心数设置（如8/16），提升网络和IO并发能力。
     • log.segment.bytes：增大日志段大小（如512MB），减少频繁刷盘开销。
     • log.retention.hours：按需设置保留时间（如7天），配合log.cleanup.policy（delete或compact）管理日志。
   • Producer参数：
     • batch.size：批量发送大小（如64KB），配合linger.ms（如10ms）提升吞吐量。
     • compression.type：启用压缩（zstd/lz4），节省带宽和存储。
   • Consumer参数：
     • max.poll.records：单次拉取最大消息数（如500），配合多线程并行消费。

3. 高可用与容错配置

   • 副本机制：设置replication.factor≥2，确保数据冗余，搭配min.insync.replicas（如2）保证一致性。
   • 分区策略：根据吞吐量合理设置分区数（如每分区10-50MB/s吞吐量），避免热点。

4. 网络与安全配置

   • 绑定固定IP和端口，配置advertised.listeners支持多协议（如PLAINTEXT/SSL）。
   • 启用SSL/TLS加密传输，配置SASL/SCRAM认证控制访问权限。

5. 监控与运维

   • 使用Prometheus+Grafana监控JMX指标（如吞吐量、延迟、磁盘使用率）。
   • 定期清理日志文件，避免磁盘占满，可通过log.retention.bytes设置最大日志大小。

6. JVM与系统参数优化

   • 设置JVM堆内存（-Xms/-Xmx）为物理内存的50%-70%，推荐G1垃圾回收器。
   • 调整系统参数：ulimit -n 65535增加文件描述符限制，优化vm.swappiness（如10）减少内存交换。

参考来源：