Kafka 在 CentOS 上的性能概览
在主流的 CentOS 7/8 环境中，Kafka 的性能主要受 磁盘 I/O、网络带宽、分区数量、副本与确认机制（acks）、批量与压缩 等因素影响。社区与实测案例显示：在 3 台物理机（每机 40 核、约 121–249GB 内存） 的 CentOS 7.9 集群上，使用 10 分区、3 副本、消息约 300 字节 的场景，生产者峰值可达约 64.5 万条/秒（≈184.6 MB/s）；单线程消费者约 156 万条/秒（≈448 MB/s）。更早的对比测试也表明，在单机同步发送场景，Kafka 吞吐可达约 17.3 万条/秒，显著高于同类消息队列。这些结果体现了在 CentOS 上 Kafka 的高吞吐与良好扩展性。
影响性能的关键因素
- 磁盘与文件系统：顺序写与零拷贝带来高吞吐；SSD 明显优于机械盘；在大数据量场景下，XFS 通常较 EXT4 有更好的表现。
- 分区与并发：分区数≈并发度上限，但过多分区会引发文件句柄与刷盘竞争，反而使吞吐下降。
- 复制与确认：acks=1 吞吐较高但有数据丢失风险；acks=all 可靠性最高但延迟与负载上升；replication.factor 与 min.insync.replicas 共同决定可用性与吞吐的平衡。
- 批量与压缩：batch.size 与 linger.ms 增大可显著提升吞吐；LZ4 压缩通常性能更优。
- 消息大小：消息越长，records/s 越低，但 MB/s 可能更高；小消息（如 100–200B）更考验批量与网络效率。
- 操作系统与网络：降低 vm.swappiness、优化 TCP 缓冲区 与 文件句柄上限，并确保 网络带宽与低延迟 是高吞吐的基础。
在 CentOS 上的快速性能测试步骤
- 准备：部署 Kafka 集群（建议 CentOS 7.9+），创建测试主题（如 10 分区、3 副本）。
- 生产者压测：使用官方脚本 kafka-producer-perf-test.sh，示例
bin/kafka-producer-perf-test.sh --topic test --num-records 50000000 --throughput -1 --record-size 300 \
–producer-props bootstrap.servers=broker1:9092,broker2:9092,broker3:9092 acks=1
关注指标：records/sec、MB/sec、avg/max latency。
- 消费者压测：使用 kafka-consumer-perf-test.sh，示例
bin/kafka-consumer-perf-test.sh --topic test --threads 1 --messages 50000000 \
–broker-list broker1:9092,broker2:9092,broker3:9092
关注指标：MB.sec、nMsg.sec、rebalance.time.ms。
- 复测建议：在不同 acks、batch.size、compression.type、fetch.size、partition 数 下重复测试，找出业务最优配置。
CentOS 性能优化要点
- 操作系统层
- 降低 swap：设置 vm.swappiness=1；适度调优 vm.dirty_background_ratio / dirty_ratio。
- 网络栈：增大 net.core.rmem_default/wmem_default 与 net.ipv4.tcp_rmem/wmem，提升 rmem/wmem 缓冲；开启 tcp_window_scaling，提高 netdev_max_backlog / tcp_max_syn_backlog。
- 文件句柄：在 /etc/security/limits.conf 提升 nofile / nproc（如 65535），避免 “Too many open files”。
- Kafka 层
- 可靠性与可用性：谨慎设置 unclean.leader.election.enable=false；监控 ISR 变化，按需调整 replica.lag.time.max.ms。
- 消费者组：合理设置 session.timeout.ms / heartbeat.interval.ms，启用 group.instance.id 减少重平衡；避免同时重启实例。
- 生产者：结合时延与吞吐调 batch.size / linger.ms / compression.type（LZ4）；在可接受的时延下优先 acks=1 或 acks=all。
- 消费者：适度增大 fetch.max.bytes / max.poll.records，提升单次拉取与处理量。
- JVM 与存储：为 Broker 设置合适的堆（如 -Xms/-Xmx 4G 起步，视负载调整）；日志目录优先 SSD 并使用 XFS。
常见瓶颈与排查
- 分区过多导致文件句柄与刷盘竞争，吞吐不升反降；按负载逐步增加分区并监控 UnderReplicatedPartitions。
- 副本同步受限：当消息较大时，确保 replica.fetch.max.bytes ≥ topic 的 max.message.bytes，否则副本同步失败、ISR 收缩。
- 重平衡频繁：检查 session.timeout.ms / heartbeat.interval.ms 与消费者实例生命周期，采用滚动重启与 静态成员资格。
- 网络与磁盘：核查带宽占用、磁盘 await/rrqm/s 等指标；必要时升级至 10GbE/SSD 并优化 XFS/EXT4 挂载参数。
