centos上kafka的监控与配置策略
小樊
38
2025-09-09 21:22:48
一、监控策略
- 工具选择
- Prometheus+Grafana：通过Kafka Exporter采集指标，Grafana可视化，可监控Broker CPU、内存、磁盘，以及Topic消息速率等。
- Kafka Manager：开源工具，支持集群状态、消费者进度监控，适合多集群管理。
- Burrow：专注消费者偏移量监控，及时发现延迟和堆积问题。
- 关键指标
- Broker：CPU使用率、内存占用、磁盘IO、网络吞吐。
- Topic：消息堆积量、分区副本同步状态（ISR）、保留时间。
- 消费者：消费延迟、拉取速率、批量处理大小。
二、配置策略
- Broker配置
- 性能优化：设置
num.io.threads=CPU核数×2，log.segment.bytes=2GB，启用SSD存储。
- 高可用：设置
replication.factor=3，min.insync.replicas=2，确保数据可靠性。
- 生产者配置
- 吞吐优化：
batch.size=1MB，linger.ms=50ms，compression.type=lz4。
- 可靠性：根据需求选择
acks=1（平衡）或acks=all（高可靠）。
- 消费者配置
- 批量消费：
fetch.min.bytes=1MB，max.poll.records=500，多线程并行处理。
