优化Kafka在CentOS上的CPU使用可从配置调优、硬件升级和系统参数调整入手,具体如下:
num.partitions(建议为核数2-3倍),num.io.threads和num.network.threads设置为核数50%-80%,避免线程过多导致上下文切换开销。compression.type=lz4减少数据量,batch.size设置为16KB-1MB,linger.ms设为10-100ms,提升吞吐量并降低CPU负载。default.replication.factor(通常3),避免过多副本同步消耗CPU;调整log.segment.bytes(如1GB)减少日志分段频繁操作。ulimit -n 65536增加句柄数,避免因连接数过多导致CPU异常。vm.max_map_count=655360、net.core.rmem/wmem等参数,优化网络和内存性能。参考来源: