以下是Kafka在Ubuntu网络配置的优化要点:
基础网络配置
/etc/netplan/*.yaml配置静态IP,确保listeners和advertised.listeners指向正确IP。ufw allow 9092/tcp开放Kafka默认端口。ethtool调整网卡队列长度,启用多队列并行传输。Kafka参数调优
num.network.threads(建议CPU核数50%~75%)和num.io.threads(匹配CPU核心数),提升网络和磁盘处理能力。socket.send.buffer.bytes和socket.receive.buffer.bytes(如设置为1MB),优化网络缓冲区。compression.type(如Snappy/LZ4),减少传输数据量。replication.factor设为3,保障高可用。操作系统优化
ulimit -n 65536,避免连接数过多导致拒绝服务。sysctl优化net.core.somaxconn(建议设为1024+)、net.ipv4.tcp_max_syn_backlog等参数,提升连接效率。客户端优化
batch.size(1MB~5MB)和linger.ms(50~100ms),启用批量发送和压缩。fetch.min.bytes(1MB)和max.poll.records(500~1000),减少拉取频率。集群与监控
参考来源: