Ubuntu环境下Kafka配置优化技巧
JVM配置是Kafka性能的核心基础，需合理分配内存并选择低延迟垃圾回收器。
KAFKA_HEAP_OPTS环境变量调整堆内存大小，生产环境建议-Xms（初始堆）与-Xmx（最大堆）保持一致（如4-16GB），避免堆大小动态调整带来的性能开销。-XX:+UseG1GC），并设置-XX:MaxGCPauseMillis（如100ms）控制最大停顿时间，平衡吞吐量与延迟。-XX:MaxDirectMemorySize设置直接内存大小（如与堆内存一致），避免因直接内存溢出（OOM）导致Broker崩溃。Kafka依赖磁盘顺序写入实现高吞吐，需通过硬件与配置优化提升I/O效率。
noatime（禁用文件访问时间更新）、nodiratime（禁用目录访问时间更新）参数，减少不必要的磁盘写入；对于XFS，可设置data=writeback模式提高写入性能。num.io.threads（磁盘I/O线程数）至CPU核心数的2倍，提升并行处理能力；log.segment.bytes（日志段大小，如1GB），减少日志刷新频率；log.flush.interval.messages（如10000条）和log.flush.interval.ms（如1000ms），平衡数据持久性与写入性能。网络是Kafka集群节点间通信的关键，需提升带宽利用率与连接效率。
num.network.threads（网络线程数，建议8-16）和socket.send.buffer.bytes/socket.receive.buffer.bytes（发送/接收缓冲区大小，如16MB），优化网络数据传输效率。sysctl命令调整内核参数，如net.core.rmem_max/net.core.wmem_max（TCP读写缓冲区最大值，如16MB）、net.ipv4.tcp_tw_reuse（复用TIME-WAIT连接，设为1）、net.ipv4.tcp_fin_timeout（TIME-WAIT超时时间，如30秒），减少网络延迟。生产者是数据流入Kafka的入口，需平衡吞吐量与延迟。
batch.size（如32KB-64KB），将多条消息合并为一个批次发送，提高吞吐量；配合linger.ms（如5-10ms），让生产者等待一段时间以积累更多消息，避免频繁发送小批次。compression.type（如snappy、lz4），减少网络传输带宽占用（压缩率约30%-50%），但会增加少量CPU负载。acks（如all表示所有副本确认，保证数据一致性；1表示Leader确认，平衡性能与可靠性）。消费者是数据流出的出口，需减少拉取延迟与内存消耗。
fetch.min.bytes（如1MB），让消费者一次性拉取更多数据，减少网络请求次数；调整fetch.max.wait.ms（如100ms），平衡延迟与吞吐量。num.consumer.fetchers（消费者拉取线程数，建议与分区数匹配），提升并行消费能力；确保消费者数量不超过分区数，避免闲置。分区与副本是Kafka高可用的基础，需合理规划以提升性能。
default.replication.factor（如3），保证数据冗余；调整min.insync.replicas（如2），确保数据写入时至少有指定数量的副本确认，避免数据丢失。操作系统层面的调优可提升Kafka整体性能。
ulimit -n或/etc/security/limits.conf增加文件描述符限制（如* soft nofile 100000、* hard nofile 100000），避免因文件描述符不足导致Broker崩溃。vm.swappiness（如1，减少交换空间使用）、vm.dirty_ratio（如10%，控制脏页比例）、vm.dirty_background_ratio（如5%，后台写回脏页的比例），优化内存与磁盘的交互效率。持续监控是优化的前提，需通过工具跟踪性能指标。
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec）。log.retention.hours设置保留时间，如168小时=7天），避免磁盘空间耗尽；开启日志压缩（log.cleanup.policy=compact），减少日志文件大小。
