Debian上Kafka资源占用优化策略
Kafka虽依赖页缓存（Page Cache）提升磁盘I/O性能，但JVM堆内存的合理配置仍是避免Full GC、减少内存溢出的关键。
KAFKA_HEAP_OPTS（-Xms与-Xmx），建议中小规模集群（3-5节点、日消息量<1000万）设置为-Xms4G -Xmx4G，大规模集群（10+节点、日消息量>1亿）设置为-Xms8G -Xmx8G，避免堆内存过大导致Full GC停顿过长。-XX:+UseG1GC），并设置-XX:MaxGCPauseMillis=100（目标最大停顿时间），平衡吞吐量与延迟；避免使用SerialGC（单线程GC，不适合高并发场景）。-XX:MaxMetaspaceSize=256m限制元空间大小，防止元数据膨胀导致内存溢出。noatime（不更新访问时间）、nodiratime（不更新目录访问时间）选项，减少不必要的磁盘写操作。vm.swappiness设置为1-10（默认60），减少系统使用SWAP的概率，避免因内存不足导致的性能骤降。/etc/security/limits.conf，添加* soft nofile 100000、* hard nofile 100000；同时修改/etc/pam.d/common-session和/etc/pam.d/common-session-noninteractive，添加session required pam_limits.so。vm.max_map_count=262144（增加内存映射区域数量，避免Kafka元数据管理时的OOM）；优化TCP参数（net.ipv4.tcp_fin_timeout=30、net.ipv4.tcp_tw_reuse=1），提升网络连接复用率。num.partitions（建议每个分区对应1-2个消费者线程），避免分区过少导致并行度不足或过多导致资源浪费；default.replication.factor设置为3（保证数据可靠性），避免副本同步占用过多网络和磁盘资源。num.network.threads（网络线程数）设置为CPU核心数的1-2倍（处理客户端连接请求）；num.io.threads（I/O线程数）设置为CPU核心数的2倍（处理磁盘读写），提升并发处理能力。batch.size设置为1M（批量发送消息，减少网络请求次数）；linger.ms设置为100ms以上（等待更多消息进入批次，平衡延迟与吞吐量）；compression.type设置为lz4（高效压缩算法，减少数据传输量，提升吞吐量）。buffer.memory（生产者缓冲区大小）设置为64M以上（避免生产者因缓冲区满而阻塞）；fetch.min.bytes（消费者批量获取大小）设置为1M（减少消费者拉取次数，提升吞吐量）。log.dirs设置为多个磁盘路径（如/data1/kafka-logs,/data2/kafka-logs），利用多磁盘并行读写，提升整体I/O吞吐量。log.retention.hours（日志保留时间）根据业务需求设置为1-7天（避免长期存储无用数据）；log.segment.bytes（日志段大小）设置为1G（合理控制日志分段，便于快速清理过期数据）。kafka-consumer-groups命令监控消费者组延迟（--describe --group <group_id>），使用kafka-topics命令检查副本健康状况（--describe --topic <topic_name>），及时发现消费滞后或副本同步问题。UnderReplicatedPartitions（未同步分区数）、MessagesInPerSec（每秒消息数）、RequestLatencyAvg（请求平均延迟）），及时定位性能瓶颈。kafka-producer-perf-test和kafka-consumer-perf-test工具模拟生产环境负载，测试集群吞吐量与延迟，根据测试结果调整配置参数（如批量大小、线程数）。
