Kafka在Linux系统中的资源分配策略
Kafka Broker的CPU消耗主要集中在网络线程（处理客户端连接）、IO线程（磁盘读写）和后台线程（日志清理、副本同步）。需根据CPU核心数调整线程数量：
num.network.threads：建议设置为CPU核心数的1-2倍（如8核CPU设置为12-16），负责处理客户端请求的接入与分发。num.io.threads：建议设置为CPU核心数的1-2倍（如8核CPU设置为10-16），负责磁盘IO操作（如日志写入、清理），对于SSD存储可适当增加。num.replica.fetchers：副本拉取线程数，建议设置为CPU核心数的1/3-1/2（如8核CPU设置为3-4），用于从Leader Partition拉取数据到Follower。taskset命令将Kafka进程绑定到特定CPU核心（如taskset -cp 0-7 $(pgrep kafka)），避免进程在多核间迁移导致的上下文切换开销。chrt命令将Kafka进程设置为实时调度策略（如chrt -f -p 99 $(pgrep kafka)），提高CPU执行优先级，适用于高吞吐场景。/sys/fs/cgroup/cpu/kafka/cpu.shares=2048），避免单个进程占用过多CPU资源。启用消息压缩（如compression.type=lz4）可减少网络传输和磁盘IO，降低CPU开销。LZ4算法在压缩比与性能间取得平衡，适用于大多数场景；GZIP压缩比更高但CPU开销大，适合对存储空间敏感的场景。
Kafka Broker的JVM堆内存需合理分配，避免过大导致Full GC停顿或过小导致频繁GC：
KAFKA_HEAP_OPTS环境变量设置（如export KAFKA_HEAP_OPTS="-Xms6G -Xmx6G"），-Xms与-Xmx设置为相同值可避免堆内存动态扩展的开销。-XX:+UseG1GC），并通过-XX:MaxGCPauseMillis=20（最大GC暂停时间目标）、-XX:InitiatingHeapOccupancyPercent=35（触发并发GC的堆占用率）等参数优化GC性能。Kafka依赖操作系统的PageCache缓存日志数据，减少磁盘IO。需确保系统有足够内存留给PageCache：
swapoff -a命令禁用Swap空间，并修改/etc/fstab文件永久生效，避免内存数据交换到Swap导致的性能下降。vm.swappiness参数设置为10以下（如echo 10 > /proc/sys/vm/swappiness），降低系统将内存数据交换到Swap的倾向。vm.dirty_ratio=20（脏页占比阈值）、vm.dirty_background_ratio=10（后台刷脏页阈值），提高磁盘写入性能。通过ulimit -n命令增加Kafka进程的文件描述符限制（如ulimit -n 65536），避免因文件描述符不足导致的连接失败问题。
优先使用SSD（如NVMe SSD）作为Kafka日志存储设备，其顺序IO性能远高于机械硬盘（HDD），能有效提升Kafka的写入与读取速度。
mount -o noatime命令挂载磁盘，避免每次文件访问时更新访问时间（atime）产生的额外IO。mkfs.xfs），其具有良好的扩展性和性能，支持大文件与高并发IO。log.segment.bytes=1GB（默认1GB），避免日志段过小导致的频繁切换与合并操作。log.retention.hours=168（7天）或log.retention.bytes（最大日志大小），定期清理过期日志，释放磁盘空间。log.dirs参数指定多个日志存储目录（如/data/kafka-logs1,/data/kafka-logs2），将日志分散到不同磁盘，提高IO并行度。增大Socket的发送与接收缓冲区大小（如socket.send.buffer.bytes=102400、socket.receive.buffer.bytes=102400），提高网络传输效率，减少网络延迟。
在/etc/sysctl.conf文件中调整TCP参数：
net.core.rmem_max=4194304（接收缓冲区最大值）net.core.wmem_max=4194304（发送缓冲区最大值）net.ipv4.tcp_fin_timeout=30（TCP连接关闭超时时间）net.ipv4.tcp_keepalive_time=600（TCP连接保活时间）sysctl -p使配置生效。通过ulimit -n命令增加系统级别的文件描述符限制（如* soft nofile 65536、* hard nofile 65536），确保Kafka能处理大量并发连接。
