怎么优化Linux Kafka

优化 Linux 上的 Kafka，通常从 操作系统、JVM、Kafka 配置、磁盘与网络、生产/消费端 几个层面入手。下面给你一套实战型优化清单，按优先级排列，适合生产环境。

一、Linux 系统层优化（非常重要）

1. 文件描述符限制

Kafka 大量使用文件和网络连接。

# 查看
ulimit -n

# 修改（永久）
vim /etc/security/limits.conf

* soft nofile 1000000
* hard nofile 1000000

2. 禁用 swap（强烈建议）

Kafka 对延迟非常敏感，swap 会导致 GC 停顿。

swapoff -a

永久禁用：

vim /etc/fstab  # 注释 swap 行

3. 文件系统 & 磁盘优化

✅ 推荐使用 XFS 或 ext4

挂载参数（示例）：

mount -o noatime,nodiratime,data=writeback /dev/sdb /data

建议：

Kafka 数据盘 单独挂载
多块盘做 JBOD（不要 RAID5/6）

4. 内核参数优化

vim /etc/sysctl.conf

vm.swappiness = 1
vm.dirty_ratio = 10
vm.dirty_background_ratio = 5
net.core.somaxconn = 32768
net.ipv4.tcp_max_syn_backlog = 8192
net.core.netdev_max_backlog = 16384

生效：

sysctl -p

二、JVM 调优（Kafka 是 JVM 应用）

1. 推荐 JVM 版本

JDK 11 或 JDK 17（LTS）
不建议 JDK 8（GC 性能差）

2. JVM 堆内存

经验公式：

Heap = 6~8GB（不要超过 16GB）

export KAFKA_HEAP_OPTS="-Xms6g -Xmx6g"

⚠️ 原因：

Kafka 大量使用 堆外内存（page cache）
堆太大 → GC 停顿

3. GC 优化（推荐 G1）

export KAFKA_JVM_PERFORMANCE_OPTS="
-XX:+UseG1GC
-XX:MaxGCPauseMillis=20
-XX:InitiatingHeapOccupancyPercent=35
"

三、Kafka Broker 核心参数优化

1. 基础配置

broker.id=1
num.network.threads=8
num.io.threads=16
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

2. 日志 & 磁盘相关（重点）

log.dirs=/data/kafka-logs
num.partitions=3
default.replication.factor=2

log.retention.hours=168
log.segment.bytes=1073741824
log.flush.interval.messages=10000
log.flush.interval.ms=1000

✅ 不要频繁 flush Kafka 设计为依赖 OS page cache

3. 副本 & 高可用

offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=2
min.insync.replicas=2

四、网络 & 吞吐优化

1. Producer 优化

acks=1 或 all
compression.type=lz4
batch.size=32768
linger.ms=5
buffer.memory=67108864

✅ 高吞吐：

acks=1
compression.type=lz4

✅ 高可靠：

acks=all
min.insync.replicas=2

2. Consumer 优化

fetch.min.bytes=1
fetch.max.bytes=52428800
max.poll.records=500

消费者：

避免频繁 poll
消费逻辑要快

五、监控 & 压测（必须做）

1. 关键指标

UnderReplicatedPartitions
RequestHandlerAvgIdlePercent
NetworkProcessorAvgIdlePercent
GC Time
Disk IO Wait

2. 工具

kafka-manager / CMAK
Prometheus + Grafana
kafka-producer-perf-test.sh
kafka-consumer-perf-test.sh

六、常见性能问题 & 解决方案

问题	原因	解决
写入慢	分区少	增加 partition
消费慢	消费者少	增加 consumer
延迟高	GC / swap	调整 JVM / 禁用 swap
磁盘 IO 高	page cache 不够	增加内存
leader 不均衡	未 rebalance	`kafka-preferred-replica-election`

七、推荐的生产环境配置模板（简化版）

num.network.threads=8
num.io.threads=16
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
log.dirs=/data/kafka-logs
num.partitions=6
default.replication.factor=2
min.insync.replicas=2

八、如果你愿意，我可以：

✅ 根据你 机器配置（CPU / 内存 / 磁盘） 给你一套定制参数
✅ 帮你分析 Kafka 性能瓶颈
✅ 给你 高并发 / 高可靠 / 降本 三种方案

你可以直接告诉我：

Kafka 版本 + 机器配置 + 主要用途（日志 / 消息 / 流处理）