linux kafka配置需要注意啥

在 Linux 上部署和配置 Kafka（通常指 Apache Kafka，也包括常见的 Kafka + ZooKeeper 或 KRaft 模式），有几个关键配置和易踩坑点需要注意。下面按「系统层 → Kafka 配置 → 运维与安全」给你梳理。

一、Linux 系统层面注意点

1. 文件描述符（ulimit）

Kafka 会打开大量文件（日志段、连接等）：

ulimit -n

建议：

• 至少 100000
• 修改 /etc/security/limits.conf

kafka soft nofile 100000
kafka hard nofile 100000

2. 磁盘与挂载

• 必须使用独立磁盘（避免和 OS / 日志混用）
• 推荐：
  • SSD（低延迟场景）
  • 多块磁盘做 JBOD（Kafka 原生支持，不推荐 RAID5）
• 挂载参数建议：

defaults,noatime

3. 文件系统

• 推荐：ext4 或 xfs
• 关闭 atime 提升性能

4. 内存 & Swap

• Kafka 依赖 Page Cache，不是 JVM 堆
• 建议：
  • 堆内存不要太大（通常 4–8G）
  • 系统剩余内存留给 OS Cache
• 避免频繁 swap：

vm.swappiness = 1~10

5. 网络

• 调整 TCP 参数（高并发场景）：

net.core.somaxconn
net.ipv4.tcp_max_syn_backlog

• 防火墙开放：
  • 9092（Broker）
  • 2181（ZooKeeper，如用）
  • 9093（SSL / 外部访问）

二、Kafka 核心配置注意点

1. server.properties 关键项

broker.id

broker.id=1

• 集群中必须 唯一
• 建议显式指定，不依赖自动生成

listeners / advertised.listeners（最容易错）

listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://kafka1.example.com:9092

⚠️ 注意：

• listeners：绑定的网卡
• advertised.listeners：客户端实际连的地址
• 跨主机 / Docker / 云环境必配

log.dirs（非常重要）

log.dirs=/data/kafka/logs1,/data/kafka/logs2

• 多目录可提升吞吐
• 目录权限必须属于 kafka 用户

zookeeper.connect（ZK 模式）

zookeeper.connect=zk1:2181,zk2:2181,zk3:2181/kafka

• 建议加 chroot（如 /kafka）
• ZK 和 Kafka 不要混布（生产）

副本 & 可靠性

default.replication.factor=3
min.insync.replicas=2

• 生产环境副本数 ≥ 3
• min.insync.replicas 防止数据丢失

清理策略

log.retention.hours=72
log.segment.bytes=1073741824
log.cleanup.policy=delete

• 按业务设定保留时间
• 防止磁盘写满

三、JVM & 启动注意

1. JVM 堆

• 推荐：

KAFKA_HEAP_OPTS="-Xms4g -Xmx4g"

• 不要超过 8G（GC 压力）

2. GC

• 推荐使用 G1：

-XX:+UseG1GC

3. 用独立用户运行

useradd kafka
chown -R kafka:kafka /opt/kafka /data/kafka

四、安全 & 生产建议

1. 安全（如对外暴露）

• 启用：
  • SASL
  • SSL
• 或至少限制网络访问

2. 监控

• 必接：
  • JMX
  • Prometheus + Grafana
• 关注指标：
  • UnderReplicatedPartitions
  • RequestHandlerAvgIdle
  • Disk usage

3. KRaft 模式（新趋势）

• Kafka 3.x+ 支持去 ZooKeeper
• 配置：

process.roles=broker,controller
controller.quorum.voters=...

• 新集群建议直接 KRaft

五、常见坑总结

❌ advertised.listeners 配错 → 客户端连不上
❌ 磁盘满 → Broker 自动停写
❌ 文件描述符不够 → 连接失败
❌ 堆太大 → GC 卡顿
❌ 单副本 → 数据易丢

如果你愿意，我可以：

• 给你一份 生产级 server.properties 模板
• 或针对 Docker / K8s / 云服务器 场景单独讲
• 或帮你排查某个具体 Kafka 报错

你现在是 学习 / 测试 / 生产 环境？