Ubuntu Kafka网络配置要注意
小樊
40
2025-12-21 06:04:44
Ubuntu 上部署 Kafka 的网络配置要点
一 基础监听与对外地址
- 明确区分并同时配置 listeners 与 advertised.listeners：前者是 Broker 实际监听的接口与端口，后者是返回给客户端用于连接的地址。跨主机或容器场景必须正确设置 advertised 地址，否则客户端会连不上。示例：listeners=PLAINTEXT://0.0.0.0:9092；advertised.listeners=PLAINTEXT://<服务器公网或内网IP>:9092。多监听器（内外网分离）可用：listeners=INSIDE://:9092,OUTSIDE://:9094；advertised.listeners=INSIDE://kafka:9092,OUTSIDE://<公网IP>:9094；并配套 listener.security.protocol.map 与 inter.broker.listener.name。旧参数 advertised.host.name/port 已不推荐。生产环境建议禁用自动创建主题（auto.create.topics.enable=false）以避免误用。
二 主机网络与端口开放
- 在 Ubuntu 22.04+ 优先使用 netplan 配置静态 IP（/etc/netplan/*.yaml），确保节点间路由与 DNS 正确；老版本可用 /etc/network/interfaces。
- 放通必要端口与协议：Kafka 默认 9092，ZooKeeper 2181；如有多监听器或 JMX/监控端口一并放通。UFW 示例：sudo ufw allow 9092,2181/tcp；firewalld 示例：sudo firewall-cmd --add-port=9092,2181/tcp --permanent && sudo firewall-cmd --reload；iptables 示例：sudo iptables -A INPUT -p tcp --dport 9092 -j ACCEPT 并保存。云上需同步配置安全组入站规则。
三 容器与云环境要点
- Docker/K8s 场景优先用环境变量配置监听器与 advertised 地址：KAFKA_LISTENERS、KAFKA_ADVERTISED_LISTENERS、KAFKA_LISTENER_SECURITY_PROTOCOL_MAP、KAFKA_INTER_BROKER_LISTENER_NAME；必要时用 HOSTNAME_COMMAND 与 PORT_COMMAND 动态获取实例 IP 与宿主机映射端口，避免“advertised 地址不可达”。
- 多监听器时，确保 advertised 中的协议与端口在 listeners 中真实存在；broker 间通信建议固定一个用于内部通信的监听器（如 INSIDE），并配置 inter.broker.listener.name 指向它。
四 连通性验证与常见故障
- 节点间与客户端连通性自检：ping 与 telnet/nc 测试 9092/2181；容器内使用 docker exec 进入 Broker 容器测试对 ZooKeeper 与集群其他节点的连通性；外部客户端以 bootstrap.servers 指向 advertised 地址进行生产/消费测试。
- 常见症状与处理：只本机能连、外部连不上，多为 advertised.listeners 填成了 localhost/127.0.0.1 或内网地址；端口不通，检查 ufw/firewalld/iptables 与云安全组；配置未生效，核对配置文件缩进与属性名、避免复制粘贴产生不可见字符；版本差异导致参数无效，优先使用 listeners/advertised.listeners 组合。
五 性能与安全加固
- 网络性能：适度增大 socket.send.buffer.bytes / socket.receive.buffer.bytes，开启压缩（如 snappy/lz4/zstd），结合负载调整 num.network.threads / num.io.threads 与 message.max.bytes / replica.fetch.max.bytes，以提升吞吐与稳定性。
- 传输安全：生产环境建议启用 SSL/TLS 加密通道，必要时叠加 SASL/SCRAM 等认证；仅开放必要端口与来源网段，最小化暴露面。
