kafka网络配置在centos有哪些要点

CentOS 上 Kafka 网络配置要点

一核心监听与对外地址

明确区分并同时配置以下三项，避免客户端“连不通”或“连错”：
- listeners：Broker 实际监听的接口与端口，如：PLAINTEXT://0.0.0.0:9092（监听所有地址）或指定内网地址。
- advertised.listeners：对外“告知”客户端的地址，跨机房、NAT、负载均衡场景尤其关键，如：PLAINTEXT://kafka.example.com:9092。
- listener.security.protocol.map：为每个监听器指定安全协议，如：listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT。
多监听器与内外网隔离示例（将内网与公网/客户端分离）：
- listeners=INTERNAL://192.168.1.10:9092,EXTERNAL://公网IP:9093
- advertised.listeners=INTERNAL://192.168.1.10:9092,EXTERNAL://kafka.example.com:9093
- listener.security.protocol.map=INTERNAL:PLAINTEXT,EXTERNAL:SSL
- inter.broker.listener.name=INTERNAL
客户端连接入口使用 bootstrap.servers 指向所有 broker 的 advertised.listeners 地址列表。

二传输与协议安全

启用 SSL/TLS 加密通信（生产推荐）：
- listeners 使用 SSL:// 或 SASL_SSL://，配置 ssl.keystore.location、ssl.keystore.password、ssl.truststore.location、ssl.truststore.password 等。
- 按需选择认证机制（如 SASL/PLAIN、SCRAM 等），并在 listener 上启用对应安全协议。
启用 SASL 认证（明文或 SSL 之上）：
- listeners 使用 SASL_PLAINTEXT:// 或 SASL_SSL://，设置 sasl.enabled.mechanisms、sasl.mechanism.inter.broker.protocol，并提供 JAAS 配置文件（通过 KAFKA_OPTS=“-Djava.security.auth.login.config=…” 指定）。
压缩降低带宽占用：在生产者端配置 compression.type=gzip|snappy|lz4|zstd，权衡 CPU 与网络。

三系统与网络优化

文件描述符与进程数：
- 临时：ulimit -n 65535；ulimit -u 65535
- 永久：在 /etc/security/limits.conf 增加
  - - soft nofile 65535
  - - hard nofile 65535
  - - soft nproc 65535
  - - hard nproc 65535
TCP 与内核网络参数（示例）：
- net.core.rmem_default = 4194304；net.core.wmem_default = 4194304
- net.ipv4.tcp_rmem = 4096 65536 4194304；net.ipv4.tcp_wmem = 4096 65536 4194304
- net.ipv4.tcp_window_scaling = 1；net.ipv4.tcp_max_syn_backlog = 5120
- net.core.netdev_max_backlog = 100000
- 内存与刷脏：vm.swappiness=1；vm.dirty_background_ratio=5；vm.dirty_ratio=70
Kafka 网络与 I/O 线程：
- num.network.threads（处理网络事件）、num.io.threads（处理磁盘 I/O）
- socket.send.buffer.bytes、socket.receive.buffer.bytes（提升吞吐与延迟表现）
消息与请求大小（按带宽与内存规划）：
- message.max.bytes（单条消息上限）
- replica.fetch.max.bytes（副本拉取上限，需与 broker 端一致）
- socket.request.max.bytes（单请求上限）

四防火墙与连通性验证

防火墙放行端口（以 firewalld 为例）：
- 开放 9092/9093：firewall-cmd --add-port=9092/tcp --permanent && firewall-cmd --reload
- 如使用 KRaft，还需放行 9093/9094（Controller/内部通信端口，视实际配置而定）。
连通性自检：
- 本机监听：ss -lntp | grep 9092
- 端口可达：nc -vz kafka.example.com 9092 或 telnet kafka.example.com 9092
- 外部客户端用 –bootstrap-server 指向 advertised.listeners 地址列表进行生产/消费测试。

五常见坑与排查清单

只配了 listeners 而漏配 advertised.listeners，导致客户端拿到不可达地址（常见于 NAT/云环境）。
多网卡/多监听器未正确设置 listener.security.protocol.map 与 inter.broker.listener.name，导致内网/外网或 broker 间通信异常。
未放行防火墙或安全组端口，或端口与 advertised.listeners 不一致。
请求/消息体过大未同步调整 message.max.bytes / replica.fetch.max.bytes / socket.request.max.bytes，出现超时或异常。
系统资源限制过低（文件描述符、内核网络参数），引发 Too many open files、高延迟或丢包。

最新问答