CentOS 上 ZooKeeper 网络优化实操
一 基础网络与连通性优化
- 使用静态 IP与明确的主机名解析，避免 DHCP 变更导致集群脑裂或会话异常；多网卡环境绑定业务网口，禁用未使用接口。
- 仅开放必要端口：客户端端口2181，集群内通信端口2888/3888；在 firewalld 或云安全组放行对应端口与来源网段。
- 规划低延迟、高带宽的同机房网络，避免跨机房/跨地域部署；同一交换机/机架优先，减少网络分区概率。
- 虚拟机/NAT 场景确保宿主机与虚机双向可达，网关与网卡配置一致，避免 MTU/路由不一致引发丢包与重传。
- 目录与权限最小化：对 dataDir、logDir 设置合适的属主属组与权限，避免因权限问题导致会话或快照异常。
二 ZooKeeper 配置参数优化
- 建议的基础配置（示例）：
- tickTime=2000（毫秒）
- initLimit=10（以 tickTime 为单位）
- syncLimit=5（以 tickTime 为单位）
- maxClientCnxns=200–500（按并发连接数调整，默认 60 偏低）
- 集群配置：server.X=IP1:2888:3888，server.Y=IP2:2888:3888，server.Z=IP3:2888:3888
- 将快照与事务日志分盘（dataDir 与 dataLogDir 分离），减少写放大与 I/O 抖动；启用自动清理：
- autopurge.snapRetainCount=3
- autopurge.purgeInterval=24（小时）
- 说明：ZooKeeper 服务端默认已启用 TCP_NODELAY（禁用 Nagle），有利于降低小包交互延迟，无需额外配置。
三 Linux 内核与网络栈调优
- 建议将以下参数写入 /etc/sysctl.conf 并执行 sysctl -p 持久化：
- net.ipv4.tcp_tw_reuse=1（复用 TIME_WAIT 端口，短连接高并发受益）
- net.ipv4.tcp_tw_recycle=0（NAT/云环境易出问题，务必关闭）
- net.ipv4.tcp_fin_timeout=30（缩短 TIME_WAIT 回收）
- net.core.somaxconn=1024 或更高（增大监听队列，应对突发连接）
- net.ipv4.tcp_max_syn_backlog=2048（提升半连接队列上限）
- 文件描述符与内存：
- 提升进程可打开文件数（如 systemd 服务设置 LimitNOFILE=65536 或更高），与 maxClientCnxns 匹配。
- 关闭或降低 swap 使用，避免网络抖动触发内存换页影响会话与 GC。
四 客户端连接与重试策略
- 连接与超时：建议 connectTimeout=5000 ms、sessionTimeout=20000 ms；避免过短的会话超时导致频繁重连。
- 重试策略：采用指数退避与有限重试（如 Curator 的 ExponentialBackoffRetry(baseSleepTimeMs=1000, maxRetries=3)），减少雪崩。
- 连接管理：合理设置连接池/最大连接数，避免单客户端占用过多连接；对长连接业务启用心跳与保活。
五 监控与验证
- 启用 Prometheus 指标（若版本支持）：在 zoo.cfg 增加
- metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
- metricsProvider.httpPort=7000
- 关注指标：zk_server_connections（当前连接数）、zk_server_packets_received（收包量）、zk_server_connection_drop_count（丢连接数）。
- 使用 四字命令巡检：如 mntr、cons、crst 查看连接、请求与重置统计，结合日志（如 dataDir 下的 zookeeper.out）定位异常。
- 定期压测与基线对比：模拟高峰连接/请求，观察延迟、丢包、重传与 GC 行为，按指标回滚或继续调优。
