Debian HBase网络配置要注意什么

Debian 上部署 HBase 的网络配置要点

一 主机名与 DNS 解析

• 使用一致且可解析的主机名（FQDN），避免直接用 IP；确保正向与反向 DNS均可解析，跨节点互相解析一致。
• 多网卡/多网段时，显式指定 HBase 使用的主接口或 DNS：
  • 配置项：hbase.regionserver.dns.interface、hbase.regionserver.dns.nameserver。
• 修正回环地址映射，避免 127.0.1.1 引发异常：
  • /etc/hosts 建议仅保留：127.0.0.1 localhost；将主机名映射到内网 内网IP（如 192.168.x.x），不要放在 127.0.1.1。
• 集群脚本依赖 SSH 免密登录，需保证各节点间 SSH 互通。

二 接口与 IP 规划

• 为集群选择稳定的内网网卡与静态 IP，避免 DHCP 导致地址漂移；多网卡时明确默认路由与业务网段。
• 在 Debian 中可按需采用：
  • /etc/network/interfaces（静态/动态 IP、网关、DNS）；
  • 或 systemd-resolved 管理 DNS（/etc/systemd/resolved.conf）；
  • 或 NetworkManager 统一管理连接。
• 多网卡/多路由场景，使用 ip route 配置静态路由，确保节点间、与 HDFS/ZooKeeper 的跨网段可达。

三 端口与防火墙策略

• 放行 HBase 与依赖组件端口（示例，按实际版本与组件启用）：
  • HBase Master：16000（RPC）、16010（Web UI）
  • RegionServer：16020（RPC）、16030（Web UI）
  • Thrift：9090；REST：8080
  • ZooKeeper：客户端 2181；集群通信 2888/3888
• Debian 常用防火墙：
  • UFW：如 ufw allow 2181,2888,3888,16000,16010,16020,16030,8080,9090/tcp
  • 或 iptables 精确放通上述端口与回环接口
• 若启用 IPv6，同步放通对应协议的端口，避免节点间通信被策略阻断。

四 时间同步与内核网络参数

• 集群时钟必须基本同步，建议部署 NTP 或 chrony；时间漂移会导致 Region 分配、Compaction、复制等异常。
• 提升文件句柄与进程数，避免“Too many open files”“OutOfMemoryError”：
  • /etc/security/limits.conf 示例：
    • hbase soft/hard nofile 32768
    • hbase soft/hard nproc 32000
  • 在 /etc/pam.d/common-session 加入：session required pam_limits.so
  • 重新登录或重启使 limits 生效；HBase 启动日志首行会打印 ulimit 信息，务必核对。

五 快速自检清单

• 解析与连通性：
  • 各节点执行 ping <主机名>、nslookup <主机名> 与 dig -x <IP> 验证正反向解析；
  • ssh <主机名> 免密登录无交互。
• 端口与防火墙：
  • ss -lntp | grep -E '16000|16010|16020|16030|8080|9090|2181'（或 netstat -lntp）确认监听；
  • ufw status 或 iptables -S 核验放通规则。
• HBase 服务与 UI：
  • jps 能看到 HMaster/HRegionServer；
  • 访问 http://:16010 与 http://:16030 检查 Master/RegionServer 状态。