如何解决ubuntu hbase连接问题

Ubuntu 上 HBase 连接问题的排查与修复

一、快速自检清单

确认依赖服务已就绪：使用 jps 检查进程，需同时看到 HMaster、HRegionServer（HBase）以及 NameNode、DataNode（HDFS）和 QuorumPeerMain（ZooKeeper）。
验证 ZooKeeper 连通：执行 echo ruok | nc localhost 2181，返回 imok 表示 ZK 正常；或用 zkCli.sh -server <zk_host>:2181 连上后 ls /hbase 看是否能列出节点。
检查 HDFS 健康：执行 hdfs dfsadmin -report；若处于安全模式，先执行 hdfs dfsadmin -safemode leave。
核对 HBase 进程与端口：HBase 2.x 常用端口为 16000/16010（Master），16020/16030（RegionServer）；用 netstat -tulpen | grep 160 或 lsof -i :16000 排查端口占用。
访问 Web UI：浏览器打开 http://<HBase主机IP>:16010，确认 Master 已注册并对外提供服务。
查看日志定位根因：优先看 $HBASE_HOME/logs/hbase--master-.log 与 regionserver 日志。

二、常见连接故障与修复

主机名解析错误（UnknownHostException / 连接被解析到 127.0.0.1）
现象：客户端报 UnknownHostException，或日志中 region 主机名如 ubuntu/localhost 无法访问。
处理：
1. 在 Ubuntu 的 /etc/hosts 明确写入 “服务器IP 主机名”（如：192.168.10.141 xiaolunserver），并确保 hostname 命令返回值与之一致；
2. 远程客户端（如 Windows）也需在 C:\Windows\System32\drivers\etc\hosts 添加同样映射；
3. 避免将主机名错误映射到 127.0.0.1/127.0.1.1。
DNS 反向解析失败（Java 客户端可 shell 但程序连不通）
现象：hbase shell 正常，Java API 超时或报 DNS 反向解析失败。
处理：在局域网部署 Bind9 等 DNS，补齐 PTR 记录，确保 IP→主机名的反向解析可用。
HBase 未就绪（ServerNotRunningYetException / Master 启动后消失）
现象：执行命令报 Server is not running yet 或 Master not running。
处理：
1. 查看 Master/RS 日志，确认非配置错误、端口冲突或 OOM；
2. 确认 ZooKeeper 已启动且 /hbase 节点存在；
3. 确认 HDFS 可用且不在安全模式；
4. 检查端口是否被占用并释放或调整 hbase.master.port/regionserver.port；
5. 必要时清理 HDFS 上 /hbase 残留数据后重启（谨慎，先备份）。
外部 ZooKeeper 连接异常（ConnectionLoss for /hbase/master）
现象：使用外部 ZK 时，HBase 无法获取 Master 地址。
处理：
1. 在 hbase-env.sh 设置 HBASE_MANAGES_ZK=false；
2. 在 hbase-site.xml 正确配置 hbase.zookeeper.quorum（用逗号分隔多个 ZK 节点）与 clientPort=2181；
3. 确认 ZK 集群运行且网络可达。
Windows 开发机远程连接 Java 报错（winutils.exe 缺失）
现象：报 Could not locate executable null\bin\winutils.exe。
处理：在 Windows 设置 HADOOP_HOME 指向包含 winutils.exe 的目录，或在程序启动前设置 System.setProperty(“hadoop.home.dir”, “F:\hadoop-winutil”)。

三、关键配置示例

使用外部 ZooKeeper（推荐生产）
- hbase-env.sh
  - export HBASE_MANAGES_ZK=false
  - export JAVA_HOME=/usr/local/jdk1.8.0
- hbase-site.xml（示例）
  - hbase.rootdir：hdfs://master:9000/hbase
  - hbase.cluster.distributed：true
  - hbase.zookeeper.quorum：master,node1,node2
  - hbase.zookeeper.property.clientPort：2181
  - hbase.master.info.bindAddress：0.0.0.0
  - hbase.master.info.port：16010
  - hbase.regionserver.info.bindAddress：0.0.0.0
  - hbase.regionserver.info.port：16030
使用内置 ZooKeeper（仅测试）
- hbase-env.sh：export HBASE_MANAGES_ZK=true
- hbase-site.xml：hbase.cluster.distributed：false（单机/伪分布式）
  说明：端口与绑定地址按实际主机名/IP 调整，远程访问务必使用 0.0.0.0 或服务器真实 IP。

四、不同客户端的连接要点

Java API（远程）
- 仅设置 ZooKeeper 连接即可（不需要配 hbase.master）：
  - hbase.zookeeper.quorum：<ZK_IP1>,<ZK_IP2>
  - hbase.zookeeper.property.clientPort：2181
- 确保客户端能解析 HBase 各节点的主机名（/etc/hosts 或 DNS）。
HBase Shell
- 在 Ubuntu 服务器本地执行 hbase shell 通常最稳；远程请保证网络、主机名解析与端口放通。
Python（Thrift）
- 启动 HBase Thrift 服务（常见为 Thrift 0.16.0 + hbase-thrift 0.20.4 打补丁版本），客户端用 happybase 连接 <HBase_IP>:9090；注意 Thrift 版本兼容与依赖安装。

五、最小复现与验证步骤

启动顺序：先 ZooKeeper → 再 HDFS（确认 NameNode/DataNode 正常）→ 最后 HBase（确认 HMaster/HRegionServer 出现）。
本地验证：
- 执行 echo ruok | nc localhost 2181 → 应返回 imok；
- 执行 zkCli.sh -server <zk_host>:2181 → ls /hbase 应可见 znode；
- 访问 http://<HBase_IP>:16010 应看到 HMaster 页面；
- 运行 hbase shell → 执行 status 应返回 1 active master。
远程验证：在客户端 hosts 写入 “服务器IP 主机名”，用 Java/Python 连接并 list/scan 小表验证。

最新问答

相关标签