ubuntu与hbase兼容性问题

Ubuntu 与 HBase 兼容性要点与避坑指南

一 兼容性矩阵与推荐组合

• 在 Ubuntu 上，HBase 的“兼容性”主要取决于 Java 版本 与 Hadoop 版本 的匹配，操作系统本身通常不构成硬性限制。生产上建议选择 JDK 8，Hadoop 与 HBase 按官方兼容矩阵配对。
• 常见稳定组合示例（均为 Ubuntu 16.04/18.04/20.04 等常见 LTS 上验证过的实践）：
  • Hadoop 3.1.x + HBase 2.2.x（如：Hadoop 3.1.3 + HBase 2.2.4）
  • Hadoop 3.2.x + HBase 2.3.x（如：Hadoop 3.2.2 + HBase 2.3.5）
  • Hadoop 3.3.x + HBase 2.4.x（以官方矩阵为准，谨慎选择具体小版本）
• 重要提醒：HBase 与 Hadoop 的版本必须严格匹配，差一个小版本都可能引发启动或运行期异常；选择版本前务必先查官方兼容性说明。

二 常见兼容性问题与快速修复

• Java 与类路径冲突
  • 现象：执行 hbase version 报 “无效变量名” 或 “找不到或无法加载主类 …GetJavaProperty”。
  • 原因：HBase 与 Hadoop 依赖/脚本变量或类路径互相干扰。
  • 修复：在 conf/hbase-env.sh 中加入 export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP=true，避免 HBase 扫描 Hadoop 的 jar 包；必要时检查 JAVA_HOME 是否指向 JDK 8。
• JAVA_HOME 未设置或设置不当
  • 现象：启动 HBase 时报 “Error: JAVA_HOME is not set”。
  • 修复：在 hbase-env.sh 显式设置 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64（路径以实际为准）。
• Hadoop 与 HBase 启动顺序不当
  • 现象：HBase Shell 执行 status/list 报 ServerNotRunningYetException。
  • 修复：严格遵循启动顺序：先启动 Hadoop HDFS → 再启动 HBase → 关闭时反向进行。
• HDFS 地址解析错误
  • 现象：java.io.EOFException，日志显示本机名与端口不一致（如 “node1/192.168.30.128” 与 “node1:8020”）。
  • 修复：在 core-site.xml 将 fs.defaultFS 的值由主机名改为 IP 地址（如 hdfs://<本机IP>:8020）。
• DataNode 消失或无法启动
  • 现象：jps 看不到 DataNode。
  • 修复：多次格式化 NameNode 会导致 clusterID 不一致。将 dfs/name/current/VERSION 与 dfs/data/current/VERSION 中的 clusterID 调整为一致后重启 HDFS。
• 本地库加载与 native-hadoop 警告
  • 现象：启动有 “无法加载 native-hadoop 库” 的警告。
  • 修复：设置 JAVA_LIBRARY_PATH 指向 Hadoop 的 lib/native 目录（Linux 下用冒号分隔路径）。
• 端口与访问
  • 现象：访问 16010 页面失败（HBase 2.x 的 Master Web UI 端口）。
  • 修复：确认已启动 HBase，并在云服务器安全组/防火墙放行 16010；本机可用 localhost:16010 访问。

三 Ubuntu 部署与配置要点

• 基本环境
  • 选择 JDK 8，配置 JAVA_HOME；Hadoop 与 HBase 版本按矩阵匹配；下载 bin 包而非源码包。
• 伪分布式关键配置（示例）
  • conf/hbase-site.xml：
    • <property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property>
    • <property><name>hbase.cluster.distributed</name><value>true</value></property>
  • 启动顺序：start-dfs.sh → start-hbase.sh；Web UI：http://localhost:16010。
• 外部 ZooKeeper
  • 如需使用外部 ZooKeeper，在 hbase-env.sh 设置 export HBASE_MANAGES_ZK=false，并在 hbase-site.xml 配置 hbase.zookeeper.quorum 与 hbase.zookeeper.property.clientPort。
• 常见目录与权限
  • 确保 hbase.rootdir 指向的 HDFS 目录存在且可写；本地 tmp、logs 目录权限正确；必要时清理后重启。

四 快速排查清单

• 核对三要素：Ubuntu 版本（64 位 LTS）、JDK 8、Hadoop 与 HBase 版本矩阵匹配。
• 检查配置：JAVA_HOME、HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP、hbase.rootdir、hbase.cluster.distributed、core-site.xml 的 fs.defaultFS 使用 IP。
• 核对进程：jps 依次确认 NameNode/DataNode（HDFS）与 HMaster/HRegionServer（HBase）是否齐全。
• 查看日志：$HBASE_HOME/logs/ 下 HMaster/HRegionServer 日志，优先定位异常栈。
• 访问验证：浏览器访问 16010；HBase Shell 执行 status 与 list 验证读写通路。