在 Debian 上部署 HBase 集群的可行路径
- 选择运行模式：HBase 支持单机模式与分布式模式。单机模式使用本地文件系统与内置 ZooKeeper，适合验证；生产环境建议使用完全分布式，由外部 ZooKeeper 集群与 HDFS 提供高可用与可扩展性。部署前确保节点间网络互通、主机名可解析，并准备JDK 8+、Hadoop 2.7+、ZooKeeper 3.4+。
环境与前置准备
- 系统与用户
- 建议使用 Debian 10/11/12，创建专用系统用户（如 hbase）统一启停与持有数据/日志目录权限。
- Java
- 安装 OpenJDK 8 或更高版本，并在 hbase-env.sh 中正确设置 JAVA_HOME（如：/usr/lib/jvm/default-java 或 /usr/lib/jvm/java-8-openjdk-amd64）。
- 依赖服务
- 部署 HDFS（NameNode/DataNode）并确认 HDFS 可用；部署 ZooKeeper 集群（建议 3/5/7 节点），端口 2181/2888/3888 正常监听。
- 目录与权限
- 规划数据目录（如 /var/lib/hbase、/usr/local/hbase/data）、日志目录（如 /var/log/hbase），并赋予 hbase 用户权限。
- 资源与内核
- 调整 文件描述符限制（/etc/security/limits.conf 提升 nofile）、合理设置 JVM 堆内存（HBASE_HEAPSIZE），避免 OOM 与连接数受限。
集群部署步骤
- 安装与目录
- 下载并解压 HBase 二进制包至 /usr/local/hbase，创建软链或使用环境变量 HBASE_HOME；同步相同目录结构到所有节点。
- 环境变量
- 在 hbase-env.sh 中设置 JAVA_HOME、HBASE_HEAPSIZE，并根据是否由 HBase 托管 ZK 设置 HBASE_MANAGES_ZK=false（生产推荐外部 ZK）。
- 核心配置 hbase-site.xml（示例要点）
- 指定分布式与存储后端：
- hbase.cluster.distributed：true
- hbase.rootdir：hdfs://:9000/hbase
- hbase.zookeeper.quorum：zk1,zk2,zk3
- hbase.zookeeper.property.clientPort：2181
- 可选：开启 hbase.master.info.port、hbase.regionserver.info.port 便于 Web UI 访问。
- 节点清单
- 编辑 conf/regionservers，逐行写入 RegionServer 主机名（与 /etc/hosts 或 DNS 一致）。
- 与 Hadoop/ZooKeeper 联动
- 将 Hadoop 的 core-site.xml/hdfs-site.xml 软链至 HBASE_HOME/conf/，保证 HBase 使用集群 HDFS；如使用外部 ZK，确保 zoo.cfg 在各节点一致并分发 myid。
- 分发与权限
- 使用 rsync/scp 同步 HBase 目录与配置到所有节点；修正 数据/日志目录 属主为 hbase:hbase。
- 启动与验证
- 在 HMaster 节点执行：start-hbase.sh；用 jps/htop 检查进程（HMaster/HRegionServer/ZooKeeper 客户端连接）。
- 通过 hbase shell 执行：status ‘detailed’ 查看集群健康；访问 HMaster Web UI（默认 16010） 与 RegionServer Web UI（默认 16030） 核对节点与负载。
高可用与运维要点
- 高可用
- 部署 多节点 ZooKeeper 集群实现元数据高可用；HBase 层面通过 多 HMaster（部署多个 HMaster 进程）与 RegionServer 自动故障转移提升可用性；必要时结合 负载均衡/虚拟 IP 对外提供稳定入口。
- 备份与迁移
- 采用 快照（Snapshot） 与 Export/Import 工具进行备份与迁移；大规模数据建议先生成 HFile 再批量导入，降低在线写入压力。
- 监控与诊断
- 使用 HBase Shell、Web UI、hbck 做日常巡检；结合 Ganglia/OpenTSDB/Nagios 监控指标与健康检查，定位热点 Region、慢查询与 GC 问题。
- 升级与回滚
- 遵循“备份 → 滚动升级 → 验证 → 回滚预案”流程；升级前确认 HBase 与 Hadoop 版本兼容矩阵，先在测试环境演练。
常见问题与快速排查
- 无法连接 ZooKeeper
- 核对 hbase.zookeeper.quorum 与端口 2181；检查 /etc/hosts/DNS、防火墙/安全组；提升 nofile 限制（/etc/security/limits.conf），必要时调大 ZooKeeper 最大连接数。
- 权限与目录
- 确认 /var/log/hbase、/var/lib/hbase 等目录属主为 hbase；HDFS 上 /hbase 目录存在且 hbase 用户具备读写权限（可通过 hdfs dfs -chown/chmod 调整）。
- 端口与进程
- 常用端口：HMaster 16000/16010、RegionServer 16020/16030、ZooKeeper 2181/2888/3888；若端口被占用或进程未起，查看 logs/ 下对应 .log 文件定位异常（如端口冲突、堆内存不足、ZK 会话超时）。
- HDFS 依赖
- 启动前确保 HDFS 已运行且 NameNode/DataNode 健康；HBase 根目录（如 /hbase）在 HDFS 上可写，避免因空间不足或权限问题导致启动失败。
