Ubuntu 与 Hadoop 集成的主要挑战与应对
一 版本与依赖的匹配
- 操作系统与发行版选择：优先选用 Ubuntu LTS（如 20.04、22.04），内核与软件栈更稳定；避免使用过旧或非 LTS 版本以减少依赖与兼容风险。
- Java 运行时约束：Hadoop 3.x 要求 Java 8 或 11（推荐 OpenJDK 11）；Java 17+ 可能引发类库冲突或启动失败。
- Hadoop 发行版选择：避免使用过旧版本（如 2.7.x 以下），建议选择 3.3.x 等稳定主线版本。
- 本地库依赖与性能：缺少 libsnappy、zlib、OpenSSL 等依赖会触发 “Unable to load native-hadoop library” 警告并影响压缩、I/O 等性能；需安装对应系统库并正确设置 LD_LIBRARY_PATH。
- 生态组件匹配：与 Spark 等组件集成时，需选择与之匹配的 Hadoop 发行包（如 spark-3.5.1-bin-hadoop3.tgz 对应 Hadoop 3.3.x）。
二 集群部署与网络配置
- SSH 免密登录：Hadoop 各节点依赖 SSH 无密码登录；常见问题包括未安装 openssh-server、密钥未分发或权限不当，表现为 “Permission denied (publickey,password)”。
- 主机名与 /etc/hosts：需正确设置 /etc/hostname 与 /etc/hosts，确保节点间可用 主机名 互相解析，避免因 DNS/解析不一致导致 DataNode 无法连接 NameNode。
- 防火墙与端口：需放行 HDFS（如 9870/50070）、YARN（如 8088） 等端口，或在内网环境关闭防火墙，防止访问与管理受阻。
- 资源与配额：节点 内存、磁盘、CPU 不足会导致进程被 OOM 或任务失败；需结合工作负载规划 内存/容器/磁盘 配额。
三 权限、用户与启动脚本
- 运行用户与目录权限：不建议以 root 运行；应使用专用 hadoop 用户并为 Hadoop 安装目录与数据目录 设置正确属主与权限（如 chown/chmod），否则易出现访问被拒或数据目录无法创建。
- 启动脚本的用户变量：在部分环境（尤其是 Hadoop 3.x 的某些发行包/脚本）中，若未显式设置 HDFS_NAMENODE_USER、HDFS_DATANODE_USER、YARN_RESOURCEMANAGER_USER、YARN_NODEMANAGER_USER 等，执行 start-dfs.sh/start-yarn.sh 可能报错并中止。
- JAVA_HOME 与环境变量：即便系统已安装 JDK，Hadoop 仍可能报 “JAVA_HOME is not set”；需在 hadoop-env.sh 中显式设置 JAVA_HOME，并确保 PATH 包含 $HADOOP_HOME/bin:$HADOOP_HOME/sbin。
- 工具链可用性：缺少 rsync 等工具会影响节点间分发与同步；需提前安装并可用。
四 本地库与性能调优
- 本地库缺失或不匹配：$HADOOP_HOME/lib/native 目录为空或 .so 文件与系统架构/glibc 不匹配，会引发本地库加载失败或性能退化；需安装系统依赖并从源码使用 -Pdist,native 重新编译以生成匹配架构的本地库。
- 权限与路径：确保本地库目录与文件具备 读/执行权限，并在环境中正确导出 LD_LIBRARY_PATH，否则仍可能退化为纯 Java 实现。
- 监控与容量规划：结合 Hadoop Admin UI、ResourceManager UI 与系统监控，关注 NameNode/DataNode 堆内存、GC、磁盘使用率、网络吞吐，避免因资源瓶颈导致不稳定。
五 常见问题快速排查清单
- 服务未起或异常退出：查看 $HADOOP_LOG_DIR/*.log（如 /usr/local/hadoop/logs）定位启动失败原因。
- HDFS 基本连通性：执行 hadoop fs -ls / 验证 NameNode/DataNode 是否正常与权限是否正确。
- SSH 连通性：在各节点间执行 ssh hadoop@目标主机 验证免密登录是否生效。
- Java 与 Hadoop 版本：执行 java -version 与 hadoop version 确认版本与可执行性。
- 本地库加载：检查 $HADOOP_HOME/lib/native 是否存在 libhadoop.so、libhdfs.so 等文件，并确认 LD_LIBRARY_PATH 配置。
