Ubuntu Hadoop 故障排查有哪些方法

Ubuntu Hadoop 故障排查方法

一 快速定位流程

• 核对基础环境：执行java -version确认已安装；检查环境变量JAVA_HOME、HADOOP_HOME、PATH是否生效（建议写入**~/.bashrc或/etc/profile后执行source**使其生效）。
• 核对关键配置：重点查看core-site.xml、hdfs-site.xml、yarn-site.xml中的fs.defaultFS、dfs.replication、yarn.nodemanager.resource.memory-mb等核心项是否一致且合理。
• 查看进程与服务：在各节点执行jps确认NameNode、DataNode、ResourceManager、NodeManager等是否在位；异常时优先查看**$HADOOP_HOME/logs**下对应进程的日志。
• 网络与防火墙：确认节点间SSH免密可达，按需放行端口（如9000、9870、8088等），避免因访问被拒导致组件“起不来”或“看得见起不来”。
• 首次或异常后的一致性恢复：必要时对HDFS执行hdfs namenode -format（注意会清空元数据，生产谨慎），再按序启动start-dfs.sh与start-yarn.sh。

二 常见故障与处理要点

三 配置与权限核查清单

• 环境变量：在**~/.bashrc或/etc/profile中设置并导出JAVA_HOME、HADOOP_HOME、PATH**；执行source后验证echo $JAVA_HOME与echo $HADOOP_HOME。
• 关键配置：
  • core-site.xml：确认fs.defaultFS（如hdfs://localhost:9000或hdfs://127.0.0.1:9000）。
  • hdfs-site.xml：核对dfs.replication、dfs.datanode.data.dir等。
  • yarn-site.xml：核对yarn.nodemanager.resource.memory-mb、yarn.nodemanager.resource.cpu-vcores。
• 目录与权限：确保Hadoop安装目录与HDFS数据目录归属正确、权限充足（如**/usr/local/hadoop与/data/hadoop**），避免因权限不足导致启动或写入失败。
• 主机名与地址：核对**/etc/hosts与workers**（或slaves）文件的主机名解析是否一致，避免“能起但互相不可达”。

四 日志与端口排障要点

• 日志优先：组件异常时，第一时间查看**$HADOOP_HOME/logs下对应进程的.log与.out**，从Caused by定位根因。
• 进程核验：在各节点执行jps，快速判断缺失的组件（如NameNode/DataNode/ResourceManager/NodeManager）。
• 端口与服务：
  • 常见端口：9000（HDFS RPC）、9870（NameNode Web UI，Hadoop 3.x）、8088（YARN Web UI）、50010/50020/50075/50090（DataNode相关）。
  • 使用netstat -tulpen | grep <端口>或ss -lntp | grep <端口>确认监听地址与进程；必要时用curl/wget测试访问。
• 防火墙与安全组：在Ubuntu上用ufw放行必要端口，云环境同步放通安全组规则，避免“本机能访问、跨机访问被拒”。

五 数据一致性恢复与重置

• 适用场景：配置变更、异常关机或DataNode目录变更后，出现ClusterID不一致、块报告异常等。
• 操作步骤：
  1. 停止集群：stop-dfs.sh与stop-yarn.sh；
  2. 备份并清理dfs.namenode.name.dir与dfs.datanode.data.dir指向的目录（或按你的实际tmp/数据目录清理）；
  3. 重新格式化：hdfs namenode -format；
  4. 启动集群：start-dfs.sh与start-yarn.sh；
  5. 用hdfs dfsadmin -report与jps核验DataNode是否注册成功。
• 风险提示：格式化会清空HDFS元数据与数据，务必先做好备份与评估。