Ubuntu HDFS配置常见问题有哪些

Ubuntu 上部署 HDFS 的常见配置问题与排查要点

一 环境与权限类问题

• 使用 root 启动被拒：Hadoop 3.x 默认禁止以 root 直接操作守护进程。推荐创建专用的 hadoop 用户并配置 SSH 免密登录；若确需 root，可在 $HADOOP_HOME/sbin/start-dfs.sh、stop-dfs.sh、start-yarn.sh、stop-yarn.sh 顶部显式声明用户变量（如：HDFS_NAMENODE_USER=root、HDFS_DATANODE_USER=root、YARN_RESOURCEMANAGER_USER=root、YARN_NODEMANAGER_USER=root），或通过 /etc/profile.d/ 设置同名环境变量后 source 使其生效。
• 命令未找到：未正确设置 HADOOP_HOME、PATH、HADOOP_CONF_DIR 等环境变量。建议在 ~/.bashrc 或 /etc/profile.d/ 中导出：HADOOP_HOME=/usr/local/hadoop-x.y.z、PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin、HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop，执行 source 后用 hadoop version、hdfs version、which hadoop、which hdfs 验证。
• JAVA_HOME 未设置或路径错误：在 hadoop-env.sh 明确设置 export JAVA_HOME=...（如 /usr/lib/jvm/java-8-openjdk-amd64 或 /usr/lib/jvm/java-11-openjdk-amd64），并确认 java -version 正常。
• 目录权限与属主：HDFS 数据与日志目录应归属运行用户（如 hadoop:hadoop），必要时执行 chown -R hadoop:hadoop /usr/local/hadoop...；测试环境可临时放宽权限，但生产环境应按最小权限原则配置。

二 配置与启动类问题

• 配置文件语法与一致性：核对 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 的标签闭合、缩进与属性名；一处格式错误就可能导致启动失败。跨节点需保持关键配置一致（如 fs.defaultFS、dfs.replication、dfs.namenode.name.dir、dfs.datanode.data.dir）。
• 首次未格式化 NameNode：首次部署需执行 hdfs namenode -format 初始化元数据目录；重复格式化会清空 HDFS 数据，仅在首次或明确需要重置时执行。
• 进程未起来或缺失：用 jps 检查是否存在 NameNode、DataNode、SecondaryNameNode；若缺失，查看 $HADOOP_HOME/logs/ 下对应日志定位原因。
• SSH 免密未生效：集群脚本依赖节点间 SSH 免密。使用 ssh-keygen -t rsa 生成密钥，分发公钥到各节点（ssh-copy-id user@host），并验证 ssh host 无需口令。
• 端口与防火墙：确保 9000（HDFS RPC）、50070（NameNode Web UI）、8088（ResourceManager Web UI）等端口未被阻断；如使用 ufw，可执行 sudo ufw allow 9000,50070,8088。

三 网络与主机名解析问题

• 主机名与地址绑定错误：在 core-site.xml 的 fs.defaultFS 中应使用可被各节点解析的主机名或 IP（如 hdfs://namenode:9000 或 hdfs://192.168.x.x:9000）；同时确保 /etc/hosts 或 DNS 正确解析所有节点的 主机名—IP。
• 端口占用或冲突：若 9000 等端口被占用，HDFS 将无法绑定；可用 netstat -tulpen | grep 9000 排查并释放占用进程或更换端口。
• 防火墙与安全组：云环境需放行相关端口；本地虚拟机需关闭或放行 ufw/iptables 对 Hadoop 端口的限制。

四 数据与存储路径问题

• 数据目录不存在或无权限：在 hdfs-site.xml 正确设置 dfs.namenode.name.dir 与 dfs.datanode.data.dir（如 /usr/local/hadoop/data/namenode、/usr/local/hadoop/data/datanode），并确认运行用户对目录具备读写权限；首次启动前可手动创建目录并 chown。
• 多次格式化导致数据丢失：仅在首次部署或明确重置时执行 hdfs namenode -format；重复格式化会清空 NameNode/DataNode 目录数据。
• 磁盘或内存资源不足：DataNode 写入失败或进程异常退出常与 磁盘空间不足 或 内存紧张 相关；检查 df -h、free -m，必要时扩容或清理。
• 权限校验导致访问被拒：HDFS 默认启用权限检查（如 AccessControlException）。测试环境可在 hdfs-site.xml 将 dfs.permissions 设为 false；生产环境应保留权限检查并按需配置 HDFS 超级用户组（supergroup） 与目录 ACL。

五 快速排查清单

• 核对环境：echo $JAVA_HOME $HADOOP_HOME $PATH $HADOOP_CONF_DIR、java -version、hadoop version、hdfs version。
• 校验配置：cat $HADOOP_HOME/etc/hadoop/{core-site.xml,hdfs-site.xml} 关键项；跨节点一致性。
• 检查进程：jps 是否包含 NameNode/DataNode/SecondaryNameNode。
• 查看日志：tail -f $HADOOP_HOME/logs/hadoop-*-namenode-*.log、...-datanode-*.log。
• 网络连通：ping namenode、ssh namenode、netstat -tulpen | grep 9000。
• 防火墙：sudo ufw status、sudo ufw allow 9000,50070,8088。
• 目录与权限：ls -ld /usr/local/hadoop/data/{namenode,datanode}、chown -R hadoop:hadoop ...。
• 首次部署：确认已执行且仅执行一次 hdfs namenode -format。