centos为何hdfs宕机

在 CentOS 上运行 HDFS（Hadoop 分布式文件系统） 时出现“宕机”（NameNode / DataNode 停止、服务不可用、集群异常），常见原因可以归为以下几类。下面按出现频率从高到低说明，并给出排查思路。

一、最常见原因

1. 磁盘空间不足（最常见）

HDFS 对磁盘非常敏感：

• NameNode 元数据目录（dfs.namenode.name.dir）
• DataNode 数据目录（dfs.datanode.data.dir）
• 日志目录（/var/log/hadoop）

现象

• DataNode 突然下线
• NameNode 无法写入 editlog
• 报错：No space left on device

排查

df -h
du -sh /dfs/*

解决

• 清理日志
• 扩容磁盘
• 修改 hdfs-site.xml 中目录配置

2. 内存不足 / OOM（NameNode 尤其容易）

NameNode 需要大量内存：

• 元数据存储全在内存
• 默认 JVM 堆太小

现象

• NameNode 进程消失
• 日志中出现 java.lang.OutOfMemoryError

排查

free -h
less /var/log/hadoop/hdfs/hadoop-hdfs-namenode-*.log

解决 修改：

export HADOOP_NAMENODE_OPTS="-Xmx8g -Xms8g"

3. 防火墙 / SELinux 导致通信失败

CentOS 默认：

• firewalld 开启
• SELinux enforcing

现象

• DataNode 无法连接 NameNode
• 集群启动后节点逐渐掉线

排查

systemctl status firewalld
getenforce

解决

systemctl stop firewalld
setenforce 0

（生产建议用白名单端口，而非直接关闭）

4. 主机名 / hosts 配置错误

HDFS 严重依赖 hostname 解析。

现象

• NameNode 绑错 IP
• DataNode 注册失败

检查

hostname
cat /etc/hosts

正确示例

192.168.1.10 namenode
192.168.1.11 datanode1

二、HDFS 自身问题

5. NameNode 未正常格式化或元数据损坏

现象

• NameNode 起不来
• 报错：NameNode is not formatted

解决

hdfs namenode -format

⚠️ 会清空元数据，仅限新集群

6. JournalNode / ZKFC 问题（HA 模式）

在 HA（高可用） 下：

• JournalNode 挂了 → NameNode 无法切换
• ZKFC 异常 → 主备切换失败

排查

jps
zkServer.sh status

7. 磁盘 IO 异常 / 坏盘

DataNode 多盘环境下：

• 单盘故障可能导致节点宕掉

现象

• DataNode 日志：IOException
• iostat 显示 100% util

三、系统 / 运维原因

8. 时间不同步（NTP）

HDFS 对时间敏感。

现象

• Token 失效
• DataNode 拒绝服务

解决

ntpdate cn.pool.ntp.org

9. 文件句柄数不足

现象

• DataNode 大量连接后崩溃

解决

ulimit -n 65536

四、快速排错步骤（推荐）

# 1. 看进程
jps

# 2. 看日志
tail -n 200 /var/log/hadoop/hdfs/*.log

# 3. 看磁盘
df -h

# 4. 看内存
free -h

# 5. 看网络
ping namenode
telnet namenode 8020

五、如果你愿意，我可以更具体地帮你

你可以告诉我：

1. 是 NameNode 还是 DataNode 宕机？
2. 是否 HA 模式？
3. 报错日志关键行（贴 10–20 行即可）
4. CentOS 版本 & Hadoop 版本

我可以帮你 精确定位原因并给出修复方案。