温馨提示×

centos配置hdfs卡在哪

小樊
50
2026-09-06 13:12:53
栏目: 智能运维

你这个问题范围有点大,我先按**“在 CentOS 上配置 HDFS 时最常见的卡点”**给你梳理一下,你可以对照看是卡在哪一步。


一、环境准备阶段(最容易忽略)

1. Java 环境没配好

HDFS 强依赖 JDK

检查:

java -version
echo $JAVA_HOME

常见错误:

  • 没装 JDK,只装了 JRE
  • JAVA_HOME 没配置或路径不对

✅ 正确示例:

export JAVA_HOME=/usr/java/jdk1.8.0_361

2. 主机名 / hosts 没配

HDFS 对 hostname 非常敏感

检查:

hostname
cat /etc/hosts

✅ 建议配置:

192.168.1.10 namenode
192.168.1.11 datanode1

二、SSH 免密登录(必卡点)

3. NameNode 无法 SSH 到 DataNode

测试:

ssh datanode1

如果还要输密码 → 没配免密

解决:

ssh-keygen -t rsa
ssh-copy-id datanode1

⚠️ 自己也要能免密自己:

ssh-copy-id localhost

三、HDFS 配置文件(最复杂)

4. core-site.xml 写错

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://namenode:9000</value>
</property>

常见错误:

  • localhost 写成 IP
  • 端口和 hdfs-site 不一致

5. hdfs-site.xml 目录权限问题

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hadoop/name</value>
</property>

必须:

mkdir -p /data/hadoop/name
chown -R hadoop:hadoop /data/hadoop

❌ 用 root 启动 HDFS 会直接失败


四、格式化 & 启动(高频翻车)

6. 没格式化 NameNode

hdfs namenode -format

⚠️ 只能格式化一次
重复格式化 → clusterID 不一致


7. 用 root 启动

HDFS 不建议 root 启动

正确方式:

useradd hadoop
su - hadoop
start-dfs.sh

五、防火墙 & SELinux(CentOS 专属坑)

8. 端口被防火墙挡

systemctl stop firewalld
setenforce 0

或放行端口:

firewall-cmd --add-port=9000/tcp --permanent

六、快速自检清单 ✅

你可以一条条核对:

  • [ ] JAVA_HOME 正确
  • [ ] hosts 配置正确
  • [ ] SSH 免密成功
  • [ ] 非 root 用户
  • [ ] 目录权限正确
  • [ ] namenode 已格式化
  • [ ] 防火墙关闭

七、如果你愿意,我可以更精准帮你

你可以直接贴:

  1. 卡在哪一步(安装 / 配置 / 启动)
  2. 报错日志(最重要)
  3. CentOS 版本 + Hadoop 版本

例如:

CentOS 7 + Hadoop 3.3.4
java.net.ConnectException: Connection refused

我可以直接帮你定位到具体原因。

0 踩