在 CentOS 上配置 HDFS(Hadoop 分布式文件系统)时,有几个关键注意点,涵盖系统环境、用户权限、网络、配置和常见问题。下面按实战角度总结:
export JAVA_HOME=/usr/java/jdk1.8.0_xxx
并写入 ~/.bashrc 或 /etc/profile
✅ 注意:CentOS 自带 openjdk 可能不完整,建议用 Oracle JDK 或官方 OpenJDK
localhost 作为集群节点/etc/hosts:192.168.1.10 namenode
192.168.1.11 datanode1
192.168.1.12 datanode2
hostnamectl set-hostname namenode
✅ 注意:NameNode 和 DataNode 必须能互相解析主机名
systemctl stop firewalld
systemctl disable firewalld
或开放端口(如 9000 / 8020 / 50070)
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
⚠️ 生产环境不建议直接关,应配置安全策略
useradd hadoop
passwd hadoop
常见目录:
/opt/hadoop
/data/hdfs/name
/data/hdfs/data
chown -R hadoop:hadoop /opt/hadoop /data/hdfs
✅ 注意:NameNode 和 DataNode 目录必须不同
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode:9000</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hdfs/data</value>
</property>
⚠️ 注意:
dfs.replication ≤ DataNode 数量NameNode 要能无密码登录所有 DataNode:
ssh-keygen -t rsa
ssh-copy-id datanode1
ssh-copy-id datanode2
✅ 注意:
hadoop 用户执行ssh datanode1 不输密码hdfs namenode -format
⚠️ 重复格式化会清空元数据!
start-dfs.sh
jps
应看到:
Web UI:
http://namenode:50070
yum install -y ntp
systemctl enable ntpd
ulimit -n 65536
并在 /etc/security/limits.conf 配置
如果你愿意,我可以:
直接说你的场景即可。