CentOS怎么设置HDFS

在 CentOS 上设置 HDFS（Hadoop Distributed File System），通常指单机伪分布式或完全分布式。下面我以 Hadoop 3.x + CentOS 7/8 为例，给你一套完整、可操作的步骤。如果你是 学习 / 测试环境，可直接按伪分布式来。

一、环境准备（CentOS）

1️⃣ 关闭防火墙（测试环境）

systemctl stop firewalld
systemctl disable firewalld

2️⃣ 禁用 SELinux

setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

3️⃣ 安装 JDK（必需）

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

检查：

java -version

二、创建 Hadoop 用户（推荐）

useradd hadoop
passwd hadoop

切换到 hadoop 用户：

su - hadoop

三、下载并安装 Hadoop

1️⃣ 下载 Hadoop

cd /opt
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

2️⃣ 解压

tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 hadoop

四、配置环境变量

编辑：

vi ~/.bashrc

添加：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

生效：

source ~/.bashrc

验证：

hadoop version

五、配置 SSH 免密登录（必须）

ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试：

ssh localhost

六、Hadoop 核心配置（伪分布式）

进入配置目录：

cd $HADOOP_HOME/etc/hadoop

1️⃣ 配置 core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

2️⃣ 配置 hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/data/datanode</value>
  </property>
</configuration>

创建目录：

mkdir -p /opt/hadoop/data/namenode
mkdir -p /opt/hadoop/data/datanode

3️⃣ 配置 hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

七、格式化 HDFS（只一次）

hdfs namenode -format

看到 successfully formatted 即可。

八、启动 HDFS

start-dfs.sh

检查进程：

jps

应看到：

NameNode
DataNode
SecondaryNameNode

九、验证 HDFS

1️⃣ 访问 Web UI

http://服务器IP:9870

2️⃣ 测试 HDFS 命令

hdfs dfs -mkdir /test
hdfs dfs -put /etc/hosts /test
hdfs dfs -ls /test

十、常见问题

❌ 权限问题

chown -R hadoop:hadoop /opt/hadoop

❌ 端口被占用

netstat -antp | grep 9000

十一、如果是完全分布式（多节点）

需要额外配置：

• workers
• 多台机器 SSH 免密
• fs.defaultFS 指向 NameNode IP
• 各节点 datanode 配置

十二、我可以继续帮你

你可以告诉我： ✅ 是 单机 / 伪分布式 / 完全分布式
✅ CentOS 版本（7 / 8 / stream）
✅ 是否用于 学习 / 生产
✅ 是否要 和 YARN / Spark 一起用

我可以给你 更精简 / 更生产级 的配置方案。