怎么在CentOS部署HDFS

下面给你一个在 CentOS 上部署 HDFS（Hadoop 分布式文件系统）的完整实操指南，适合单机伪分布式和完全分布式两种常见场景。假设你已有一台或多台 CentOS 7/8 服务器。

一、环境准备（所有节点都要做）

1. 系统要求

• CentOS 7 / 8
• Java 8 或 11（推荐 Java 8）
• 单节点：1 台服务器
• 完全分布式：至少 3 台服务器（NameNode + DataNode）

2. 关闭防火墙 & SELinux（测试环境）

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭 SELinux
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

3. 安装 Java

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version

配置 JAVA_HOME：

echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /etc/profile
source /etc/profile

4. 创建 Hadoop 用户（推荐）

useradd hadoop
passwd hadoop

后续操作可用 hadoop 用户执行。

二、安装 Hadoop

1. 下载 Hadoop

cd /opt
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 hadoop
chown -R hadoop:hadoop hadoop

2. 配置环境变量

vim /etc/profile

添加：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效：

source /etc/profile

三、HDFS 核心配置（重点）

进入配置目录：

cd $HADOOP_HOME/etc/hadoop

1. 配置 hadoop-env.sh

vim hadoop-env.sh

设置：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/opt/hadoop

2. 配置 core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

分布式环境改为 NameNode 主机名，如 hdfs://namenode:9000

3. 配置 hdfs-site.xml

伪分布式（单节点）

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/data/datanode</value>
    </property>
</configuration>

完全分布式（多节点）

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

4. 配置 workers（Hadoop 3.x）

vim workers

内容：

localhost

分布式环境填写所有 DataNode 主机名

四、SSH 免密登录（必须）

su - hadoop
ssh-keygen -t rsa
ssh-copy-id localhost

测试：

ssh localhost

五、格式化 HDFS（仅第一次）

hdfs namenode -format

六、启动 HDFS

start-dfs.sh

查看进程：

jps

应看到：

• NameNode
• DataNode
• SecondaryNameNode

七、验证 HDFS

1. Web UI

浏览器访问：

http://服务器IP:9870

2. 命令行验证

hdfs dfs -mkdir /test
hdfs dfs -put /etc/hosts /test
hdfs dfs -ls /test

八、HDFS 常用命令

hdfs dfs -ls /
hdfs dfs -put file /
hdfs dfs -get /file ./
hdfs dfs -rm /file
hdfs dfs -rm -r /dir

九、完全分布式部署要点（补充）

• 所有节点时间同步（NTP）
• /etc/hosts 配置主机名
• 所有节点 Hadoop 安装路径一致

十、常见问题

1. NameNode 起不来

• 检查 hadoop-env.sh 中 JAVA_HOME
• 查看 logs：

cat $HADOOP_HOME/logs/hadoop-*-namenode-*.log

2. DataNode 未启动

• 多次格式化导致 clusterID 不一致
• 删除 data 目录重新格式化

如果你愿意，我可以： ✅ 给你 完整配置文件模板
✅ 帮你 规划 3 节点 HDFS 架构
✅ 指导 HDFS + YARN 一起部署
✅ 排查你当前报错日志

只要告诉我你的 CentOS 版本 + 部署模式 即可。