在 Linux 上配置 HDFS（Hadoop Distributed File System），一般是以 Apache Hadoop 为核心进行部署。下面我给你一个从零开始、可实际操作的完整流程，适合 单机伪分布式 或 集群分布式。

一、环境准备

1️⃣ 操作系统

Linux（推荐 CentOS 7/8、Rocky、Ubuntu 20.04+）
示例以 CentOS 7 为例

2️⃣ 安装依赖

# CentOS
yum install -y java-1.8.0-openjdk-devel ssh

# Ubuntu
apt update
apt install -y openjdk-8-jdk ssh

验证 Java：

java -version

二、创建 Hadoop 用户（推荐）

useradd hadoop
passwd hadoop
su - hadoop

三、下载并安装 Hadoop

1️⃣ 下载 Hadoop

cd /opt
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 hadoop

2️⃣ 配置环境变量

编辑 ~/.bashrc 或 /etc/profile：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

生效：

source ~/.bashrc

验证：

hadoop version

四、配置 SSH 免密登录（必须）

ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试：

ssh localhost

五、配置 HDFS（核心步骤）

Hadoop 配置文件位于：

$HADOOP_HOME/etc/hadoop

1️⃣ hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

2️⃣ core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

集群环境下 localhost 改为 NameNode 主机名

3️⃣ hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/data/namenode</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/data/datanode</value>
  </property>
</configuration>

创建目录：

mkdir -p /opt/hadoop/data/namenode
mkdir -p /opt/hadoop/data/datanode

4️⃣ workers（Hadoop 3.x）

vim $HADOOP_HOME/etc/hadoop/workers

内容：

localhost

集群环境填写 DataNode 主机名

六、格式化 HDFS（仅第一次）

⚠️ 只能执行一次

hdfs namenode -format

成功标志：

Storage directory ... has been successfully formatted

七、启动 HDFS

start-dfs.sh

检查进程：

jps

应看到：

NameNode
DataNode
SecondaryNameNode

八、验证 HDFS

1️⃣ Web UI

浏览器访问：

http://<服务器IP>:9870

2️⃣ 命令行测试

hdfs dfs -mkdir /test
hdfs dfs -put /etc/hosts /test
hdfs dfs -ls /test

九、关闭 HDFS

stop-dfs.sh

十、常见问题

❌ NameNode 起不来

检查 dfs.namenode.name.dir 权限
是否重复格式化
查看日志：

$HADOOP_HOME/logs/hadoop-*-namenode-*.log

❌ DataNode 没启动

主机名解析问题
防火墙未关闭

systemctl stop firewalld
systemctl disable firewalld

十一、进阶建议

✅ 集群部署
✅ HA（高可用）
✅ Kerberos 安全
✅ YARN + HDFS
✅ CDH / HDP / Apache Ambari

如果你愿意，我可以：

✅ 给你一份 3 节点 HDFS 集群配置
✅ 帮你排查 现有报错日志
✅ 配置 生产环境参数调优

你是 学习 / 测试 / 生产环境？

如何配置Linux HDFS