linux hdfs配置怎样搭建

下面给你一份在 Linux 上搭建 HDFS（Hadoop 分布式文件系统）的简明实战教程，适合单机伪分布式和完全分布式两种常见场景。

一、环境准备

1. 系统要求

• Linux（CentOS / Ubuntu 均可）
• JDK 8 或 11（推荐 JDK 8）
• SSH 免密登录（分布式必须）

2. 安装 JDK

# Ubuntu
sudo apt install openjdk-8-jdk -y

# CentOS
sudo yum install java-1.8.0-openjdk-devel -y

验证：

java -version

二、下载并安装 Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

配置环境变量：

vi ~/.bashrc

添加：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效：

source ~/.bashrc

三、SSH 免密登录（必须）

ssh-keygen -t rsa
ssh-copy-id localhost
# 多节点时：ssh-copy-id slave1

四、HDFS 核心配置（重点）

1. 配置 hadoop-env.sh

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

添加：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

2. 配置 core-site.xml

vi $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

3. 配置 hdfs-site.xml

vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

伪分布式示例

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/datanode</value>
  </property>
</configuration>

4. workers（老版本叫 slaves）

vi $HADOOP_HOME/etc/hadoop/workers

伪分布式：

localhost

分布式：

slave1
slave2

五、格式化并启动 HDFS

1. 格式化 NameNode（只做一次）

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 查看进程

jps

应看到：

• NameNode
• DataNode
• SecondaryNameNode

六、验证 HDFS

hdfs dfs -mkdir /test
hdfs dfs -put file.txt /test
hdfs dfs -ls /

Web 界面：

http://localhost:9870

七、关闭 HDFS

stop-dfs.sh

八、常见坑

❌ JAVA_HOME not set
✅ 检查 hadoop-env.sh

❌ 端口被占用
✅ 修改 core-site.xml 端口

❌ 权限问题
✅ 不要用 root 跑 Hadoop（建议新建 hadoop 用户）

九、下一步你可以做

• 搭建 YARN（MapReduce）
• 配置 HA（高可用）
• 使用 Hive / Spark 接 HDFS

如果你告诉我：

• ✅ 单机还是集群
• ✅ CentOS 还是 Ubuntu
• ✅ Hadoop 版本

我可以直接给你一份可复制的完整配置文件。