linux hdfs配置怎么搭建

下面给你一个**从零在 Linux 上搭建 HDFS（Hadoop 分布式文件系统）**的实用指南，适合单机伪分布式或简单的多机分布式入门。

一、环境准备

1. 系统要求

• Linux（CentOS / Ubuntu 均可）
• JDK 8 或 11（推荐 JDK 8）
• 多台机器（伪分布式可只用一台）

2. 安装 JDK

# Ubuntu
sudo apt install openjdk-8-jdk -y

# CentOS
sudo yum install java-1.8.0-openjdk-devel -y

验证：

java -version

二、创建 Hadoop 用户（可选但推荐）

useradd hadoop
passwd hadoop

后续操作建议切换到该用户。

三、下载并安装 Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz -C /opt
mv /opt/hadoop-3.3.6 /opt/hadoop

四、配置环境变量

编辑 ~/.bashrc 或 /etc/profile：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：

source ~/.bashrc

五、HDFS 核心配置文件

进入配置目录：

cd $HADOOP_HOME/etc/hadoop

1. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

2. hdfs-site.xml（伪分布式）

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/datanode</value>
  </property>
</configuration>

3. hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

六、SSH 免密登录（必须）

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试：

ssh localhost

七、格式化 NameNode

⚠️ 只执行一次

hdfs namenode -format

八、启动 HDFS

start-dfs.sh

查看进程：

jps

应看到：

• NameNode
• DataNode
• SecondaryNameNode

九、验证 HDFS

hdfs dfs -mkdir /test
hdfs dfs -put /etc/hosts /test
hdfs dfs -ls /test

Web 页面：

http://localhost:9870

十、关闭 HDFS

stop-dfs.sh

十一、常见错误

十二、下一步建议

• 搭建 YARN（MapReduce）
• 配置 多节点集群（workers 文件）
• 使用 ZooKeeper + HA

如果你告诉我：

• 是 单机 / 多机
• 系统版本
• Hadoop 版本

我可以直接给你定制配置。