Linux HDFS配置步骤是啥

下面按常见生产/学习环境，给你一份Linux 上配置 HDFS（Hadoop 分布式文件系统）的完整步骤概览。以 Hadoop 3.x 为例（2.x 也类似）。

一、环境准备

1. 系统要求

Linux（CentOS / Rocky / Ubuntu / Debian 等）
Java 8 或 Java 11（推荐 JDK 8）
SSH（必须配置免密登录）

2. 安装 JDK

java -version

如未安装：

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

配置环境变量：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$JAVA_HOME/bin:$PATH

二、创建 Hadoop 用户（可选但推荐）

useradd hadoop
passwd hadoop
su - hadoop

三、安装 Hadoop

1. 下载 Hadoop

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /usr/local/hadoop

2. 配置环境变量

编辑 ~/.bashrc 或 /etc/profile：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

生效：

source ~/.bashrc

四、SSH 免密登录（关键）

1. 生成密钥

ssh-keygen -t rsa

2. 拷贝到本机（单机伪分布式）

ssh-copy-id localhost

测试：

ssh localhost

五、HDFS 核心配置文件

所有配置文件在：

$HADOOP_HOME/etc/hadoop

1. hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

2. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/namenode</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/datanode</value>
  </property>
</configuration>

创建目录：

mkdir -p /data/hadoop/namenode
mkdir -p /data/hadoop/datanode

4. workers（旧版叫 slaves）

localhost

六、格式化 HDFS（只做一次）

⚠️ 格式化会清空 HDFS 元数据

hdfs namenode -format

七、启动 HDFS

start-dfs.sh

查看进程：

jps

应看到：

NameNode
DataNode
SecondaryNameNode

八、验证 HDFS

1. 访问 Web UI

NameNode UI：

http://localhost:9870

2. 使用 HDFS 命令

hdfs dfs -mkdir /test
hdfs dfs -put file.txt /test
hdfs dfs -ls /test

九、关闭 HDFS

stop-dfs.sh

十、常见错误排查

问题	解决
NameNode 起不来	检查 `hdfs-site.xml` 路径权限
9000 端口被占用	修改 `core-site.xml`
SSH 失败	重新配置免密
Java 找不到	确认 `JAVA_HOME`

十一、集群模式（简述）

如果是 多节点 HDFS：

每台机器安装 Hadoop
workers 写所有 DataNode 主机名
配置主机名 + /etc/hosts
所有节点 SSH 互信
只在 NameNode 上格式化

如果你愿意，我可以：

给你 一步一步的实操命令
帮你 排查具体报错
或区分 伪分布式 / 完全分布式 / HA 模式

你现在用的是 单机还是多机？