linux hdfs配置怎么入门

下面给你一个Linux 上 HDFS 配置入门的最小可行路线，适合零基础到能跑通单机/伪分布式 HDFS。

一、先搞清楚几个概念

HDFS（Hadoop Distributed File System） 是 Hadoop 的分布式文件系统。

核心角色：

NameNode：管元数据（文件在哪）
DataNode：真正存数据
SecondaryNameNode：辅助 NameNode（不是备份）

入门阶段建议先搞 伪分布式（单机模拟分布式）。

二、环境准备（Linux）

1. 系统要求

Linux（CentOS / Ubuntu 都行）
JDK 8 或 11（Hadoop 3.x 推荐 JDK 8）

2. 安装 JDK

# Ubuntu
sudo apt install openjdk-8-jdk

# CentOS
sudo yum install java-1.8.0-openjdk-devel

验证：

java -version

三、下载并安装 Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
sudo mv hadoop-3.3.6 /opt/hadoop

配置环境变量：

vi ~/.bashrc

添加：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效：

source ~/.bashrc

四、核心配置文件（重点）

进入配置目录：

cd $HADOOP_HOME/etc/hadoop

1. hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

2. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3. hdfs-site.xml（伪分布式）

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/data/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/data/data</value>
  </property>
</configuration>

五、SSH 免密登录（必须）

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试：

ssh localhost

六、格式化并启动 HDFS

1. 格式化 NameNode（只做一次）

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 检查进程

jps

应看到：

NameNode
DataNode
SecondaryNameNode

七、基本使用（立刻能用）

# 创建目录
hdfs dfs -mkdir /test

# 上传文件
hdfs dfs -put file.txt /test/

# 查看
hdfs dfs -ls /test

# 下载
hdfs dfs -get /test/file.txt ./

Web 页面：

http://localhost:9870

八、常见坑

❌ 多次 namenode -format → 删除 data 目录再格式化
❌ 没配 SSH → 启动失败
❌ JAVA_HOME 错 → Hadoop 起不来

九、下一步学什么

MapReduce / YARN
真分布式（多台机器）
Hive / Spark on HDFS

如果你愿意，我可以：

给你 一步一步命令版
或 多机集群配置
或 Docker 版 HDFS（更省事）

你现在是 学习 / 面试 / 工作用？