下面给你一个在 Debian 上搭建 Hadoop 集群（以 Hadoop 3.x 为例）的完整实战流程，适合学习和生产部署参考。
假设你有 3 台 Debian 机器（也可以 1 台伪分布式）。

一、环境规划（示例）

⚠️ 生产环境推荐 NameNode 和 ResourceManager 分开部署

二、系统基础配置（所有节点）

1️⃣ 安装基础工具

sudo apt update
sudo apt install -y net-tools curl wget vim

2️⃣ 设置主机名（每台机器）

sudo hostnamectl set-hostname master
sudo hostnamectl set-hostname slave1
sudo hostnamectl set-hostname slave2

3️⃣ 配置 hosts（所有节点）

sudo vim /etc/hosts

192.168.1.10 master
192.168.1.11 slave1
192.168.1.12 slave2

测试：

ping master
ping slave1

三、创建专用用户（推荐）

sudo adduser hadoop
sudo usermod -aG sudo hadoop
su - hadoop

四、安装 Java（Hadoop 依赖）

1️⃣ 安装 OpenJDK

sudo apt install -y openjdk-11-jdk

2️⃣ 配置 JAVA_HOME

java -version

编辑：

vim ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

生效：

source ~/.bashrc

五、配置 SSH 免密登录（关键）

1️⃣ 安装 SSH

sudo apt install -y ssh

2️⃣ 生成密钥（仅 master）

ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa

3️⃣ 拷贝公钥到所有节点

ssh-copy-id hadoop@master
ssh-copy-id hadoop@slave1
ssh-copy-id hadoop@slave2

4️⃣ 测试

ssh slave1

六、下载并安装 Hadoop

1️⃣ 下载 Hadoop

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 ~/hadoop

2️⃣ 配置环境变量

vim ~/.bashrc

export HADOOP_HOME=~/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

生效：

source ~/.bashrc

七、Hadoop 核心配置文件（重点）

配置文件路径：

cd $HADOOP_HOME/etc/hadoop

1️⃣ hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

2️⃣ core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
</configuration>

3️⃣ hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/hadoop_data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/hadoop_data/datanode</value>
  </property>
</configuration>

创建目录：

mkdir -p ~/hadoop_data/namenode
mkdir -p ~/hadoop_data/datanode

4️⃣ yarn-site.xml

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

5️⃣ mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

6️⃣ workers（旧版本叫 slaves）

vim workers

slave1
slave2

八、同步配置到所有节点

scp -r ~/hadoop slave1:~/
scp -r ~/hadoop slave2:~/

九、启动 Hadoop 集群

1️⃣ 格式化 HDFS（仅第一次）

hdfs namenode -format

2️⃣ 启动 HDFS

start-dfs.sh

3️⃣ 启动 YARN

start-yarn.sh

十、验证集群

1️⃣ 查看进程

jps

✅ master 应有：

• NameNode
• ResourceManager

✅ slave 应有：

• DataNode
• NodeManager

2️⃣ HDFS Web UI

浏览器访问：

http://master:9870

3️⃣ YARN Web UI

http://master:8088

十一、运行测试任务

hdfs dfs -mkdir /input
hdfs dfs -put README.txt /input

yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /input /output

十二、常见坑（Debian 特别注意）

✅ 防火墙

sudo ufw disable

✅ 权限问题

chown -R hadoop:hadoop ~/hadoop

✅ Java 版本

• Hadoop 3.x ✅ Java 8 / 11
• ❌ 不推荐 Java 17

十三、后续可扩展

• HA NameNode
• Zookeeper + HDFS HA
• Kerberos 安全
• Hive / HBase / Spark

如果你愿意，我可以： ✅ 给你 一键部署脚本
✅ 画 架构图
✅ 帮你 排查启动失败问题
✅ 做 生产级优化参数

你现在用的是 Debian 11 还是 12？