Debian部署Hadoop要几步

在 Debian 上部署 Hadoop，通常按 单机伪分布式（Pseudo-Distributed） 来算，核心流程大约 8 步。如果是 完全分布式（多节点），步骤会更多，但基础流程一致。

下面给你一个 通用、可落地的步骤清单（以 Hadoop 3.x + Debian 11/12 为例）。

一、准备环境（前置条件）

1. 安装 Debian 基础系统

• 推荐：Debian 11 / 12
• 确保：
  • 网络正常
  • 主机名可解析（或配置 /etc/hosts）

2. 安装 Java（必须）

Hadoop 依赖 JDK：

sudo apt update
sudo apt install openjdk-11-jdk -y

验证：

java -version

3. 创建 Hadoop 专用用户（推荐）

sudo adduser hadoop
sudo usermod -aG sudo hadoop
su - hadoop

二、安装 Hadoop

4. 下载并解压 Hadoop

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 ~/hadoop

5. 配置环境变量

编辑 ~/.bashrc：

export HADOOP_HOME=~/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

生效：

source ~/.bashrc

三、Hadoop 核心配置（伪分布式）

6. 配置 Hadoop 文件

（1）hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

（2）core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

（3）hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

（4）mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

（5）yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

四、启动 Hadoop

7. 配置 SSH 免密登录

sudo apt install ssh
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试：

ssh localhost

8. 格式化并启动 HDFS

hdfs namenode -format
start-dfs.sh
start-yarn.sh

验证：

jps

应看到：

• NameNode
• DataNode
• ResourceManager
• NodeManager

五、验证是否成功

浏览器访问：

• HDFS：http://localhost:9870
• YARN：http://localhost:8088

六、总结一句话

✅ Debian 部署 Hadoop（伪分布式）核心步骤：

8 步：装系统 → 装 Java → 建用户 → 下 Hadoop → 配环境变量 → 改配置文件 → SSH 免密 → 格式化并启动

如果你需要：

• ✅ 完全分布式（3 台 Debian 节点）
• ✅ Hadoop + Hive / Spark
• ✅ 生产环境优化
• ✅ Docker / 虚拟机方案

可以直接告诉我你的使用场景，我可以给你定制部署方案。