Hadoop在Debian如何启动

在 Debian 上启动 Hadoop，通常分为 单机模式（Local）、伪分布式模式（Pseudo-Distributed） 和 完全分布式模式（Fully Distributed）。下面以 伪分布式模式（最常用） 为例，说明从安装到启动的完整流程。

一、前置条件

1. 安装 Java

Hadoop 依赖 Java（推荐 JDK 8 或 11）。

sudo apt update
sudo apt install openjdk-11-jdk -y

验证：

java -version

2. 配置 SSH（免密登录）

Hadoop 需要通过 SSH 启动节点。

sudo apt install openssh-server -y
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试：

ssh localhost

二、下载并安装 Hadoop

1. 下载 Hadoop

以 Hadoop 3.x 为例：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzvf hadoop-3.3.6.tar.gz
sudo mv hadoop-3.3.6 /usr/local/hadoop

2. 配置环境变量

编辑 ~/.bashrc：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

生效：

source ~/.bashrc

三、配置 Hadoop（伪分布式）

1. hadoop-env.sh

nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

设置：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

2. core-site.xml

nano $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3. hdfs-site.xml

nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

4. mapred-site.xml

nano $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5. yarn-site.xml

nano $HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

四、格式化 HDFS（仅第一次）

⚠️ 只执行一次

hdfs namenode -format

五、启动 Hadoop

1. 启动 HDFS

start-dfs.sh

验证：

jps

应看到：

NameNode
DataNode
SecondaryNameNode

2. 启动 YARN

start-yarn.sh

再次验证：

jps