debian下hadoop如何启动

在 Debian 系统下启动 Hadoop，通常分为单机模式、伪分布式模式、完全分布式模式。下面以**最常用、也是学习最常用的“伪分布式模式”**为例，说明在 Debian 下的启动步骤。

一、前提条件（先确认）

1. 已安装 JDK

Hadoop 依赖 Java：

java -version

若未安装：

sudo apt update
sudo apt install openjdk-11-jdk

2. 已下载并解压 Hadoop

假设 Hadoop 解压在：

/opt/hadoop

并配置环境变量（~/.bashrc 或 /etc/profile）：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行：

source ~/.bashrc

二、配置伪分布式模式（关键）

1. 配置 core-site.xml

nano $HADOOP_HOME/etc/hadoop/core-site.xml

内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

2. 配置 hdfs-site.xml

nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

3. 配置 mapred-site.xml

cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template \
   $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

4. 配置 yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

5. 设置 SSH 免密登录（必须）

sudo apt install ssh
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost

三、启动 Hadoop

1. 格式化 HDFS（第一次必须）

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 启动 YARN

start-yarn.sh

四、验证是否启动成功

jps

应看到类似进程：

NameNode
DataNode
SecondaryNameNode
ResourceManager
NodeManager

Web 页面：

• HDFS: http://localhost:9870
• YARN: http://localhost:8088

五、停止 Hadoop

stop-yarn.sh
stop-dfs.sh

六、常见问题（Debian 特有）

1. 找不到 JAVA_HOME

在：

$HADOOP_HOME/etc/hadoop/hadoop-env.sh

中添加：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

2. 端口冲突

修改 core-site.xml 中的端口即可。

如果你需要：

• 完全分布式（多台 Debian 节点）
• 使用 systemd 管理 Hadoop 服务
• Docker 方式运行 Hadoop

可以告诉我你的使用场景，我可以进一步细化。