Debian装Hadoop要啥配置

在 Debian 上安装 Hadoop，配置要求和系统准备可以分成几块来看：硬件、操作系统、Java、Hadoop 本身。下面给你一个从入门到可跑起来的实用配置清单。

一、硬件配置（按使用场景）

1️⃣ 学习 / 测试（单机 / 伪分布式）

最低配置（能跑）：

CPU：2 核
内存：4 GB（推荐 8 GB）
磁盘：20 GB 可用空间

✅ 适合：

学习 HDFS、MapReduce、YARN
本地开发测试

2️⃣ 小型集群 / 开发环境

推荐配置：

CPU：4 核
内存：8～16 GB
磁盘：50 GB+（建议 SSD）

3️⃣ 生产环境

CPU：8 核+
内存：32 GB+
磁盘：多盘（避免单盘瓶颈）
网络：千兆或万兆网卡

二、操作系统配置（Debian）

✅ 推荐版本

Debian 11（Bullseye）或 Debian 12（Bookworm）
64 位系统

✅ 系统准备

sudo apt update
sudo apt install -y wget curl vim

三、Java 环境（非常关键）

Hadoop 强依赖 Java。

Hadoop 版本	Java
3.3.x	Java 8 / 11
3.4.x	Java 11 / 17

安装 OpenJDK

sudo apt install -y openjdk-11-jdk

验证

java -version

设置 JAVA_HOME

编辑：

sudo vim /etc/profile.d/java.sh

内容：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

生效：

source /etc/profile

四、Hadoop 用户 & SSH（必须）

1️⃣ 创建专用用户（推荐）

sudo adduser hadoop
sudo su - hadoop

2️⃣ 配置 SSH 免密登录（伪分布式必选）

sudo apt install -y ssh
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试：

ssh localhost

五、Hadoop 配置文件（核心）

以 Hadoop 3.x 伪分布式为例。

1️⃣ 下载 Hadoop

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 ~/hadoop

2️⃣ 配置环境变量

vim ~/.bashrc

export HADOOP_HOME=~/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

生效：

source ~/.bashrc

3️⃣ 核心配置文件

✅ core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

✅ hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

✅ mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

✅ yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

六、启动 Hadoop

1️⃣ 格式化 HDFS（只需一次）

hdfs namenode -format

2️⃣ 启动

start-dfs.sh
start-yarn.sh

3️⃣ 验证

jps

应看到：

NameNode
DataNode
ResourceManager
NodeManager

Web UI：

HDFS：http://localhost:9870
YARN：http://localhost:8088

七、Debian 特别注意事项

✅ 建议关闭 swap（生产环境）

sudo swapoff -a

✅ 防火墙

sudo ufw disable

✅ 主机名一致

hostname

/etc/hosts 中要有：

127.0.0.1 localhost

八、常见坑

问题	原因
JAVA_HOME 找不到	没配置 / 路径错
ssh 拒绝	authorized_keys 权限不对
HDFS 起不来	没格式化 namenode
端口冲突	已有服务占用 9000/8088

如果你愿意，我可以：

✅ 给你 一份完整可复制的 Debian 一键安装脚本
✅ 帮你规划 真分布式集群（3 台 Debian）
✅ 指定 Hadoop + Spark / Hive 配置

你现在打算 学习用还是搭集群？