Debian如何管理Hadoop

在 Debian 上管理 Hadoop，可以从 安装、配置、启停、监控、升级、日志与排错、权限与安全 等方面来系统管理。下面给你一份 偏运维实践、Debian 风格 的实用指南。

一、安装方式选择（Debian 推荐）

✅ 方式一：官方二进制包（最常用）

适合生产环境，可控性强。

# 安装 Java（Hadoop 3.x 推荐 OpenJDK 8/11）
sudo apt update
sudo apt install openjdk-11-jdk

# 下载 Hadoop
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
sudo mv hadoop-3.3.6 /opt/hadoop

配置环境变量：

sudo nano /etc/profile.d/hadoop.sh

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

source /etc/profile.d/hadoop.sh

✅ 方式二：通过 Debian 仓库（不推荐）

Debian 官方仓库中 Hadoop 版本较旧，不推荐生产使用。

apt search hadoop

二、运行模式与管理

1️⃣ 本地模式（测试）

无需 HDFS，仅用于开发测试。

hadoop version

2️⃣ 伪分布式（学习 / 单节点）

核心配置文件

/opt/hadoop/etc/hadoop/

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

3️⃣ 启停 Hadoop（Debian 常用）

# 格式化 HDFS（仅第一次）
hdfs namenode -format

# 启动 HDFS
start-dfs.sh

# 启动 YARN
start-yarn.sh

# 停止
stop-yarn.sh
stop-dfs.sh

三、Debian 系统级管理建议

✅ 使用 systemd（推荐）

为 Hadoop 创建 systemd 服务，便于 Debian 管理。

NameNode 示例

# /etc/systemd/system/hadoop-namenode.service
[Unit]
Description=Hadoop NameNode
After=network.target

[Service]
User=hadoop
ExecStart=/opt/hadoop/bin/hdfs --daemon start namenode
ExecStop=/opt/hadoop/bin/hdfs --daemon stop namenode
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable hadoop-namenode
sudo systemctl start hadoop-namenode

四、用户与权限管理

✅ 专用用户（强烈建议）

sudo adduser hadoop
sudo usermod -aG sudo hadoop

✅ HDFS 权限

hdfs dfs -chmod 755 /user
hdfs dfs -chown hadoop:hadoop /user/hadoop

五、日志与排错（Debian 重点）

日志位置：

/opt/hadoop/logs/

常见日志：

hadoop-*-namenode-*.log
hadoop-*-datanode-*.log
yarn-*-resourcemanager-*.log

查看错误：

tail -f /opt/hadoop/logs/hadoop-root-namenode-debian.log

六、网络与防火墙

Debian（使用 nftables / ufw）：

sudo ufw allow 9000
sudo ufw allow 9870
sudo ufw allow 8088

常用端口：

服务	端口
NameNode	9870
HDFS	9000
YARN	8088

七、升级与维护

升级步骤（简要）

备份配置和元数据
停止集群
替换 Hadoop 目录
保留 etc/hadoop
启动并观察日志

八、监控与管理工具

Web UI
- HDFS: http://localhost:9870
- YARN: http://localhost:8088
JMX
Prometheus + Grafana（生产推荐）

九、Debian + Hadoop 最佳实践总结

✅ 使用 OpenJDK
✅ 不使用 Debian 自带 Hadoop 包
✅ 使用 systemd 管理
✅ 专用 hadoop 用户
✅ 明确区分伪分布式 / 完全分布式
✅ 日志优先排错

如果你愿意，我可以：

✅ 给你 Debian 12 + Hadoop 3 完整部署脚本
✅ 帮你 从单机扩展到多节点集群
✅ 针对 Spark / Hive / HBase 一起规划

只要告诉我你的使用场景即可。