如何备Debian Hadoop数

你的问题看起来像是“如何部署 Debian 上的 Hadoop 集群”（可能是输入被截断了）。下面我给你一个从零开始在 Debian 上部署 Hadoop 的实用指南，适合单机和伪分布式，也适用于小规模集群。

一、环境准备（Debian）

1. 系统要求

• Debian 11 / 12（推荐）
• 至少 2 核 CPU、4GB 内存（生产建议更高）
• Java 8 或 Java 11

2. 安装基础软件

sudo apt update
sudo apt install -y openjdk-11-jdk ssh pdsh
java -version

3. 创建 Hadoop 用户（推荐）

sudo adduser hadoop
sudo usermod -aG sudo hadoop
su - hadoop

二、下载并安装 Hadoop

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 ~/hadoop

三、配置环境变量

编辑 ~/.bashrc：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_HOME=~/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效：

source ~/.bashrc

四、SSH 无密码登录（必须）

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost

五、Hadoop 配置（伪分布式）

1. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

2. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

3. mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

4. yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

六、初始化并启动

hdfs namenode -format
start-dfs.sh
start-yarn.sh

验证：

jps

应看到：

• NameNode
• DataNode
• ResourceManager
• NodeManager

七、测试 Hadoop

hdfs dfs -mkdir /input
hdfs dfs -put ~/hadoop/etc/hadoop/*.xml /input
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /input /output
hdfs dfs -cat /output/*

八、多节点集群要点（简要）

• 每台 Debian 节点安装相同 Hadoop
• 配置 workers 文件（旧版 slaves）
• 所有节点 SSH 互通
• core-site.xml 指向真实 NameNode IP
• 防火墙放行 9000 / 8088 / 9870 端口

如果你的问题是：

• “如何备份 Debian 上的 Hadoop 数据”
• “Debian Hadoop 离线部署”
• “Debian + Hadoop + Spark”

可以直接告诉我，我可以给你更精准的方案。