新手如何用debian hadoop

下面用**“新手视角 + 可操作步骤”的方式，教你如何在 Debian 上从零开始使用 Hadoop。我会以单机伪分布式（最推荐新手）**为例，既简单又能学到核心概念。

一、先理解：Hadoop 是什么（30 秒版）

Hadoop 用来存大数据 + 算大数据：

• HDFS：分布式文件系统（像“云硬盘”）
• MapReduce / YARN：计算框架（调度任务）

新手先跑通：

在 Debian 上装 Hadoop → 启动 HDFS → 上传文件 → 跑一个例子

二、环境准备（Debian）

1️⃣ 系统要求

• Debian 11 / 12
• 普通用户（不要一直用 root）
• 至少 2GB 内存（4GB 更好）

2️⃣ 安装 Java（Hadoop 必须）

sudo apt update
sudo apt install -y openjdk-11-jdk

验证：

java -version

三、创建 Hadoop 用户（推荐）

sudo adduser hadoop
sudo usermod -aG sudo hadoop
su - hadoop

后面都用 hadoop 用户操作。

四、下载并安装 Hadoop

以 Hadoop 3.3.x 为例：

cd ~
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 hadoop

五、配置环境变量

编辑 ~/.bashrc：

nano ~/.bashrc

添加：

export HADOOP_HOME=/home/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

生效：

source ~/.bashrc

六、伪分布式配置（新手重点）

编辑以下文件：

1️⃣ etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

2️⃣ etc/hadoop/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

3️⃣ etc/hadoop/hadoop-env.sh

确保有：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

七、SSH 无密码登录（必须）

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试：

ssh localhost

八、启动 Hadoop（HDFS）

1️⃣ 格式化 NameNode（只做一次）

hdfs namenode -format

2️⃣ 启动 HDFS

start-dfs.sh

检查：

jps

应看到：

• NameNode
• DataNode
• SecondaryNameNode

Web 页面：

http://localhost:9870

九、跑第一个 Hadoop 例子

1️⃣ 创建 HDFS 目录

hdfs dfs -mkdir /input

2️⃣ 上传文件

echo "hello hadoop hello debian" > test.txt
hdfs dfs -put test.txt /input

3️⃣ 运行 WordCount

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /input /output

4️⃣ 查看结果

hdfs dfs -cat /output/part-r-00000

✅ 成功！你已用 Hadoop 算完第一个任务。

十、新手常见问题

❓ 端口打不开
→ Debian 防火墙或浏览器用 localhost

❓ jps 没显示进程
→ 检查 JAVA_HOME 和日志 logs/

❓ 想学 YARN
→ 下一步再学，不急

十一、下一步学什么（路线）

1. HDFS 命令
2. MapReduce 原理
3. YARN 配置
4. 多机集群（3 台 Debian）

如果你愿意，我可以：

• 给你 一键安装脚本
• 教你 Docker 跑 Hadoop
• 或帮你 配多节点集群

你更想走哪条路？