linux hadoop如何快速入门

可以从 “先会用，再理解，后深入” 的思路快速入门 Linux + Hadoop。下面给你一套 实用型入门路线（1～2 周可跑起来）。

一、Linux 快速入门（Hadoop 的基础）

Hadoop 必须跑在 Linux 上，先掌握这些就够用：

1️⃣ 必会 Linux 命令（每天练）

# 文件与目录
ls / cd / pwd / mkdir / rm -rf / cp / mv

# 文件查看
cat / less / head / tail

# 权限
chmod / chown

# 进程与网络
ps -ef | grep java
netstat -tunlp

# 解压
tar -zxvf xxx.tar.gz

✅ 建议：

用 Ubuntu / CentOS 7+
直接在 虚拟机 / WSL / 云服务器 上练

2️⃣ SSH（Hadoop 必须）

ssh-keygen -t rsa
ssh-copy-id localhost
ssh localhost

✅ Hadoop 依赖 免密 SSH

二、Hadoop 快速入门路线

阶段 1：先跑起来（最重要）

✅ 1. 安装 Hadoop（单机伪分布式）

推荐版本：

Hadoop 3.x
Java 8（必须）

安装步骤（简化版）：

安装 Java

java -version

下载 Hadoop

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz

配置环境变量

export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

✅ 2. 核心配置文件（重点）

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

✅ 3. 启动 Hadoop

hdfs namenode -format
start-dfs.sh

访问：

http://localhost:9870

✅ 看到 Web UI = 成功

阶段 2：会用 HDFS（Hadoop 核心）

常用 HDFS 命令

hdfs dfs -ls /
hdfs dfs -mkdir /test
hdfs dfs -put file.txt /test
hdfs dfs -cat /test/file.txt
hdfs dfs -rm -r /test

✅ 目标：

把 HDFS 当成“分布式硬盘”用

阶段 3：跑一个 MapReduce（理解原理）

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output

✅ 理解：

Map：拆分
Reduce：汇总

三、Hadoop 生态快速认知（别一开始就全学）

核心三件套

组件	作用
HDFS	分布式存储
YARN	资源调度
MapReduce	计算模型

常见扩展（后期再学）

Hive：SQL 操作 Hadoop
Spark：更快的计算
HBase：列式数据库
Kafka：消息队列

四、常见坑（新手必看）

❌ Java 版本不对
❌ SSH 没配免密
❌ 防火墙没关
❌ 多次 format namenode
❌ 用 root 跑 Hadoop（建议普通用户）

五、推荐学习资源（高质量）

文档

官方：https://hadoop.apache.org/docs/
HDFS 命令速查：Apache Hadoop Commands

视频（中文）

尚硅谷 Hadoop
黑马 Hadoop
B站搜：Hadoop 3.x 入门

书籍

《Hadoop权威指南》（O’Reilly，经典）

六、适合你的学习节奏（建议）

时间	内容
第 1 天	Linux 基础 + SSH
第 2～3 天	Hadoop 安装 + HDFS
第 4～5 天	MapReduce 示例
第 6～7 天	跑 Hive / 看 YARN

如果你愿意，我可以：

✅ 给你 一步步安装脚本
✅ 帮你 选学习路线（开发 / 运维 / 大数据工程）
✅ 用 “白话 + 图” 讲 Hadoop 原理

你现在用的是 Windows / Mac / Linux？