结论:不“难”,但繁琐。
对于Linux 有一定基础的人来说,Hadoop 单机/伪分布式 不难;对纯新手来说,主要卡在 环境配置、权限、网络、Java 兼容性上,而不是 Hadoop 本身很难。
Hadoop 本身是 Java 程序 + 配置文件,核心难点不在代码,而在:
如果你会:
那么 30 分钟~1 小时 就能跑起来伪分布式。
❗ 很多人卡在 SSH 和 Java 版本上
wget https://downloads.apache.org/hadoop/common/hadoop-3.x.x/hadoop-3.x.x.tar.gz
tar -zxvf hadoop-3.x.x.tar.gz
JAVA_HOMEHADOOP_HOMEPATH重点是这几个:
core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml伪分布式:改 4~6 个关键配置
完全分布式:机器多、配置多,难度上升
hdfs namenode -format
start-dfs.sh
start-yarn.sh
浏览器访问:
http://IP:9870http://IP:8088| 场景 | 难度 | 说明 |
|---|---|---|
| 单机/伪分布式 | ⭐⭐ | 学习、测试 |
| 完全分布式(3 台) | ⭐⭐⭐⭐ | 网络、ssh、时间同步 |
| 生产集群 | ⭐⭐⭐⭐⭐ | HA、安全、调优 |
✅ 有
docker run -it harisekhon/hadoop
Hadoop 安装不算难,难的是环境配置和排错。
用 Docker 15 分钟就能跑,手动装可能折腾半天。
如果你愿意,我可以:
你现在是 学习 / 面试 / 生产 哪种场景?