在 CentOS 上配置 HDFS,版本选择取决于几个关键因素:Hadoop 发行版、CentOS 版本、Java 版本、是否对接其他大数据组件。下面给你一个实用、不会踩坑的版本建议。
| 组件 | 推荐版本 |
|---|---|
| CentOS | CentOS 7.x |
| Java | JDK 8(1.8.0_311+) |
| Hadoop | Hadoop 3.3.x(如 3.3.6) |
✅ 这是目前最稳定、资料最多、坑最少的组合
推荐:
hadoop-3.3.6
| Hadoop 版本 | 推荐 Java |
|---|---|
| Hadoop 3.3.x | Java 8(首选) / Java 11 |
| Hadoop 3.2.x | Java 8 |
| Hadoop 2.x | Java 7 / Java 8 |
✅ 建议直接用 Java 8,最省事
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local/
core-site.xml<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
hdfs namenode -format
start-dfs.sh
| 场景 | 建议 |
|---|---|
| 学习 / 实验 | Hadoop 3.3.x + CentOS 7 |
| 企业新集群 | Hadoop 3.3.x + Rocky 8 |
| 老项目维护 | Hadoop 2.7.x / 2.10.x |
| 对接 Hive / Spark | Hadoop 3.3.x(统一版本) |
CentOS 7 + JDK 8 + Hadoop 3.3.x(如 3.3.6)是目前配置 HDFS 最稳妥、最推荐的方案。
如果你愿意,可以告诉我:
我可以直接给你一套 完整可复制的 HDFS 配置方案。