在 CentOS 上配置 HDFS,版本选择主要取决于你用的是 Hadoop 生态的哪一套发行版。下面给你一个实用选型建议,按常见场景来。
一、最推荐:Apache Hadoop(通用、稳定)
✅ 推荐版本
Hadoop 3.3.x(当前首选)
- Hadoop 3.3.6(2024 年最稳定)
- Hadoop 3.2.4(老系统兼容性好)
✅ 适用场景
- 自己搭 Hadoop / HDFS
- 用于学习、测试、生产
- 不依赖 CDH / HDP
✅ CentOS 支持情况
- CentOS 7 ✅(最常见)
- CentOS 8 ✅(注意 JDK 兼容性)
- Rocky / Alma 替代 CentOS 也没问题
✅ Java 版本要求
| Hadoop 版本 |
推荐 JDK |
| 3.3.x |
JDK 8 / JDK 11 |
| 3.2.x |
JDK 8 |
⚠️ 不建议 JDK 17(兼容性差)
二、企业常用:Cloudera(CDH)
✅ 推荐版本
- CDH 6.3.x
- CDH 7.x(基于 Hadoop 3)
✅ 特点
- 图形化安装(Cloudera Manager)
- 稳定、适合生产
- 但 CDH 6 已停止免费更新
⚠️ 注意
- CDH 对 CentOS 版本要求严格
- CentOS 7 支持最好
- CentOS 8 基本不推荐
三、Hortonworks / HDP(不推荐新项目)
四、版本选择速查表(直接照着选)
✅ 新环境(推荐)
CentOS 7
Hadoop 3.3.6
JDK 8
✅ 老服务器
CentOS 7
Hadoop 3.2.4
JDK 8
✅ 企业级
CentOS 7
CDH 6.3.2
五、HDFS 本身版本说明
HDFS 是 Hadoop 的一部分,没有独立版本。
| 组件 |
版本 |
| HDFS |
随 Hadoop |
| Hadoop |
3.3.x |
六、CentOS 推荐配置(最小)
- CPU:2 核+
- 内存:4 GB+(生产 8 GB+)
- 磁盘:单独数据盘给 HDFS
- 文件系统:ext4 / xfs
七、我可以继续帮你
你可以直接告诉我:
- CentOS 版本(7 / 8 / Rocky)
- 用途(学习 / 生产 / 测试)
- 是否用 CDH / 原生 Hadoop
我可以给你:
- ✅ 完整安装步骤
- ✅
hdfs-site.xml 配置示例
- ✅ 一键伪分布式 / 完全分布式配置