Spark在Linux上的安装依赖清单
一 核心依赖
二 集群部署常见依赖
三 系统与网络要求
四 版本选择与依赖对应
| 场景 | 建议 JDK | 是否需 Hadoop | 是否需 Scala | 其他说明 |
|---|---|---|---|---|
| Spark 2.x 本地/Standalone | JDK 8 | 否 | 建议安装匹配版本 | 需设置 JAVA_HOME |
| Spark 2.x 集群 + HDFS/YARN | JDK 8 | 是 | 建议安装匹配版本 | 需配置 HADOOP_HOME/HADOOP_CONF_DIR |
| Spark 3.x 本地/Standalone | JDK 8 或 JDK 11 | 否 | 一般不需要 | 自带 Scala 运行时 |
| Spark 3.x 集群 + HDFS/YARN | JDK 8 或 JDK 11 | 是 | 一般不需要 | 建议与 Hadoop 版本匹配 |
| PySpark | JDK 8 或 JDK 11 | 视存储/调度而定 | 不需要 | 需 Python 3.x 且与 Spark 版本兼容 |
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
