Linux 上安装 Spark 不算难,尤其如果你只是“能跑起来、本地测试用”,半小时以内基本都能搞定。
下面给你一个直观判断和最简安装思路:
场景:学习 Spark、写 Demo、本地模式运行
难度:⭐(几乎无门槛)
只需:
场景:Standalone 集群 / 多台机器
难度:⭐⭐⭐
需要:
workers场景:YARN / Kubernetes 集成
难度:⭐⭐⭐⭐⭐
需要:
java -version
如果没有:
sudo apt install openjdk-8-jdk # 或 11
去官网: https://spark.apache.org/downloads.html
选:
wget https://downloads.apache.org/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz
tar -xzf spark-3.5.0-bin-hadoop3.tgz
mv spark-3.5.0-bin-hadoop3 spark
cd spark
./bin/spark-shell
看到 scala> 就成功了 ✅
JAVA_HOMEchmodspark-defaults.confLinux 上装 Spark 不难,难的是理解 Spark 在跑什么。
如果你愿意,我可以:
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。