Linux 上安装 Spark 整体不算难,尤其是你只是做本地学习/开发,难度很低;但如果是集群生产环境,会稍微复杂一点(涉及 Hadoop、网络、资源调度等)。
下面给你一个直观的难度分级和说明:
难度:⭐(非常简单)
适合:
sudo apt install openjdk-8-jdk # Ubuntu 示例
wget https://archive.apache.org/dist/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz
tar -xzf spark-3.5.0-bin-hadoop3.tgz
export SPARK_HOME=~/spark-3.5.0-bin-hadoop3
export PATH=$SPARK_HOME/bin:$PATH
spark-shell
或 Python:
pyspark
✅ 不需要 Hadoop,不需要集群,10 分钟能跑起来
难度:⭐⭐⭐(中等)
适合:
需要:
spark-env.sh / slaves 配置比本地难,但资料很多,照着配基本没问题。
难度:⭐⭐⭐⭐~⭐⭐⭐⭐⭐
适合:
需要:
这部分对新手不友好,建议先本地,再集群。
Linux 上装 Spark:本地用不难,集群才复杂
pyspark 或 spark-shell 跑例子如果你愿意,可以告诉我:
我可以直接给你一份一步一步可复制的安装教程。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。