可以的,Linux 下的 Spark 完全支持离线安装。下面给你一个清晰、可落地的方案。
Spark 本身是 免编译、绿色版软件,只要:
就可以在完全无外网的环境中运行。
Spark 依赖 Java:
jdk-8uXXX-linux-x64.tar.gz官方下载:
https://archive.apache.org/dist/spark/
常见版本:
spark-3.3.2-bin-hadoop3.tgzspark-3.2.4-bin-without-hadoop.tgz✅ 建议:
spark-*-bin-hadoop3.tgzspark-*-bin-without-hadoop.tgz将以下文件拷贝到目标 Linux 机器:
jdk-8uXXX-linux-x64.tar.gz
spark-3.x.x-bin-hadoop3.tgz
可用:U 盘 / 内网 scp / 跳板机
tar -zxvf jdk-8uXXX-linux-x64.tar.gz -C /opt/
配置环境变量:
vi ~/.bashrc
添加:
export JAVA_HOME=/opt/jdk1.8.0_xxx
export PATH=$JAVA_HOME/bin:$PATH
生效:
source ~/.bashrc
java -version
tar -zxvf spark-3.x.x-bin-hadoop3.tgz -C /opt/
mv /opt/spark-3.x.x-bin-hadoop3 /opt/spark
配置环境变量:
export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH
spark-shell
或:
run-example SparkPi 10
✅ 能跑就是离线安装成功
spark-submit --master local[*] app.jar
⚠️ Spark 不自带 JDK
⚠️ 离线环境不要选 pip install pyspark
⚠️ 若用 Python:
python + pyspark wheel你可以告诉我:
我可以给你完全对应的离线安装脚本。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。