温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

能否离线装linux spark

发布时间:2026-10-17 07:02:21 来源:亿速云 阅读:86 作者:小樊 栏目:系统运维

可以的,Linux 下的 Spark 完全支持离线安装。下面给你一个清晰、可落地的方案。


一、离线安装 Spark 的核心思路

Spark 本身是 免编译、绿色版软件,只要:

  • 有 JDK(Java)
  • 有 Spark 安装包(tgz)
  • (可选)有 Hadoop / Scala 依赖

就可以在完全无外网的环境中运行。


二、离线安装前需要准备的东西(一台能上网的机器)

1️⃣ JDK(必须)

Spark 依赖 Java:

  • 推荐 JDK 8 或 JDK 11
  • 下载:jdk-8uXXX-linux-x64.tar.gz

2️⃣ Spark 安装包(核心)

官方下载:

https://archive.apache.org/dist/spark/

常见版本:

  • spark-3.3.2-bin-hadoop3.tgz
  • spark-3.2.4-bin-without-hadoop.tgz

✅ 建议:

  • 有 Hadoop:spark-*-bin-hadoop3.tgz
  • 纯离线计算:spark-*-bin-without-hadoop.tgz

3️⃣(可选)Scala

  • Spark 3.x 已自带 Scala,一般不用单独装

三、离线安装步骤(目标机,无网络)

步骤 1:上传文件

将以下文件拷贝到目标 Linux 机器:

jdk-8uXXX-linux-x64.tar.gz
spark-3.x.x-bin-hadoop3.tgz

可用:U 盘 / 内网 scp / 跳板机


步骤 2:安装 JDK

tar -zxvf jdk-8uXXX-linux-x64.tar.gz -C /opt/

配置环境变量:

vi ~/.bashrc

添加:

export JAVA_HOME=/opt/jdk1.8.0_xxx
export PATH=$JAVA_HOME/bin:$PATH

生效:

source ~/.bashrc
java -version

步骤 3:安装 Spark

tar -zxvf spark-3.x.x-bin-hadoop3.tgz -C /opt/
mv /opt/spark-3.x.x-bin-hadoop3 /opt/spark

配置环境变量:

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

步骤 4:验证 Spark(本地模式)

spark-shell

或:

run-example SparkPi 10

✅ 能跑就是离线安装成功


四、常见离线部署模式

✅ 1. 本地模式(最简单)

spark-submit --master local[*] app.jar

✅ 2. Standalone 集群(无 Hadoop)

  • 一台 Master
  • 多台 Worker
  • 完全离线可用

✅ 3. YARN 模式(已有 Hadoop)

  • Spark 仅作为客户端
  • Hadoop 需提前离线装好

五、常见坑提醒

⚠️ Spark 不自带 JDK ⚠️ 离线环境不要选 pip install pyspark ⚠️ 若用 Python:

  • 需离线装 python + pyspark wheel

六、我可以继续帮你

你可以告诉我:

  1. 用的是 哪种 Linux(CentOS / Ubuntu / 麒麟)
  2. 是否 有 Hadoop
  3. 单机还是 集群
  4. 用 Scala / Python

我可以给你完全对应的离线安装脚本。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI
助
手