温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

安装linux spark要几步

发布时间:2026-10-17 07:12:17 来源:亿速云 阅读:84 作者:小樊 栏目:系统运维

安装 Linux 上的 Apache Spark,通常可以分成 5 个主要步骤(以最常用、最稳定的方式为例:Linux + 预编译包 + 本地/单机模式):


步骤 1:安装 Java(JDK)

Spark 依赖 Java 运行环境。

# Ubuntu / Debian
sudo apt update
sudo apt install openjdk-8-jdk -y

# CentOS / RHEL
sudo yum install java-1.8.0-openjdk-devel -y

验证:

java -version

步骤 2:下载 Spark

去官网或直接用 wget:

wget https://archive.apache.org/dist/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz

(版本可按需替换)


步骤 3:解压并移动到安装目录

tar -xzf spark-3.5.0-bin-hadoop3.tgz
sudo mv spark-3.5.0-bin-hadoop3 /opt/spark

步骤 4:配置环境变量

编辑 ~/.bashrc 或 /etc/profile:

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

生效:

source ~/.bashrc

步骤 5:启动并验证 Spark

本地模式测试:

spark-shell

看到 Scala 交互界面即安装成功 ✅


✅ 总结

安装 Linux Spark 一般需要 5 步:

  1. 装 Java
  2. 下载 Spark
  3. 解压安装
  4. 配置环境变量
  5. 启动验证

如果你是:

  • 集群模式(Standalone / YARN / K8s)
  • 用 pip / conda 装 PySpark
  • 最小化 Docker 安装

可以告诉我,我可以给你更针对性的步骤。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI
助
手