Linux中如何顺利安装Spark

发布时间：2025-08-24 14:33:29 来源：亿速云阅读：115 作者：小樊栏目：系统运维

以下是在Linux系统中顺利安装Spark的步骤：

环境准备
- 安装Java（推荐JDK 8/11）：
```
sudo apt update && sudo apt install openjdk-11-jdk  # Ubuntu/Debian  
```
- （可选）安装Hadoop（若需集成HDFS）和Python（若需PySpark）。

下载并解压Spark

从官网下载最新版本（如Spark 3.5.0）：

wget https://downloads.apache.org/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz  
sudo tar -xzf spark-3.5.0-bin-hadoop3.tgz -C /opt/  # 解压至/opt目录

配置环境变量

编辑~/.bashrc文件，添加：

export SPARK_HOME=/opt/spark-3.5.0-bin-hadoop3  
export PATH=$SPARK_HOME/bin:$PATH

验证安装
- 运行Spark Shell：
```
spark-shell  
```
  若出现Scala交互界面，则安装成功。
（可选）集群模式配置
- 若需搭建集群，需配置spark-env.sh（设置SPARK_MASTER_IP等）和slaves文件（添加从节点IP），并分发安装包到各节点，执行start-all.sh启动集群。

注意事项：

参考来源：

向AI问一下细节

猜你喜欢