Linux系统如何快速安装Spark

下面给你几种在 Linux 系统上快速安装 Apache Spark 的常用方法，从「最快上手」到「更规范的生产方式」都有，你可以按需求选择。

一、最快方式：直接下载解压（推荐新手 / 学习使用）

1️⃣ 前置条件

Spark 依赖 Java，先确认 Java 已安装：

java -version

如果没有安装（以 Java 8 或 11 为例）：

# Ubuntu / Debian
sudo apt update
sudo apt install openjdk-11-jdk -y

# CentOS / Rocky / Alma
sudo yum install java-11-openjdk-devel -y

2️⃣ 下载 Spark

去官网复制最新版本地址（示例为 3.5.1）：

wget https://downloads.apache.org/spark/spark-3.5.1/spark-3.5.1-bin-hadoop3.tgz

3️⃣ 解压并配置

tar -zxvf spark-3.5.1-bin-hadoop3.tgz
sudo mv spark-3.5.1-bin-hadoop3 /opt/spark

配置环境变量：

echo 'export SPARK_HOME=/opt/spark' >> ~/.bashrc
echo 'export PATH=$SPARK_HOME/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

4️⃣ 验证安装

spark-shell

出现 Spark 交互式界面即成功 ✅

二、使用 Spark Standalone（适合单机模拟集群）

$SPARK_HOME/sbin/start-master.sh
$SPARK_HOME/sbin/start-worker.sh spark://$(hostname):7077

访问 Web UI：

http://localhost:8080

三、通过 Conda 安装（Python / PySpark 用户推荐 ⭐）

如果你主要用 PySpark，这是最简单的方式之一：

conda create -n spark_env python=3.10 -y
conda activate spark_env
conda install -c conda-forge pyspark -y

直接运行：

pyspark

✅ 无需单独安装 Spark
✅ 自动适配 Java 和 Hadoop

四、Docker 方式（最快 & 最干净 ✅）

适合测试 / 快速体验

docker run -it bitnami/spark:latest bash

或直接启动 PySpark：

docker run -it bitnami/spark pyspark

五、生产推荐方式（最规范）

六、常见问题排查

❌ 没有 JAVA_HOME

export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java))))

❌ 端口被占用

netstat -tunlp | grep 7077

七、我可以继续帮你

你可以告诉我：

• ✅ 是 学习 / 生产 / 测试？
• ✅ 用 Scala / Python / Java？
• ✅ 是否配合 Hadoop / YARN / Kubernetes？
• ✅ 系统版本（Ubuntu / CentOS / Rocky）

我可以给你一份完全定制化的 Spark 安装方案。