怎样在Linux系统安装Spark

下面以 Linux（Ubuntu / CentOS 等） 为例，说明 Apache Spark 安装步骤（单机 / 伪分布式模式，最适合学习和开发）。

一、安装前提条件

1️⃣ 安装 Java（必须）

Spark 依赖 Java 8 / 11 / 17（推荐 Java 8 或 11）

Ubuntu

sudo apt update
sudo apt install openjdk-8-jdk -y

CentOS / Rocky / AlmaLinux

sudo yum install java-1.8.0-openjdk-devel -y

验证：

java -version

2️⃣ 配置 JAVA_HOME（重要）

编辑环境变量：

vim ~/.bashrc

添加：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

使配置生效：

source ~/.bashrc

验证：

echo $JAVA_HOME

二、下载并安装 Spark

1️⃣ 下载 Spark

进入官网：https://spark.apache.org/downloads.html

示例（Spark 3.5.0 + Hadoop 3）：

wget https://downloads.apache.org/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz

2️⃣ 解压并移动到合适目录

tar -zxvf spark-3.5.0-bin-hadoop3.tgz
sudo mv spark-3.5.0-bin-hadoop3 /usr/local/spark

3️⃣ 配置 Spark 环境变量

vim ~/.bashrc

添加：

export SPARK_HOME=/usr/local/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

生效：

source ~/.bashrc

三、验证 Spark 是否安装成功

1️⃣ 启动 Spark Shell

spark-shell

成功后会看到：

Spark context available as 'sc'
Spark session available as 'spark'

退出：

:quit

2️⃣ 运行 PySpark

pyspark

四、运行 Spark 自带的示例程序

$SPARK_HOME/bin/run-example SparkPi

或：

spark-submit --class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.12-3.5.0.jar

五、启动 Spark 集群（伪分布式）

1️⃣ 配置 slaves（单机可跳过）

cd $SPARK_HOME/conf
cp slaves.template slaves

编辑 slaves：

localhost

2️⃣ 启动集群

start-master.sh
start-worker.sh spark://localhost:7077

访问 Web UI：

http://localhost:8080

六、常见问题

❌ Java 没装或 JAVA_HOME 没配置

java -version
echo $JAVA_HOME

❌ 端口被占用

netstat -tunlp | grep 8080

七、总结（最简安装流程）

# 1. 安装 Java
sudo apt install openjdk-8-jdk

# 2. 下载解压 Spark
wget spark-xxx.tgz
tar -zxvf spark-xxx.tgz
mv spark-xxx /usr/local/spark

# 3. 配置环境变量
export SPARK_HOME=/usr/local/spark
export PATH=$SPARK_HOME/bin:$PATH

# 4. 验证
spark-shell

如果你需要：

• ✅ 完全分布式 Spark 集群
• ✅ Spark + Hadoop + HDFS
• ✅ Spark on YARN
• ✅ 生产环境部署

可以告诉我你的 Linux 版本 + 使用场景，我可以给你定制方案。