如何安装linux spark

下面按从零开始的思路，给你讲清楚如何在 Linux 上安装和使用 Spark。以 Ubuntu / CentOS 常见发行版为例，Spark 本身不依赖特别复杂的组件。

一、前提条件

1. 安装 Java（必须）

Spark 依赖 JVM，推荐 Java 8 或 Java 11

Ubuntu

sudo apt update
sudo apt install openjdk-8-jdk -y

CentOS

sudo yum install java-1.8.0-openjdk-devel -y

验证：

java -version

二、下载并安装 Spark

1. 下载 Spark

去官网：https://spark.apache.org/downloads.html

常用版本（示例）：

cd /opt
sudo wget https://archive.apache.org/dist/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz

2. 解压

sudo tar -xzf spark-3.5.0-bin-hadoop3.tgz
sudo mv spark-3.5.0-bin-hadoop3 spark

三、配置环境变量

编辑 ~/.bashrc 或 /etc/profile：

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

使配置生效：

source ~/.bashrc

四、本地模式测试（最简单）

不需要 Hadoop，直接跑：

spark-shell

看到类似：

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 3.5.0
      /_/

说明安装成功 ✅

五、提交任务测试

spark-submit --class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.12-3.5.0.jar 10

六、伪分布式 / 集群（简单说明）

1. 修改配置

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh

编辑：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

2. 启动集群

$SPARK_HOME/sbin/start-master.sh
$SPARK_HOME/sbin/start-worker.sh spark://localhost:7077

Web UI：

http://localhost:8080

七、常见问题

❌ 没有 java

command not found: java

→ 没装 JDK（不是 JRE）

❌ 端口被占用

Address already in use

→ 修改 spark-env.sh 里的端口

八、推荐学习路径

1. spark-shell（Scala）
2. pyspark（Python）
3. spark-submit
4. 再学集群部署（Standalone / YARN / K8s）

如果你愿意，可以告诉我：

• 用的是 Ubuntu 还是 CentOS
• 是否要 Python / Scala
• 是否要 集群模式

我可以给你定制版安装教程。