linux spark安装教程有吗

有的，下面我给你一份Linux 下 Spark 安装教程（单机 / 伪分布式），适合学习和测试使用。

一、环境准备

1. 系统要求

• Linux（CentOS / Ubuntu / Debian 均可）
• JDK 8 或 11（推荐 JDK 8）
• 已安装 Hadoop（可选，若用 YARN 模式）

2. 安装 JDK

# Ubuntu / Debian
sudo apt update
sudo apt install openjdk-8-jdk -y

# CentOS
sudo yum install java-1.8.0-openjdk-devel -y

配置环境变量：

vim ~/.bashrc

添加：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

source ~/.bashrc
java -version

二、下载并安装 Spark

1. 下载 Spark

去官网选版本： https://spark.apache.org/downloads.html

例如（Hadoop 3 版本）：

cd /opt
sudo wget https://archive.apache.org/dist/spark/spark-3.4.1/spark-3.4.1-bin-hadoop3.tgz
sudo tar -zxvf spark-3.4.1-bin-hadoop3.tgz
sudo mv spark-3.4.1-bin-hadoop3 spark

2. 配置环境变量

vim ~/.bashrc

添加：

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

source ~/.bashrc

三、Spark 运行模式

1. 本地模式（最简单）

spark-shell

出现 scala> 表示成功。

2. Standalone 模式（伪分布式）

修改配置文件

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

添加：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export SPARK_MASTER_HOST=localhost

启动 Spark

$SPARK_HOME/sbin/start-all.sh

查看进程：

jps

应有：

• Master
• Worker

Web UI：

http://localhost:8080

四、测试 Spark 任务

run-example SparkPi 10

或写个简单程序：

spark-shell

val data = 1 to 100
val rdd = sc.parallelize(data)
println(rdd.reduce(_ + _))

五、常见问题

1. JAVA_HOME 未设置

报错：

JAVA_HOME is not set

解决：在 spark-env.sh 中显式配置。

2. 端口被占用

修改：

export SPARK_MASTER_WEBUI_PORT=8081

六、可选：连接 Hadoop

如果你已有 Hadoop：

export HADOOP_CONF_DIR=/etc/hadoop/conf

然后可用 YARN 模式：

spark-shell --master yarn

如果你愿意，我可以：

• 给你 CentOS 专用版
• 教你 Spark on YARN
• 或写 Python (PySpark) 安装教程

你用的是哪种 Linux？