linux spark安装怎样配置

下面按**“最常用、最稳妥”**的方式，给你讲清楚 Linux 上 Spark 的安装与配置（以 Spark on Standalone / 本地模式 为主，不涉及复杂集群）。

一、前置条件

1. 安装 JDK（必须）

Spark 依赖 Java：

java -version

如果没有，安装 OpenJDK 8 或 11（推荐 8）：

# CentOS
yum install -y java-1.8.0-openjdk-devel

# Ubuntu
apt install -y openjdk-8-jdk

配置 JAVA_HOME：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$JAVA_HOME/bin:$PATH

2. 下载 Spark

到官网下载（示例版本 3.4.1）：

cd /opt
wget https://archive.apache.org/dist/spark/spark-3.4.1/spark-3.4.1-bin-hadoop3.tgz
tar -zxvf spark-3.4.1-bin-hadoop3.tgz
mv spark-3.4.1-bin-hadoop3 spark

二、配置 Spark 环境变量

编辑 ~/.bashrc 或 /etc/profile：

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

生效：

source ~/.bashrc

三、Spark 基本配置

1. 复制配置文件模板

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
cp slaves.template slaves   # standalone 模式需要

2. 编辑 spark-env.sh

vim spark-env.sh

常见配置（单节点示例）：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export SPARK_MASTER_HOST=localhost
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=2g
export SPARK_WORKER_CORES=2

3. 单机模式（不需要 slaves）

如果只是本地运行：

spark-shell

或：

pyspark

四、Standalone 集群模式（可选）

1. 配置 workers

vim slaves

内容：

localhost

（多机写多个 IP）

2. 启动 Spark

$SPARK_HOME/sbin/start-all.sh

查看：

jps

应看到：

• Master
• Worker

Web UI：

http://localhost:8080

五、提交任务示例

spark-submit \
  --master local[2] \
  examples/src/main/python/pi.py

或 standalone：

spark-submit \
  --master spark://localhost:7077 \
  examples/src/main/python/pi.py

六、常见问题

1. 端口冲突

修改：

SPARK_MASTER_PORT
SPARK_WORKER_PORT

2. 内存不足

调小：

SPARK_WORKER_MEMORY

3. Python 环境

pip install pyspark

七、最小可用配置总结

✅ 单机能跑只需：

• JDK
• 解压 Spark
• 配 JAVA_HOME
• spark-shell

如果你告诉我：

• Linux 发行版（CentOS / Ubuntu）
• 是否用 Hadoop / YARN
• 单节点还是多节点

我可以给你定制版安装步骤。