linux spark安装怎样集群

下面按**“从零在 Linux 上搭建 Spark 集群”的思路，给你一个清晰、可操作的步骤说明**（以 Spark Standalone 集群为例，最常用、最适合学习）。

一、集群角色说明

• Master：集群管理者（1 台）
• Worker：计算节点（多台）
• Client：提交任务的机器（可以是 Master 或任意节点）

示例：

master: 192.168.1.10
worker1: 192.168.1.11
worker2: 192.168.1.12

二、前置准备（所有节点）

1. 安装 JDK

java -version

如果没有：

sudo apt install openjdk-8-jdk   # Ubuntu
# 或
sudo yum install java-1.8.0-openjdk

配置环境变量：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

2. 配置主机名和 hosts

每台机器：

sudo vim /etc/hosts

添加：

192.168.1.10 master
192.168.1.11 worker1
192.168.1.12 worker2

3. 配置 SSH 免密（Master → Workers）

在 Master 上：

ssh-keygen -t rsa
ssh-copy-id worker1
ssh-copy-id worker2

三、安装 Spark（所有节点）

1. 下载 Spark

wget https://archive.apache.org/dist/spark/spark-3.4.1/spark-3.4.1-bin-hadoop3.tgz
tar -zxvf spark-3.4.1-bin-hadoop3.tgz
mv spark-3.4.1-bin-hadoop3 /opt/spark

2. 配置环境变量

vim ~/.bashrc

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

source ~/.bashrc

四、配置 Spark 集群

1. 配置 spark-env.sh

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh

vim spark-env.sh

添加：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077

2. 配置 workers（旧版叫 slaves）

cp workers.template workers
vim workers

内容：

worker1
worker2

五、启动集群

在 Master 上执行：

$SPARK_HOME/sbin/start-all.sh

查看进程

• Master：

jps
# Master

• Worker：

jps
# Worker

六、访问 Web UI

浏览器访问：

http://master:8080

可看到 Worker 节点信息。

七、提交任务测试

spark-submit \
--master spark://master:7077 \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.12-3.4.1.jar \
100

八、停止集群

$SPARK_HOME/sbin/stop-all.sh

九、常见问题

✅ 防火墙关闭

systemctl stop firewalld

✅ 时间同步

ntpdate cn.pool.ntp.org

✅ Worker 连不上 Master

• hosts 配置错误
• 防火墙未关
• spark-env.sh 中 MASTER_HOST 写错

十、如果你愿意

我也可以帮你：

• 搭建 Spark on YARN
• 用 Docker 搭 Spark 集群
• 写 spark-defaults.conf
• 配 高可用 Master（Zookeeper）

直接告诉我你的 Linux 版本和使用场景即可。