linux spark安装如何开始

下面给你一个从零开始在 Linux 上安装并运行 Spark 的简明流程，适合新手快速起步。

一、准备环境

1. 安装 Java（必须）

Spark 依赖 JVM，推荐 JDK 8 或 11

# Ubuntu / Debian
sudo apt update
sudo apt install openjdk-11-jdk -y

# CentOS / Rocky / Alma
sudo yum install java-11-openjdk-devel -y

验证：

java -version

二、下载并安装 Spark

1. 下载 Spark

到官网选 Pre-built for Apache Hadoop（最省事）
https://spark.apache.org/downloads.html

示例（Linux 命令行）：

cd /opt
sudo wget https://archive.apache.org/dist/spark/spark-3.5.1/spark-3.5.1-bin-hadoop3.tgz
sudo tar -xzf spark-3.5.1-bin-hadoop3.tgz
sudo mv spark-3.5.1-bin-hadoop3 spark

2. 配置环境变量

sudo vim /etc/profile.d/spark.sh

内容：

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

生效：

source /etc/profile.d/spark.sh

三、本地模式运行（最简单）

1. 启动 Spark Shell

spark-shell

看到 scala> 就说明成功。

测试：

val rdd = sc.parallelize(1 to 10)
rdd.reduce(_ + _)

2. 提交 Spark 任务

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  $SPARK_HOME/examples/jars/spark-examples_2.12-3.5.1.jar \
  10

四、伪分布式（单机多进程，可选）

$SPARK_HOME/sbin/start-master.sh
$SPARK_HOME/sbin/start-worker.sh spark://localhost:7077

Web UI：

http://localhost:8080

五、常见问题

✅ 不用装 Hadoop 也能跑 Spark（本地模式）
✅ Python 用户可用 pyspark

pyspark

✅ 内存不足

export SPARK_LOCAL_IP=127.0.0.1

六、下一步建议

• 学 RDD / DataFrame
• 接 Hadoop / Hive
• 用 YARN / Kubernetes 模式

如果你愿意，可以告诉我：

• 你是 学习 / 生产
• 用 Scala / Python
• 是否已有 Hadoop

我可以直接给你一套针对性安装方案。