Linux如何快速安装Spark

Linux快速安装Spark

一 准备环境

• 安装 JDK 8 或 JDK 11（运行 java -version 检查）。如使用 PySpark，建议 Python 3.6+。如使用 HDFS/YARN 等 Hadoop 组件，再安装 Hadoop；仅本地测试可不装 Hadoop。

二 下载与解压

• 选择预编译包（含 Hadoop 依赖），以 Spark 3.3.2 为例：

wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
sudo tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt
sudo ln -s /opt/spark-3.3.2-bin-hadoop3 /opt/spark  # 可选：创建软链便于升级

• 如需其他版本，可在 Apache Spark 下载页 选择对应 Hadoop 版本 的预编译包。

三 配置环境变量

• 在 ~/.bashrc 或 ~/.zshrc 中添加：

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH
# 可选：PySpark
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
# 可选：若系统未全局设置 JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64  # 路径以实际为准

• 使配置生效：source ~/.bashrc（或 source ~/.zshrc）。

四 快速验证与本地运行

• 版本检查：spark-shell --version 或 pyspark --version
• 启动交互式 Shell：
  • Scala：spark-shell
  • Python：pyspark
• 运行样例（Python）：

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("QuickStart").getOrCreate()
df = spark.createDataFrame([("Java",20000),("Python",100000),("Scala",3000)], ["Lang","Users"])
df.show(); spark.stop()

• 提交作业（示例）：spark-submit your_script.py（本地模式）。

五 一键伪分布式与集群要点

• 伪分布式（单机多进程，便于体验）：
  1. 配置 $SPARK_HOME/conf/spark-env.sh：

     cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh
     # 在 spark-env.sh 中设置
     export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
     export SPARK_MASTER_HOST=127.0.0.1
     export SPARK_MASTER_PORT=7077
     export SPARK_WORKER_CORES=2
     export SPARK_WORKER_MEMORY=2g
     

  2. 启动：$SPARK_HOME/sbin/start-master.sh 与 $SPARK_HOME/sbin/start-worker.sh spark://127.0.0.1:7077
  3. Web UI：访问 http://127.0.0.1:8080 查看集群状态
• 集群模式（Standalone，多机）：
  1. 在 $SPARK_HOME/conf/slaves 中列出 Worker 主机名/IP
  2. 分发 Spark 目录到各节点并统一 SPARK_HOME 与环境变量
  3. 主节点执行：$SPARK_HOME/sbin/start-all.sh
  4. 访问 http://:8080 查看集群
• 提交应用到集群：spark-submit --master spark://<Master-IP>:7077 your-app.jar（或 your_script.py）。