Linux 系统 Spark 安装步骤解析

1. 环境准备
在Linux系统上安装Spark前，需确保系统满足以下核心依赖：

• Java Development Kit (JDK)：Spark依赖Java环境运行，推荐使用JDK 8或JDK 11（通过java -version验证安装，未安装时可通过sudo apt-get install openjdk-8-jdk或sudo yum install java-1.8.0-openjdk安装）。
• Apache Hadoop（可选）：若需使用HDFS、YARN等Hadoop组件，需提前安装Hadoop；若仅本地测试，可跳过此步骤。
• Python（可选）：若需使用PySpark（Spark的Python API），需安装Python（推荐Python 3.6及以上版本）。
  此外，需确保系统有足够资源（至少4G内存、2核CPU），以支撑Spark运行。

2. 下载Spark
从Apache Spark官方网站下载预编译的二进制包（选择与Hadoop版本兼容的版本，如spark-3.3.2-bin-hadoop3.tgz），使用wget命令下载至Linux系统：

wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz

下载完成后，可通过ls命令确认文件完整性。

3. 解压安装包
使用tar命令将下载的压缩包解压至指定目录（如/opt，需管理员权限）：

sudo tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt

解压后，可通过ls /opt确认Spark目录是否存在。

4. 配置环境变量
编辑用户级配置文件（如~/.bashrc或~/.zshrc），添加Spark相关环境变量：

export SPARK_HOME=/opt/spark-3.3.2-bin-hadoop3  # 指向Spark解压目录
export PATH=$SPARK_HOME/bin:$PATH              # 将Spark命令加入PATH

保存文件后，执行source ~/.bashrc（或source ~/.zshrc）使配置立即生效。

5. 验证基础安装
通过运行spark-shell命令验证Spark是否安装成功：

spark-shell

若安装正确，终端将进入Spark的REPL（交互式Shell）界面，显示Spark版本及Scala版本信息（如Spark context available as 'sc'）。

6. 配置Spark集群（可选，单机/集群模式）

• 单机模式：无需额外配置，直接运行spark-shell即可启动本地Spark实例。
• Standalone模式（伪分布式/完全分布式）：
  1. 复制配置模板并修改：进入Spark的conf目录，复制spark-env.sh.template为spark-env.sh，编辑该文件添加以下内容：

     export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64  # 指向JDK安装目录
     export SPARK_MASTER_HOST=localhost                 # Master节点IP（伪分布式为本机）
     export SPARK_MASTER_PORT=7077                      # Master端口（默认7077）
     

     若为完全分布式，需创建slaves文件（同样复制slaves.template），添加Worker节点IP（如slave1\nslave2）。
  2. 分发配置：将Spark目录同步至所有Worker节点（使用scp -r /opt/spark-3.3.2-bin-hadoop3 slave1:/opt/）。
  3. 启动集群：在Master节点执行以下命令：

     cd /opt/spark-3.3.2-bin-hadoop3/sbin
     ./start-master.sh    # 启动Master守护进程
     ./start-slaves.sh    # 启动所有Worker守护进程
     

• Spark on Yarn模式：
  1. 修改spark-env.sh，添加Hadoop配置路径：

     export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop  # 指向Hadoop配置目录
     

  2. 启动Hadoop集群（start-dfs.sh、start-yarn.sh），然后通过spark-shell --master yarn-client提交任务。

7. 验证集群状态

• 查看进程：在Master节点执行jps，应看到Master进程；在Worker节点执行jps，应看到Worker进程。
• 访问Web UI：在浏览器中输入http://<master-ip>:8080（如http://localhost:8080），查看集群状态（包括Master/Worker节点列表、内存使用、任务运行情况）。
• 运行示例程序：在Master节点执行./bin/run-example SparkPi，验证Spark是否能正常运行计算任务（输出π的近似值）。

常见问题及解决方法

• Java版本不兼容：若出现Unsupported major.minor version错误，需安装JDK 8或11，并正确配置JAVA_HOME。
• 端口冲突：若start-master.sh报错“端口已被占用”，可修改spark-env.sh中的SPARK_MASTER_PORT（如改为8077）。
• 内存不足：若运行任务时报错“内存溢出”，可修改spark-defaults.conf（位于conf目录），调整内存设置（如spark.executor.memory 2g、spark.driver.memory 1g）。