Spark 在 Linux 上如何配置

在 Linux 上配置 Apache Spark 涉及多个步骤，以下是一个详细的指南：

1. 环境准备

• 安装 Java： 确保系统已经安装了 Java 环境。你可以通过以下命令检查 Java 版本：

  java -version
  

  如果没有安装 Java，需要从 Oracle 官网下载并安装 JDK 1.8 或 11。

• 安装 Scala（如果使用 Scala 编程）： Spark 依赖于 Scala 运行环境，确保已经安装 Scala 并配置了 SCALA_HOME 环境变量。可以从 Scala 官网下载适合的 Scala 版本。

2. 下载 Spark

从 Apache Spark 官网下载最新版本的 Spark。例如，下载 Spark 3.3.0 版本：

wget https://downloads.apache.org/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.tgz

3. 解压文件

将下载的 Spark 包解压到指定目录，例如 /opt：

sudo tar -xzf spark-3.3.0-bin-hadoop3.tgz -C /opt

4. 配置环境变量

编辑用户的 .bashrc 或 .zshrc 文件，添加以下内容：

export SPARK_HOME=/opt/spark-3.3.0-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

使配置生效：

source ~/.bashrc

5. 配置 Spark

• 编辑 spark-env.sh 文件（如果不存在则创建）： 进入 Spark 安装目录的 conf 文件夹，复制 spark-env.sh.template 为 spark-env.sh，并编辑：

  cd /opt/spark-3.3.0-bin-hadoop3/conf
  cp spark-env.sh.template spark-env.sh
  vim spark-env.sh
  

  在文件中添加以下内容：

  export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
  export HADOOP_HOME=/usr/local/hadoop
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  export SCALA_HOME=/usr/local/scala
  export SPARK_MASTER_HOST=localhost
  export SPARK_WORKER_CORES=3
  export SPARK_WORKER_INSTANCES=1
  export SPARK_WORKER_MEMORY=5G
  export SPARK_EXECUTOR_CORES=1
  export SPARK_EXECUTOR_MEMORY=1G
  export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native
  

• 配置 slaves 文件： 进入 Spark 安装目录的 conf 文件夹，复制 slaves.template 为 slaves，并编辑：

  cd /opt/spark-3.3.0-bin-hadoop3/conf
  cp slaves.template slaves
  vi slaves
  

  将文件中的内容修改为实际工作的节点地址。

6. 启动 Spark 集群

在 Master 节点上，使用以下命令启动 Master 服务：

cd /opt/spark-3.3.0-bin-hadoop3
./sbin/start-master.sh

在 Worker 节点上，运行以下命令以启动 Worker 服务：

./sbin/start-slave.sh spark://localhost:7077

7. 验证安装

打开浏览器，访问 http://localhost:8080，这是 Spark 的 Web UI 界面，你可以在这里查看集群的状态和运行的任务。

8. 配置集群（可选）

如果配置集群模式（如 Standalone、YARN、Mesos 等），需要进一步修改 conf/slaves 文件和 conf/spark-env.sh 文件，并分发配置到所有节点。

通过以上步骤，你应该能够在 Linux 系统上成功配置并运行 Apache Spark。如果在安装过程中遇到问题，请检查环境变量配置是否正确，并确保所有依赖项都已正确安装。