Spark在Linux上的安装配置指南

在Linux系统上安装和配置Apache Spark涉及多个步骤。以下是一个基本的指南：

1. 环境准备

确保你的Linux系统已经安装了以下软件：

• Java Development Kit (JDK): Spark需要Java环境来运行。推荐使用JDK 8或JDK 11。
• Apache Hadoop: 如果你打算使用HDFS或其他Hadoop组件，需要安装Hadoop。如果只是本地测试，可以不安装。
• Python (可选): 如果你打算使用PySpark (Spark的Python API)，需要安装Python。

2. 下载Spark

你可以从Apache Spark的官方网站下载最新版本的Spark:

wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz

3. 解压文件

下载完成后，解压文件到指定目录，例如 /opt:

sudo tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt

4. 配置环境变量

编辑 /.bashrc 或 /.zshrc 文件，添加以下内容:

export SPARK_HOME=/opt/spark-3.3.2-bin-hadoop3
export PATH=$SPARK_HOME/bin:$PATH

然后使配置生效:

source ~/.bashrc

5. 验证安装

运行以下命令来验证Spark是否安装成功:

spark-shell

如果一切正常，你应该会看到Spark的REPL (Read-Eval-Print Loop)界面。

6. 启动集群

进入Spark的 sbin 目录并启动集群:

cd /opt/spark-3.3.2-bin-hadoop3/sbin
./start-all.sh

7. 配置HDFS和YARN

确保HDFS和YARN已经启动:

./myhadoop.sh start

8. 提交应用

使用以下命令提交一个示例应用:

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \
  ./examples/jars/spark-examples_2.12-3.3.2.jar

9. 查看应用状态

访问YARN的ResourceManager UI查看应用状态:

http://hadoop102:8088

通过以上步骤，你应该能够在Linux系统上成功安装和运行Apache Spark。