怎样在 Linux 系统安装 Spark

在 Linux 系统上安装 Apache Spark 的基本步骤如下：

1. 环境准备

• 安装 Java Development Kit (JDK)：Spark 需要 Java 环境来运行。推荐使用 JDK 8 或 JDK 11。
• 安装 Python（可选）：如果你打算使用 PySpark（Spark 的 Python API），需要安装 Python。

2. 下载 Spark

访问 Apache Spark 官方网站下载最新版本的 Spark。例如，下载 Spark 3.3.2 版本：

wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz

3. 解压文件

下载完成后，解压文件到指定目录，例如 /opt：

sudo tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt

4. 配置环境变量

编辑 ~/.bashrc 或 ~/.zshrc 文件，添加以下内容：

export SPARK_HOME=/opt/spark-3.3.2-bin-hadoop3
export PATH=$SPARK_HOME/bin:$PATH

然后使配置生效：

source ~/.bashrc

5. 验证安装

运行以下命令来验证 Spark 是否安装成功：

spark-shell

如果一切正常，你应该会看到 Spark 的 REPL（Read-Eval-Print Loop）界面。

6. 启动 Spark 集群（可选）

如果你需要启动一个 Spark 集群，可以按照以下步骤进行：

• 配置 spark-env.sh：进入 Spark 安装目录的 conf 文件夹，复制 spark-env.sh.template 文件并重命名为 spark-env.sh，然后编辑该文件，设置 Java、Scala、Hadoop 等环境变量。
• 配置 slaves 文件：复制 slaves.template 文件并重命名为 slaves，删除其中的 localhost，并添加集群中其他服务器的 IP 地址或主机名，每行一个。
• 启动 Spark 集群：进入 Spark 的 sbin 目录，执行以下命令启动 Spark 集群：

cd /opt/spark-3.3.2-bin-hadoop3
./sbin/start-all.sh

7. 访问 Spark Web 界面

通过浏览器访问 Spark 的 Web 管理界面：

http://your-master-ip:8099

这将显示 Spark 集群的当前概况。

8. 运行示例程序

进入 Spark 的 bin 目录，执行以下命令启动 spark-shell：

./spark-shell

在 spark-shell 中，你可以运行一些示例程序来验证安装是否成功。例如，运行 Spark 自带的 WordCount 示例程序：

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://127.0.0.1:7077 /path/to/spark/examples/jars/spark-examples_2.11-2.3.0.jar file:///path/to/input.txt

这样就可以在 Linux 系统上成功启动 Spark，并可以通过命令行或使用 Spark 自带的 Web 界面来查看和管理 Spark 集群。