如何快速在 Linux 上安装 Spark

在 Linux 上快速安装 Apache Spark 的步骤如下：

1. 安装 Java 环境

首先，确保你的系统上已经安装了 Java 运行时环境（JRE）。你可以通过以下命令检查 Java 是否已安装：

java -version

如果没有安装 Java，可以使用以下命令进行安装：

sudo apt update
sudo apt install openjdk-11-jre

2. 下载 Spark

访问 Apache Spark 官方网站，选择适合你 Hadoop 版本的 Spark 安装包进行下载。例如，如果你使用的是 Hadoop 2.6.x，可以下载 spark-2.2.0-bin-hadoop2.6.tgz。

wget https://archive.apache.org/dist/spark/spark-2.2.0-bin-hadoop2.6.tgz

3. 解压 Spark

使用以下命令解压下载的 Spark 安装包：

tar -xvf spark-2.2.0-bin-hadoop2.6.tgz -C /usr/local/

4. 配置环境变量

为了方便使用 Spark，需要将其添加到系统的环境变量中。编辑 ~/.bashrc 文件，添加以下内容：

export SPARK_HOME=/usr/local/spark-2.2.0-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

然后，使环境变量生效：

source ~/.bashrc

5. 配置 Spark

进入 Spark 的 conf 目录，复制 spark-env.sh.template 文件并重命名为 spark-env.sh，然后编辑该文件，添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native

6. 配置 Slaves

复制 slaves.template 文件并重命名为 slaves，删除其中的 localhost，并添加集群中其他服务器的 IP 地址或主机名，每行一个。

7. 启动 Spark 集群

进入 Spark 的 sbin 目录，执行以下命令启动 Spark 集群：

./start-all.sh

8. 验证安装

在主节点上使用以下命令查看启动情况：

jps

你应该能看到 Master 和 Worker 进程。

9. 运行示例程序

进入 Spark 的 bin 目录，执行以下命令启动 spark-shell：

./spark-shell

在 spark-shell 中，你可以运行一些示例程序来验证安装是否成功。例如，运行 spark-submit 提交一个示例程序：

./spark-submit --class org.apache.spark.examples.SparkPi --master spark://127.0.0.1:7077 /path/to/spark/examples/jars/spark-examples_2.11-2.2.0.jar

如果一切正常，你应该会看到类似以下的输出：

Pi is roughly 3.14716

以上步骤应该能够帮助你快速在 Linux 上安装和配置 Spark。如果在安装过程中遇到任何问题，建议查阅 Spark 的官方文档或社区论坛获取帮助。