怎样在 Linux 上进行 Spark 集群安装

在 Linux 上安装 Spark 集群涉及多个步骤，包括环境准备、下载和解压 Spark、配置环境变量、配置 Spark 集群节点、启动集群以及验证安装。以下是详细的步骤：

环境准备

1. 安装 Java：确保所有节点安装 JDK 8+，并配置 JAVA_HOME 环境变量。
2. 关闭防火墙：在主节点上停止并禁用防火墙。
3. 配置 SSH 免密登录：在主节点生成密钥并分发到所有从节点。

下载与解压 Spark

1. 下载 Spark：访问 Spark 官网下载对应版本（如 spark-3.5.0-bin-hadoop3），上传至主节点。
2. 解压并配置：
   • 解压 Spark 包：

     tar -zxvf spark-3.5.0-bin-hadoop3.tgz -C /opt
     

   • 进入 Spark 的配置目录：

     cd /opt/spark-3.5.0-bin-hadoop3/conf
     

   • 复制模板文件并重命名：

     cp spark-env.sh.template spark-env.sh
     cp slaves.template slaves
     

   • 编辑 spark-env.sh 文件，添加必要的参数：

     export JAVA_HOME=/usr/lib/jvm/java-11-openjdk
     export SPARK_MASTER_IP=master_hostname
     export SPARK_WORKER_MEMORY=2g
     

配置集群节点

1. 修改 slaves 文件：在 slaves 文件中添加所有从节点的主机名或 IP 地址，每行一个。
2. 分发配置文件到从节点：使用 scp 命令将配置文件分发到所有从节点。

启动集群

1. 启动主节点：

   cd /opt/spark-3.5.0-bin-hadoop3
   sbin/start-master.sh
   

2. 启动从节点：

   sbin/start-slaves.sh
   

3. 验证状态：在主节点的 Web 界面（如 http://master_ip:8080）查看从节点是否在线。

验证安装

1. 提交任务：使用 spark-submit 提交一个小的任务来测试 Spark 是否成功安装。例如，计算 Pi 的近似值：

   bin/spark-submit \
     --class org.apache.spark.examples.SparkPi \
     --master spark://master_ip:7077 \
     ./examples/jars/spark-examples_*.jar 10
   

   如果一切正常，你将看到计算结果的输出。

注意事项

• 确保所有节点时间同步（可使用 ntp 服务）。
• 从节点需预先创建与主节点相同的用户和目录权限。
• 内存和 CPU 资源根据实际硬件调整（如 SPARK_WORKER_CORES 参数）。

通过以上步骤，你可以在 Linux 上成功安装和配置 Spark 集群。如果在安装过程中遇到问题，可以参考 Spark 的官方文档或相关社区资源。