Spark如何在Linux部署

以下是在Linux部署Spark的步骤（以Standalone模式为例）：

1. 环境准备

   • 安装JDK 8+：sudo apt install openjdk-8-jdk（Ubuntu/Debian）或 sudo yum install java-1.8.0-openjdk（CentOS/RHEL）。
   • 关闭防火墙（可选）：systemctl stop firewalld && systemctl disable firewalld。
   • 配置SSH免密登录：主节点生成密钥并分发到所有从节点。

2. 下载与解压Spark

   • 从官网下载安装包（如spark-3.5.0-bin-hadoop3.tgz），解压至指定目录（如/opt）：
     wget https://downloads.apache.org/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz
tar -zxvf spark-3.5.0-bin-hadoop3.tgz -C /opt。

3. 配置环境变量

   • 编辑~/.bashrc或/etc/profile，添加：
     export SPARK_HOME=/opt/spark-3.5.0-bin-hadoop3
export PATH=$SPARK_HOME/bin:$PATH
     执行source ~/.bashrc使配置生效。

4. 配置集群参数

   • 修改$SPARK_HOME/conf/spark-env.sh（需先复制模板文件）：

     export JAVA_HOME=/usr/lib/jvm/java-11-openjdk  # 替换为实际路径  
     export SPARK_MASTER_IP=master-node-ip       # 主节点IP  
     export SPARK_WORKER_MEMORY=2g               # 从节点内存（按需调整）  
     ```。  
     

   • 修改$SPARK_HOME/conf/slaves文件，添加从节点主机名/IP（每行一个）。

5. 启动集群

   • 主节点启动Master服务：$SPARK_HOME/sbin/start-master.sh。
   • 从节点启动Worker服务：$SPARK_HOME/sbin/start-slaves.sh 或在主节点执行start-slave.sh spark://master-ip:7077。

6. 验证部署

   • 通过浏览器访问主节点Web界面：http://master-ip:8080，查看Worker节点是否在线。
   • 使用spark-shell或spark-submit测试任务提交。

说明：

• 若需伪分布式模式，可跳过SSH配置和slaves文件，直接在单节点启动Master和Worker。
• 生产环境建议使用YARN或Kubernetes作为资源管理器，需额外配置。

参考来源：