Linux下如何配置Spark环境

Linux下配置Spark环境

一 环境准备与版本选择

• 安装并验证 Java：Spark 3.x 建议使用 JDK 8 或 JDK 11。执行 java -version 与 javac -version 确认版本与编译器可用。若未安装，Ubuntu 可：sudo apt update && sudo apt install openjdk-11-jdk。
• 选择发行包：从 Apache Spark 官网下载所需版本，常见为带 Hadoop 依赖的包（如：spark-3.x.x-bin-hadoop3.tgz）；若仅本地测试或不依赖 Hadoop，可选 without-hadoop 包。
• 可选组件：使用 PySpark 需安装 Python 3.x；如使用 HDFS/YARN，需准备 Hadoop 环境及配置目录。
• 运行模式：本地模式（单机调试）、Standalone（Spark 自带集群）、YARN（依托 Hadoop 资源）。

二 安装与基础配置

• 下载与解压：示例 wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz，解压至目标目录（如 /opt）：sudo tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt。
• 环境变量（写入 ~/.bashrc 或 ~/.zshrc 并 source 生效）：
  • export SPARK_HOME=/opt/spark-3.3.2-bin-hadoop3
  • export PATH=$SPARK_HOME/bin:$PATH
  • PySpark：export PYSPARK_PYTHON=python3
  • 如使用 Hadoop：export HADOOP_HOME=/usr/local/hadoop、export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
• 基础验证：运行 spark-shell（Scala）或 pyspark（Python），出现 REPL 即表示安装成功。

三 集群部署 Standalone 模式

• 配置目录与文件：进入 $SPARK_HOME/conf，复制模板并重命名：
  • cp spark-env.sh.template spark-env.sh
  • cp spark-defaults.conf.template spark-defaults.conf
  • 在 Spark 3.x 中，工作节点文件名为 workers（2.x 为 slaves）
• spark-env.sh 常用项：
  • export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
  • export SPARK_MASTER_HOST=<master-ip>（Master 主机名或 IP）
  • export SPARK_MASTER_PORT=7077（默认）
  • 可按需设置：SPARK_WORKER_CORES、SPARK_WORKER_MEMORY、SPARK_WORKER_PORT、SPARK_WORKER_WEBUI_PORT
• workers 文件：每行写入一个 Worker 主机名或 IP（如 worker1、worker2）。
• 分发与启动：将 Spark 目录同步到各节点（如 scp -r $SPARK_HOME worker1:$SPARK_HOME），在 Master 执行：
  • $SPARK_HOME/sbin/start-all.sh（或分别执行 start-master.sh 与 start-workers.sh）
• 验证：
  • 访问 http://:8080 查看集群与 Worker 状态
  • 命令行 jps 应能看到 Master/Worker 进程
  • 日志位于 $SPARK_HOME/logs/

四 运行模式与作业提交

• 本地模式：用于开发测试，无需集群。
  • spark-shell --master local[*]（使用所有 CPU 核心）
  • pyspark --master local[*]
• Standalone 模式：
  • 提交示例：$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://<master-ip>:7077 $SPARK_HOME/examples/jars/spark-examples_2.12-3.3.0.jar 10
• YARN 模式：依托 Hadoop 资源管理。
  • 提交示例（Cluster 模式）：spark-submit --class com.example.App --master yarn --deploy-mode cluster <app.jar> [args]
  • 提交示例（Client 模式）：spark-submit --class com.example.App --master yarn --deploy-mode client <app.jar> [args]
• 常用默认参数（置于 spark-defaults.conf）：
  • spark.master spark://<master-ip>:7077
  • spark.executor.memory 4g、spark.driver.memory 4g、spark.executor.cores 4
  • 事件日志：spark.eventLog.enabled true、spark.eventLog.dir file:///tmp/spark-events（或写入 HDFS）

五 常用优化配置与故障排查

• 内存与并发：在 spark-defaults.conf 或提交命令中设置
  • spark.executor.memory、spark.driver.memory、spark.executor.cores、spark.default.parallelism、spark.sql.shuffle.partitions
• 日志与历史服务器：
  • 开启事件日志：spark.eventLog.enabled true，日志目录提前创建（本地或 HDFS）
  • 启动 HistoryServer：在 spark-env.sh 设置
    • SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=<log-dir>"
    • 启动：$SPARK_HOME/sbin/start-history-server.sh，访问 http://:18080
• 端口与资源：
  • Master Web UI 默认 8080，若冲突可在 spark-env.sh 调整 SPARK_MASTER_WEBUI_PORT
  • 合理设置 SPARK_WORKER_CORES、SPARK_WORKER_MEMORY 避免资源争用
• 常见问题：
  • Java 版本不兼容：Spark 2.x 常用 JDK 8；3.x 支持 JDK 8/11，以官方说明为准
  • 端口被占用：更换 Web UI 或 Master 端口
  • 内存不足：降低 spark.executor.memory/spark.driver.memory 或增加节点资源
  • 查看日志：tail -f $SPARK_HOME/logs/spark-<user>-*.log 定位启动与运行错误