Linux下Spark安装后如何启动

Linux下Spark安装后的启动指南

一 环境检查与准备

• 确认已安装 Java 8/11，执行：java -version。
• 配置环境变量（示例将 Spark 解压到 /opt/spark）：

  echo 'export SPARK_HOME=/opt/spark' >> ~/.bashrc
  echo 'export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin' >> ~/.bashrc
  source ~/.bashrc
  

• 如计划连接 HDFS/YARN，在 $SPARK_HOME/conf/spark-env.sh 中设置：
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop。
• 多机部署建议：配置 SSH 免密登录 到各 Worker，便于一键启停。

二 启动方式

• 本地模式（无需启动集群，适合快速验证）
  • Scala/Java：spark-shell --master local[*]
  • Python：pyspark --master local[*]
• Standalone 集群模式（Spark 自带资源管理）
  • 配置 $SPARK_HOME/conf/spark-env.sh：

    export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
    export SPARK_MASTER_HOST=<MASTER_IP>    # 例如 192.168.1.100
    # 可按需调整
    export SPARK_WORKER_CORES=2
    export SPARK_WORKER_MEMORY=2g
    

  • 配置 $SPARK_HOME/conf/workers（每行一个主机名或 IP）：

    worker1
    worker2
    

  • 在主节点启动：

    $SPARK_HOME/sbin/start-all.sh
    # 或分步：
    $SPARK_HOME/sbin/start-master.sh
    $SPARK_HOME/sbin/start-slaves.sh
    

  • 如需手动在某 Worker 启动：$SPARK_HOME/sbin/start-worker.sh spark://<MASTER_IP>:7077
• 访问 Web UI
  • Master UI：http://<MASTER_IP>:8080（默认端口）
  • 查看进程：jps（应看到 Master/Worker 进程）
• 一键脚本
  • 停止：$SPARK_HOME/sbin/stop-all.sh
• 端口说明
  • 集群通信：7077
  • Master Web UI：8080
  • Worker Web UI：8081
  • 如端口被占用，可在 spark-env.sh 中自定义，例如：SPARK_MASTER_WEBUI_PORT=8099。

三 提交作业

• 提交到 Standalone 集群

  $SPARK_HOME/bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master spark://<MASTER_IP>:7077 \
    $SPARK_HOME/examples/jars/spark-examples_*.jar 100
  

• PySpark 作业

  $SPARK_HOME/bin/spark-submit \
    --master spark://<MASTER_IP>:7077 \
    your_script.py
  

• 提交到 YARN（无需启动 Spark 集群）

  $SPARK_HOME/bin/spark-submit \
    --master yarn \
    --deploy-mode cluster \
    your_app.py
  

• 查看 YARN 日志：yarn logs -applicationId <APP_ID>。

四 常见问题排查

• 无法申请资源（如提示 “Initial job has not accepted any resources”）
  • 检查 Worker 是否注册到 Master（Web UI 的 8080）。
  • 核对 --executor-memory、--total-executor-cores 是否超过 Worker 配置（SPARK_WORKER_MEMORY/CORES）。
• 主机名解析失败
  • 在 /etc/hosts 配置 主机名 ↔ IP 映射，或直接使用 IP。
• SSH 免密未配置
  • start-all.sh 依赖 SSH 启动远程 Worker，需提前配置免密登录。
• 端口被占用
  • 修改 spark-env.sh 中的 SPARK_MASTER_WEBUI_PORT/SPARK_MASTER_PORT 等端口后重启。
• Java 未就绪
  • 执行 java -version 确认 Java 8/11 可用，并正确设置 JAVA_HOME。