解锁Linux Spark安装新姿势

Linux Spark 安装新姿势

一、安装前准备与版本选择

• 选择预编译包：优先使用官方提供的预编译二进制包，命名形如：spark--bin-hadoop[-scala].tgz，选择与你的 Hadoop 版本匹配的包（如 Hadoop 3.x 选带 hadoop3 的包）。若仅本地模式，不依赖 HDFS/YARN 也可运行。
• 安装 JDK：推荐 JDK 8 或 JDK 11，配置好 JAVA_HOME。
• 可选组件：使用 PySpark 需安装 Python 3；使用 YARN 模式需提前部署 Hadoop 并配置好 HADOOP_CONF_DIR。
• 节点准备：多机部署时，确保各节点 SSH 免密互通、主机名解析正确、系统时间同步（避免认证/调度异常）。

二、极速安装与一键启动

• 下载与解压：
  • 下载命令示例：wget https://archive.apache.org/dist/spark/spark-3.5.2/spark-3.5.2-bin-hadoop3-scala2.13.tgz
  • 解压与重命名：tar -zxvf spark-3.5.2-bin-hadoop3-scala2.13.tgz -C /opt/module && mv spark-3.5.2-bin-hadoop3-scala2.13 spark-3.5.2
• 环境变量（全局生效）：编辑 /etc/profile
  • export JAVA_HOME=/opt/module/jdk-1.8.361
  • export HADOOP_HOME=/opt/module/hadoop-3.3.6
  • export SPARK_HOME=/opt/module/spark-3.5.2
  • export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin
  • 使生效：source /etc/profile
• 一键启动与验证：
  • 启动：在 Master 节点执行 $SPARK_HOME/sbin/start-all.sh
  • 验证：访问 http://:8080 查看集群状态；本地交互执行 spark-shell；提交示例 $SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://:7077 $SPARK_HOME/examples/jars/spark-examples_*.jar 10
• 一键脚本思路（示例片段）：
  • 下载 → 解压 → 设置 SPARK_HOME/PATH → 复制 conf 模板 → 注入 JAVA_HOME/HADOOP_CONF_DIR → start-all.sh → 输出 Web UI 地址

三、自定义配置与性能要点

• 配置文件位置与模板复制：
  • 复制模板：cd $SPARK_HOME/conf && cp spark-env.sh.template spark-env.sh && cp spark-defaults.conf.template spark-defaults.conf
• spark-env.sh 常用项：
  • export JAVA_HOME=…
  • export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  • export SPARK_MASTER_HOST=
  • export SPARK_WORKER_CORES=4
  • export SPARK_WORKER_MEMORY=8g
  • 可选端口：SPARK_MASTER_WEBUI_PORT、SPARK_WORKER_WEBUI_PORT
• spark-defaults.conf 常用项：
  • spark.master=spark://:7077
  • spark.executor.memory=4g
  • spark.driver.memory=4g
  • spark.executor.cores=4
  • spark.default.parallelism=200
  • spark.sql.shuffle.partitions=200
• 工作节点清单：
  • Spark 3.x 使用 workers 文件（从 workers.template 复制），逐行写入 Worker 主机名/IP。
• 日志与网络：
  • 调整 log4j.properties 控制日志级别与输出；必要时自定义网络相关参数以适配防火墙/网段。

四、三种运行模式快速对比与示例

• 示例命令：
  • Standalone 提交示例：spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 $SPARK_HOME/examples/jars/spark-examples_*.jar 10
  • YARN 提交示例：spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster $SPARK_HOME/examples/jars/spark-examples_*.jar 10
  • PySpark 本地：pyspark 或 spark-submit --master local[*] pi.py

五、常见问题与排查清单

• Java/Hadoop 未就绪：检查 java -version、$JAVA_HOME、$HADOOP_HOME 与 $HADOOP_CONF_DIR 是否正确。
• 节点无法通信：确认 SSH 免密、/etc/hosts 或 DNS 解析正常、防火墙/安全组已放行 8080/7077 等端口。
• 时间与认证：多机环境务必 NTP 时间同步，避免 Kerberos/认证异常。
• 资源设置不当：合理设置 SPARK_WORKER_MEMORY/CORES 与 spark.executor.memory/cores，避免 OOM 或资源争用。
• 日志与排错：查看 $SPARK_HOME/logs/，必要时调低 log4j 日志级别；UI 的 Failed/Completed Applications 页可快速定位问题。