Linux系统Spark安装失败怎么办

Linux系统 Spark 安装失败排查与修复

一 快速自检清单

• 核对版本匹配：多数发行版建议使用 JDK 8 或 JDK 11；如使用 Spark 2.x，通常要求 JDK 8。执行 java -version 与 javac -version 确认版本与位数一致。
• 正确设置环境变量：在 ~/.bashrc 或 ~/.zshrc 中添加并生效
  export SPARK_HOME=/opt/spark-<version>-bin-hadoop<ver>
export PATH=$SPARK_HOME/bin:$PATH
  执行 source ~/.bashrc 后验证 echo $SPARK_HOME 与 which spark-shell。
• 本机模式快速验证：运行 spark-shell（或 pyspark），能进入 REPL 基本说明安装与环境变量正确。
• 集群模式检查：确保已安装并启动 Hadoop/HDFS/YARN（如需），解除 HDFS 安全模式：hdfs dfsadmin -safemode leave；访问 8080 端口查看 Web UI 是否正常。

二 常见报错与对应修复

• 报错示例：Error: A JNI error has occurred
  可能原因：Java 位数/版本不匹配、JDK 安装不完整、环境变量错误。
  处理步骤：

  1. 确认 java -version 与 javac -version 均存在且为 x64；
  2. 重新安装 JDK 8/11（优先使用官方包或发行版提供的 openjdk 8/11）；
  3. 检查 JAVA_HOME 是否指向 JDK 根目录（而非 JRE），并重新 source 配置。

• 报错示例：command not found: spark-shell
  可能原因：SPARK_HOME 或 PATH 未正确设置。
  处理步骤：

  1. 在 ~/.bashrc 或 ~/.zshrc 中正确导出 SPARK_HOME 与 PATH；
  2. 执行 source ~/.bashrc；
  3. 用 which spark-shell 验证可执行文件是否在 $SPARK_HOME/bin。

• 报错示例：端口被占用（如 8080）
  处理步骤：

  1. 查看占用：netstat -tulpen | grep 8080；
  2. 结束占用进程或修改 SPARK_MASTER_WEBUI_PORT 为未占用端口后重启。

• 报错示例：HDFS 安全模式导致启动异常
  处理步骤：在 Hadoop 环境执行 hdfs dfsadmin -safemode leave 后再启动 Spark。

• 报错示例：YARN 虚拟内存检查导致容器失败
  处理步骤：在 yarn-site.xml 中设置
  <property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property>
  并重启 YARN。

• 报错示例：Hive 集成时报错找不到 spark-assembly-*.jar
  处理步骤：编辑 hive/bin/hive，将 {SPARK_HOME}/lib/spark-assembly-*.jar 替换为 {SPARK_HOME}/jars/*.jar。

• 报错示例：依赖库缺失（如 Kafka 连接器）
  处理步骤：启动时使用 --packages 自动拉取依赖，例如
  spark-shell --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.3.2

三 集群部署关键检查

• 配置 spark-env.sh：设置 JAVA_HOME、SPARK_MASTER_HOST、SPARK_MASTER_PORT=7077、SPARK_WORKER_CORES、SPARK_WORKER_MEMORY、SPARK_WORKER_WEBUI_PORT 等关键参数。
• 配置 slaves：列出所有 Worker 主机名或 IP，每行一个。
• 启动与验证：在 $SPARK_HOME/sbin 执行 ./start-all.sh，用 jps 检查进程，访问 http://:8080 查看集群状态。

四 仍未解决时的定位方法

• 查看日志：到 $SPARK_HOME/logs 目录查看 Master/Worker 最新日志，定位异常堆栈与配置项。
• 前台启动：在 sbin 目录前台执行 ./start-master.sh 或 ./start-slave.sh，直接观察控制台输出。
• 最小化复现：先用本机模式 spark-shell 验证环境，再逐步引入 Hadoop/YARN、Hive、Kafka 等组件，定位引入失败点。