Linux Spark安装常见问题汇总及解答

Linux Spark安装常见问题汇总与解答

一 环境准备与版本兼容

• 确认已安装并正确设置 JDK 8 或 JDK 11，执行 java -version 与 echo $JAVA_HOME 检查；若未安装，可安装 OpenJDK 11：sudo apt update && sudo apt install openjdk-11-jre。
• 如使用 HDFS/YARN/Hive 等组件，需准备 Hadoop；仅本地模式可暂不安装。
• 使用 PySpark 时安装 Python（建议 3.x）。
• 下载并解压 Spark（示例版本 3.3.2）：wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz，sudo tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt。
• 配置环境变量：export SPARK_HOME=/opt/spark-3.3.2-bin-hadoop3、export PATH=$SPARK_HOME/bin:$PATH，执行 source ~/.bashrc 生效。
• 快速自检：运行 spark-shell 或 /opt/spark-3.3.2-bin-hadoop3/bin/spark-submit --version，能进入 REPL 或输出版本号即表明基础环境可用。

二 配置与启动问题

• 环境变量未生效：检查 ~/.bashrc 或 ~/.zshrc 中是否正确设置 SPARK_HOME/PATH，并执行 source 使配置生效；确认当前会话为配置所在用户。
• 配置文件加载失败：在 SPARK_HOME/conf/spark-env.sh（不存在则复制 spark-env.sh.template 创建）中设置 JAVA_HOME、SPARK_MASTER_HOST=localhost 等关键项，修改后 source 使其生效。
• 端口冲突：默认 Master Web UI 端口 8080 被占用时，可在 spark-env.sh 中设置 SPARK_MASTER_WEBUI_PORT=8099（或其他未占用端口），或先排查占用：netstat -lntp | grep 8080。
• 启动集群：在 SPARK_HOME/sbin 下执行 ./start-master.sh 与 ./start-worker.sh spark://localhost:7077；集群模式需配置 slaves 并分发配置到各节点。
• 访问 http://localhost:8080（或自定义端口）查看 Spark Web UI。

三 运行与资源问题

• 内存不足 OOM：在 spark-defaults.conf 或提交命令中调大内存，例如 spark.executor.memory 1g、spark.driver.memory 1g；同时结合数据规模与节点资源合理设置。
• 文件描述符限制过低：在 HDP 等环境中建议将 ulimit -n 提升到 10240 或更高，避免大量分区/连接导致 “Too many open files”。
• 虚拟内存检查导致容器被杀（YARN）：在 yarn-site.xml 中设置 yarn.nodemanager.vmem-check-enabled=false 并重启 Hadoop，防止因虚拟内存超限被 NodeManager 终止。
• 数据倾斜：作业运行缓慢或个别 Task 拖慢整体时，使用 repartition/coalesce 重分区，或对 Key 进行打散/盐值处理。

四 Hadoop与Hive集成问题

• HDFS 安全模式：启动 Spark on HDFS 报错时，先检查并退出安全模式：hdfs dfsadmin -safemode leave。
• Hive 与 Spark 2.x 集成：Hive 启动报 “找不到 spark-assembly-*.jar” 时，编辑 hive/bin/hive，将 {SPARK_HOME}/lib/spark-assembly-*.jar 替换为 {SPARK_HOME}/jars/*.jar（Spark 3.x 起已不再提供 spark-assembly-*.jar，Hive 应使用 Spark 3 的官方集成方式）。
• 提交到 YARN 测试：使用内置示例验证集群连通性，例如
  ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ./examples/jars/spark-examples_2.12-3.3.2.jar

五 依赖管理与快速排查清单

• 依赖缺失：运行任务缺少包时，使用 --packages 自动拉取，例如
  spark-shell --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.3.2。
• 快速排查清单：
  1. java -version 与 echo $JAVA_HOME 是否正确；
  2. echo $SPARK_HOME 与 spark-shell 是否可用；
  3. netstat -lntp | grep 8080 检查端口占用；
  4. 查看 $SPARK_HOME/logs/ 下 master/worker 日志定位启动失败原因；
  5. 集群模式核对 spark-env.sh 与 slaves 配置并同步到各节点。