如何解决Linux上Spark安装冲突

Linux上Spark安装冲突排查与解决

一、先理清常见冲突类型

• 版本不兼容：Java 与 Spark 不匹配、Spark 与 Hadoop 版本不支持，常导致启动失败或运行期类冲突。
• 环境变量与路径冲突：同时装了多套 Spark/Hadoop，或 PATH 顺序不当，出现命令指向错乱。
• 脚本与端口冲突：$HADOOP_HOME/sbin 与 $SPARK_HOME/sbin 都有 start-all.sh/stop-all.sh；8080/7077 等端口被占用。
• 依赖库冲突：应用自带依赖与 Spark 安装目录 $SPARK_HOME/jars 中的同名库版本不一致（如 guava、snappy-java）。
• Python/PySpark 冲突：多版本 Python 并存、PYTHONHOME/PYTHONPATH 干扰，或未把 pyspark 加入 Python 路径。
• HDFS/YARN 状态问题：如 HDFS 处于 SafeMode、YARN 虚拟内存检查导致容器被杀。
  以上问题在 Linux 环境的 Spark 部署中最为常见，需按序排查与隔离。

二、标准化安装与环境隔离

• 仅保留一套 Spark 二进制包，建议解压到固定目录（如 /opt/spark-），并统一通过环境变量引用：
  • 在 ~/.bashrc 或 /etc/profile 中设置：
    • export SPARK_HOME=/opt/spark-<version>
    • export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
  • 执行 source ~/.bashrc 使配置生效。
• 选择与 Hadoop 匹配的 Spark 发行包（如带 Hadoop 依赖的预编译包或 without-hadoop 并在 spark-env.sh 中指定 Hadoop 类路径），避免混用多版本二进制。
• 若机器同时装有 Hadoop，避免脚本互相覆盖：保留 Spark 的 sbin，将 Hadoop 的 start-all.sh/stop-all.sh 重命名（如 start-all-hadoop.sh），或调整 PATH 顺序，使 which start-all.sh 指向期望的发行版。
• 验证：执行 spark-shell --version、echo $SPARK_HOME、which spark-shell，确保指向同一套安装。

三、版本兼容性与依赖冲突处理

• 版本匹配速查（示例）：
  • Spark 2.4.x：支持 Hadoop 2.7.x 或 3.0.x
  • Spark 3.0.x / 3.1.x：支持 Hadoop 2.7.x 或 3.2.x
  • Spark 3.2.x / 3.3.x / 3.4.x：通常支持 Hadoop 3.2.x / 3.3.x
    若版本不匹配，优先更换 Spark 或 Hadoop 发行包至兼容组合。
• Java 版本：多数 Spark 3.x 场景建议使用 JDK 8 或 JDK 11；设置 JAVA_HOME 并验证 java -version。
• 依赖冲突定位与解决：
  • 冲突多由第三方库版本不一致引起（如 guava）。先定位冲突类来源：
    • find $SPARK_HOME/jars -name "*.jar" -exec grep -Hls "com/google/common/base/CaseFormat" {} \;
  • 解决策略（按影响最小化原则）：
    • 优先使用应用打包时统一依赖（如 Maven Shade 重定位冲突包），避免污染 $SPARK_HOME/jars。
    • 若必须外置依赖，使用 --jars 提交，并通过 spark.{driver/executor}.extraClassPath 明确指定版本；必要时开启 spark.driver.userClassPathFirst 或 spark.executor.userClassPathFirst 让应用依赖优先（谨慎评估与 Spark 内部 API 的兼容性）。
    • 不建议直接替换 $SPARK_HOME/jars 中的库，可能引发 Spark 自身运行期错误。

四、端口占用与脚本冲突的快速修复

• 端口冲突：
  • 查看占用：ss -ltnp | grep 8080 或 netstat -lntp | grep 8080
  • 解决：修改 Spark Master Web UI 端口，例如在 spark-env.sh 中设置：
    • export SPARK_MASTER_WEBUI_PORT=8081
  • 其他常用端口：7077（Spark Master RPC）、8080（Web UI）、4040（应用 UI）。
• 脚本冲突：
  • 确认 which start-all.sh 与 which stop-all.sh 均来自 $SPARK_HOME/sbin；若与 Hadoop 冲突，重命名 Hadoop 的脚本或调整 PATH。
• 集群/存储前置检查：
  • 若使用 HDFS，确认已退出 SafeMode：hdfs dfsadmin -safemode leave
  • 若使用 YARN，遇到虚拟内存限制导致容器被杀，可在 yarn-site.xml 中设置：
    • <property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property>
      并重启 YARN。

五、PySpark 与多版本 Python 的兼容

• 多版本 Python 并存时，避免 PYTHONHOME/PYTHONPATH 干扰；必要时在启动前 unset PYTHONHOME PYTHONPATH。
• 将 pyspark 加入 Python 路径（如使用 conda/virtualenv，确保 python -c "import pyspark" 成功）。
• 在提交 PySpark 作业时显式指定 Python 可执行文件：
  • 提交命令加入：--conf "spark.pyspark.python=/opt/conda/envs/py38/bin/python"
  • 或在代码中：os.environ["PYSPARK_PYTHON"] = "/opt/conda/envs/py38/bin/python"
• 验证：pyspark --version、python -c "import pyspark; print(pyspark.__version__)"。