Spark安装过程中需要注意什么

Spark安装关键注意事项

一 环境与版本匹配

• 确认 Java 已安装并正确设置 JAVA_HOME，常用版本为 JDK 8 或 JDK 11；如使用 PySpark，建议 Python 3.6+。
• 选择与你的 Hadoop 版本匹配的 Spark 发行包（如带有 -bin-hadoop3 后缀的预编译包）；若仅本地测试，可不安装 Hadoop。
• 注意 Scala/Spark 的版本对应关系（选择与 Spark 编译时一致的 Scala 版本），避免 API 不兼容。
• 操作系统建议：Linux（如 Ubuntu 18.04+）、Windows 10+、macOS 10.14+。

二 下载解压与目录权限

• 从 Apache Spark 官网 获取发行包，示例：
  wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
• 解压到统一目录（如 /opt），并确保当前用户对安装目录有读写权限：
  sudo tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt
• 避免使用含空格或中文的路径，减少后续脚本与依赖解析问题。

三 环境变量与配置文件

• 正确设置环境变量（~/.bashrc 或 ~/.zshrc）：
  export SPARK_HOME=/opt/spark-3.3.2-bin-hadoop3
  export PATH=$SPARK_HOME/bin:$PATH
  如使用 PySpark，建议同时设置：export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
• 按需拷贝并修改配置文件：
  • spark-env.sh：设置 JAVA_HOME、内存、日志目录、Master/Worker 相关变量。
  • spark-defaults.conf：设置应用默认参数（如 spark.master、序列化、内存等）。
• 使配置生效：source ~/.bashrc；验证命令：spark-shell 或 pyspark。

四 集群与资源设置

• 启动方式与环境：
  • Standalone：使用 start-master.sh 与 start-worker.sh 启动集群。
  • YARN：使用 spark-submit 提交时指定 –master yarn 与 –deploy-mode（client/cluster）。
• 资源与系统参数：
  • 合理设置 spark.driver.memory 与 spark.executor.memory，避免 OOM。
  • 提升系统限制：如 ulimit -n 10240 防止“文件描述符过多”。
  • 开放必要端口（如 8080/8081/4040 等）或配置防火墙放行，确保 Master/Worker 与浏览器可访问。
• 验证：访问 http://:8080 查看集群状态；运行示例或 spark-submit 测试任务。

五 常见错误与快速排查

• 命令未找到：检查 SPARK_HOME 与 PATH 是否生效（执行 source 后重开终端）。
• Java 版本不兼容：确认使用 JDK 8/11，并与 Spark/Scala 版本匹配。
• 日志中出现 “SLF4J: Class path contains multiple SLF4J bindings.”：清理重复的日志绑定依赖。
• 权限或路径问题：确认安装目录权限、路径无空格/中文，SSH 免密登录（伪分布式/集群）。
• 资源不足或数据倾斜：调整 executor 内存/核心数、分区数，必要时使用 repartition/coalesce 缓解倾斜。