Linux 下 Spark 安装要注意啥

Linux下Spark安装关键注意事项

1. 环境准备：核心依赖与版本兼容性

• Java JDK：Spark依赖Java环境，推荐使用JDK 8或JDK 11（Spark 3.x版本支持JDK 11及以上，但部分旧版本如Spark 2.x仅支持JDK 8）。需通过java -version验证版本，若版本不符，用update-alternatives --config java切换默认版本。
• Hadoop（可选）：若需使用HDFS、YARN等Hadoop组件，需提前安装兼容版本的Hadoop（如Spark 3.3.x兼容Hadoop 3.x）。若仅本地测试，可跳过Hadoop安装。
• Python（可选）：若使用PySpark（Spark的Python API），需安装Python 3.6及以上版本，建议通过conda或apt安装以管理依赖。

2. 版本兼容性：避免框架冲突

• Spark与Hadoop版本：选择与Hadoop版本匹配的Spark发行包（如spark-3.3.2-bin-hadoop3.tgz对应Hadoop 3.x），避免因API不兼容导致运行错误。
• Spark与Scala版本：若用Scala编写Spark应用，需确保Scala版本与Spark兼容（如Spark 3.3.x支持Scala 2.12/2.13）。建议使用Spark自带的Scala版本，避免额外安装。

3. 安装步骤：解压与目录规范

• 下载官方包：从Apache Spark官网下载稳定版本（如Spark 3.3.2），优先选择-bin-hadoopX后缀的预编译包（无需额外编译）。
• 解压至专用目录：使用sudo tar -xzf spark-*.tgz -C /opt解压到/opt等系统目录，便于统一管理。建议用ln -s创建软链接（如/opt/spark），方便后续升级。

4. 环境变量：关键路径配置

• 编辑配置文件：在~/.bashrc（或~/.zshrc）中添加以下内容，替换为实际路径：

  export SPARK_HOME=/opt/spark-3.3.2-bin-hadoop3  # Spark安装目录
  export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH  # 添加Spark命令到PATH
  export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64  # Java安装目录（根据实际调整）
  

• 使配置生效：运行source ~/.bashrc使变量立即生效，通过echo $SPARK_HOME验证是否配置正确。

5. 配置文件：集群与本地模式的差异化设置

• spark-env.sh：复制模板cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh，添加以下关键配置：

  export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64  # Java路径
  export SPARK_MASTER_HOST=localhost  # 单机模式为本机，集群模式为Master节点IP
  export SPARK_MASTER_PORT=7077  # Master节点通信端口（默认7077）
  

• slaves文件（集群模式）：若部署Standalone集群，复制cp $SPARK_HOME/conf/slaves.template $SPARK_HOME/conf/slaves，添加Worker节点IP或主机名（每行一个）。

6. 端口与防火墙：避免通信阻塞

• 端口冲突检查：Spark默认使用7077（Master通信）、8080（Master Web UI）、4040（Spark Shell Web UI）等端口。通过netstat -tulnp | grep 端口号检查端口占用，若有冲突，修改spark-env.sh中的端口或停止占用进程。
• 防火墙设置：若系统启用防火墙（如ufw或firewalld），需开放Spark相关端口。例如，使用ufw allow 7077/tcp允许Master通信，ufw allow 8080/tcp允许Web UI访问。

7. 权限与用户：避免权限问题

• 专用用户：建议创建专用用户（如spark）安装和运行Spark，避免使用root用户，提升安全性。通过useradd -m spark创建用户，passwd spark设置密码。
• 目录权限：将Spark安装目录的所有权赋予专用用户，例如sudo chown -R spark:spark /opt/spark-3.3.2-bin-hadoop3，避免权限不足导致的读写错误。

8. 验证安装：快速测试

• 本地模式测试：运行spark-shell，若出现Scala REPL界面（如Spark context available as 'sc'），说明安装成功。可通过sc.parallelize(1 to 10).sum()执行简单计算验证功能。
• Web UI验证：访问http://<master-ip>:8080（单机模式为本机IP），查看Spark集群状态（如Master节点、Worker节点是否注册）。

9. 常见问题预处理

• 依赖缺失：若运行Spark应用时报错“Missing dependency”，可使用--packages选项自动下载依赖（如spark-shell --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.3.2）。
• 内存不足：若出现OutOfMemoryError，修改spark-defaults.conf中的内存配置（如spark.driver.memory 2g、spark.executor.memory 4g），或调整YARN的内存限制（如yarn.nodemanager.resource.memory-mb）。
• 文件描述符限制：若报错“Too many open files”，通过ulimit -n 10240临时增加文件描述符数量，或修改/etc/security/limits.conf永久生效。