Linux下Spark安装步骤是什么

Linux下Apache Spark安装步骤

一 环境准备

• 安装并验证 Java：Spark 3.x 建议使用 JDK 8 或 JDK 11。执行 java -version 检查版本；未安装可用包管理器安装，例如在 Debian/Ubuntu 上：sudo apt update && sudo apt install openjdk-11-jdk；在 RHEL/CentOS 上：sudo yum install java-11-openjdk-devel。
• 可选组件：使用 HDFS/YARN 时安装 Hadoop；使用 PySpark 时安装 Python 3。
• 说明：仅本地测试可不安装 Hadoop；如使用 Hadoop，请确保 HADOOP_CONF_DIR 指向正确的配置目录。

二 下载与解压

• 选择版本并下载预编译包（含 Hadoop 依赖的“bin-hadoop”包更省事；若已单独安装 Hadoop，可选“without-hadoop”包并在 spark-env.sh 中设置 classpath）。示例（以 3.3.2 为例）：
  • 下载：wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
  • 解压：sudo tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt
  • 建议软链便于升级：sudo ln -sfn /opt/spark-3.3.2-bin-hadoop3 /opt/spark
• 说明：历史版本可在 archive.apache.org 获取。

三 配置环境变量

• 编辑用户环境：nano ~/.bashrc（或 ~/.zshrc），加入：
  • export SPARK_HOME=/opt/spark
  • export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
• 使配置生效：source ~/.bashrc
• 如需系统级生效，可写入 /etc/profile 并执行 source /etc/profile。

四 本地验证

• 启动交互式 Spark Shell：spark-shell（Scala）。看到 Scala REPL 即表示安装成功。
• 使用 PySpark：pyspark（确保已安装 Python 3）。
• 运行示例：
  • Scala：val data = Seq(1,2,3,4,5); val rdd = sc.parallelize(data); println(rdd.sum())
  • PySpark：rdd = sc.parallelize([1,2,3,4,5]); print(rdd.sum())
• 说明：本地模式无需启动集群，适合功能验证。

五 集群部署与常用端口

• Standalone 模式（单机伪集群或多机集群）
  • 配置 $SPARK_HOME/conf/spark-env.sh：
    • export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64（按实际路径）
    • export SPARK_MASTER_HOST=your-master-host（主机名或 IP）
    • 如使用内置 Hadoop 依赖可忽略 Hadoop 设置；如使用外部 Hadoop，添加：
      • export HADOOP_HOME=/opt/hadoop
      • export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
      • export SPARK_DIST_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)
  • 配置 $SPARK_HOME/conf/slaves：每行一个 Worker 主机名或 IP。
  • 启动集群：在 Master 节点执行 start-all.sh（或分别执行 start-master.sh 与 start-workers.sh）。
  • 访问 Web UI：http://<master>:8080，查看 Workers 与 Applications。
  • 提交作业：spark-submit --master spark://<master>:7077 your-app.jar。
• 端口与常见冲突
  • 7077：Spark Master 提交/通信端口
  • 8080：Master Web UI（若被占用，可在 spark-env.sh 设置 SPARK_MASTER_WEBUI_PORT）
  • 8081：Worker Web UI
  • 若与 Hadoop 的 start-all.sh 冲突，建议仅保留一套脚本，或将其中一组重命名以避免路径优先顺序导致误调用。
• 历史服务器（可选）
  • 在 spark-defaults.conf 开启事件日志：
    • spark.eventLog.enabled true
    • spark.eventLog.dir hdfs://<namenode>:9000/spark-eventlog（需提前在 HDFS 创建目录）
  • 在 spark-env.sh 配置 History Server：
    • export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://<namenode>:9000/spark-eventlog"
  • 启动：$SPARK_HOME/sbin/start-history-server.sh，访问 http://<host>:18080。
• 说明：Standalone 适合快速搭建与学习；生产环境常结合 YARN/K8s 调度。