如何在Linux系统中安装Spark

Linux 上安装 Apache Spark 的标准步骤

一 环境准备

• 安装 Java Development Kit（JDK 8 或 JDK 11），Spark 运行依赖 Java。
• 如需访问 HDFS/YARN 等 Hadoop 生态，安装 Apache Hadoop；仅本地测试可不装。
• 如需使用 PySpark，安装 Python 3（建议 3.6+）。

二 下载与解压

• 从 Apache 镜像下载 Spark 预编译包（选择带 Hadoop 依赖的版本更省事，例如 hadoop3）：
  • 示例（以 3.3.2 为例）：wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
• 解压到常用目录（如 /opt）：
  • sudo tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt
• 建议创建软链便于升级：ln -sfn /opt/spark-3.3.2-bin-hadoop3 /opt/spark。

三 配置环境变量

• 编辑用户配置文件（~/.bashrc 或 ~/.zshrc），加入：
  • export SPARK_HOME=/opt/spark
  • export PATH=$SPARK_HOME/bin:$PATH
• 使配置生效：source ~/.bashrc（或 source ~/.zshrc）
• 验证 Java：java -version；验证 Spark：spark-shell（进入 Scala REPL 即表示基本可用）。

四 本地模式快速验证

• 直接运行交互式 Shell：spark-shell（Scala）
• 运行 PySpark（如已安装 Python）：pyspark
• 运行示例任务（Scala）：
  • val data = Seq(1,2,3,4,5)
  • val rdd = spark.sparkContext.parallelize(data)
  • val result = rdd.reduce(_ + _)
  • println(s"The sum is: $result")
• 以上能在本地模式下完成计算即表明安装成功。

五 集群模式与常用端口

• Standalone 集群常用做法：
  • 配置 $SPARK_HOME/conf/spark-env.sh（可从模板复制）：设置 JAVA_HOME、SPARK_MASTER_HOST、SPARK_MASTER_PORT=7077 等。
  • 配置 $SPARK_HOME/conf/slaves（从模板复制）：列出所有 Worker 主机名或 IP，每行一个。
  • 在主节点启动：./sbin/start-all.sh；如需停止：./sbin/stop-all.sh。
  • 进程检查：jps 应能看到 Master 与 Worker。
• 访问 Web UI：
  • Master UI：默认 8080（若端口被占用会顺延，如 8081/8082）
  • History Server UI：18080（需额外开启事件日志）
• 提交作业示例：
  • $SPARK_HOME/bin/spark-submit
    –class org.apache.spark.examples.SparkPi
    –master spark://<master_ip>:7077
    $SPARK_HOME/examples/jars/spark-examples_*.jar
• 常见问题与提示：
  • Java 版本不兼容：优先使用 JDK 8/11；若报错，检查 java -version 与 JAVA_HOME。
  • 环境变量错误：确认 SPARK_HOME 与 PATH 已生效（which spark-shell 应指向 $SPARK_HOME/bin）。
  • 依赖缺失：可使用 --packages 自动拉取，例如：spark-shell --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.3.2。