Linux下如何验证Spark安装

在 Linux 下验证 Spark 是否安装成功，通常可以按下面几个步骤来做：

一、确认 Java 环境（Spark 依赖 Java）

Spark 必须有 Java（推荐 JDK 8 / 11）。

java -version

正常情况下应看到类似：

java version "1.8.0_361"

或

openjdk version "11.0.20"

⚠️ 如果没安装，需要先安装 Java。

二、检查 SPARK_HOME 环境变量（可选但推荐）

查看是否设置了 Spark 的主目录：

echo $SPARK_HOME

如果输出为空，通常是没配置，但不影响使用。

可以手动临时设置：

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

（路径以你的实际安装位置为准）

三、验证 Spark 是否能正常启动

1️⃣ 本地模式运行 Spark Shell

spark-shell

如果安装成功，会看到类似：

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 3.x.x
      /_/

Using Scala version 2.x.x

输入：

sc.version

如果能返回 Spark 版本号，说明 Spark 本身安装没问题。

退出：

:quit

2️⃣ 使用 PySpark 验证（Python）

如果你使用 Python：

pyspark

成功会看到：

Welcome to
      ____              __
...

Using Python version 3.x

四、运行示例程序验证

本地模式运行 Spark 示例

$SPARK_HOME/bin/run-example SparkPi

或：

spark-submit $SPARK_HOME/examples/src/main/python/pi.py

✅ 如果能输出 Pi 的计算结果，说明 Spark 完全可用。

五、验证 Spark 与 Hadoop 的关系（可选）

查看 Spark 是否识别 Hadoop：

spark-shell

进入后执行：

sc.hadoopConfiguration

如果没报错，说明 Spark 能正常使用 Hadoop 配置。

六、常见问题排查

❌ 提示找不到 java

java: command not found

✅ 解决：安装 Java 并配置 JAVA_HOME

❌ spark-shell 没反应或很快退出

可能原因：

• Java 版本不兼容
• Spark 包下载不完整
• 使用了错误的 Spark 版本（如 Scala 不兼容）

七、快速检查清单 ✅

如果你愿意，可以告诉我：

• Spark 版本
• 安装方式（tgz / apt / 集群）
• 是否搭配 Hadoop / Yarn / Standalone

我可以给你 针对性的验证和启动方式。