怎样验证linux spark安装

在 Linux 上验证 Spark 是否安装成功，通常可以按下面几个步骤来检查。

一、检查环境变量（可选但推荐）

如果你是通过 SPARK_HOME 方式安装的，先确认环境变量是否配置：

echo $SPARK_HOME

正常应看到类似：

/opt/spark

或

/usr/local/spark

再检查 PATH：

echo $PATH | grep spark

二、检查 Spark 命令是否可用

在终端直接运行：

spark-submit --version

或

spark-shell --version

✅ 成功示例输出（版本号可能不同）：

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 3.4.1
      /_/

❌ 如果提示 command not found，说明：

• 没配置 PATH
• 或 Spark 没正确解压/安装

三、启动 Spark Shell 做基本验证

spark-shell

进入 Scala 交互界面后，执行：

val data = Seq(1, 2, 3, 4, 5)
val rdd = sc.parallelize(data)
rdd.sum()

✅ 能看到计算结果说明 Spark 正常工作。

退出：

:quit

四、运行官方示例程序（推荐）

$SPARK_HOME/bin/run-example SparkPi 10

或（已配置 PATH）：

run-example SparkPi 10

✅ 输出中应包含：

Pi is roughly 3.14xxxx

五、验证本地模式 & 集群模式

1️⃣ 本地模式（默认）

spark-submit --master local[2] $SPARK_HOME/examples/jars/spark-examples_2.12-3.4.1.jar SparkPi

2️⃣ 查看 Web UI（可选）

启动 Spark 应用后访问：

http://localhost:4040

六、常见问题排查

七、最小验证结论 ✅

只要满足以下任意一条，就说明 Spark 安装成功：

• ✅ spark-shell 能进入
• ✅ spark-submit --version 有版本信息
• ✅ SparkPi 示例能跑出结果

如果你愿意，可以告诉我：

• Spark 版本
• 安装方式（tar / apt / 源码）
• 是否要连 Hadoop / YARN

我可以给你更针对性的验证方法。