Linux环境下Spark安装疑难解答

下面按常见场景 + 逐步排查的方式，整理一份 Linux 环境下 Spark 安装疑难解答指南，涵盖从环境准备到运行出错的典型问题。

一、前置环境检查（80% 的问题出在这里）

1. Java 环境与版本问题

Spark 强依赖 Java。

检查 Java 是否安装

java -version

推荐版本

⚠️ 不推荐 JDK 17+（除非你非常清楚兼容性问题）

设置 JAVA_HOME

echo $JAVA_HOME

若为空，编辑：

vim ~/.bashrc

添加：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

生效：

source ~/.bashrc

二、Spark 下载与解压问题

1. 下载版本选择错误

✅ 推荐：

spark-3.x.x-bin-hadoop3.tgz

❌ 避免：

without-hadoop

除非你明确知道自己在做什么

2. 解压失败或权限问题

tar -zxvf spark-*.tgz

若报错：

Permission denied

解决：

chmod +x spark-*.tgz

或：

sudo tar -zxvf spark-*.tgz -C /opt/

三、Spark 环境变量配置

1. 配置 SPARK_HOME

vim ~/.bashrc

添加：

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

生效：

source ~/.bashrc

验证：

spark-shell

四、本地模式运行失败

1. spark-shell 启动报错

常见错误 1：JAVA_HOME 未设置

JAVA_HOME is not set

✅ 解决：确认 JAVA_HOME 配置并 source ~/.bashrc

常见错误 2：端口被占用

Address already in use

✅ 解决：

netstat -tunlp | grep 4040
kill -9 PID

或换端口：

spark-shell --conf spark.ui.port=4050

五、Spark 集群模式（Standalone）问题

1. 无法启动 Master / Worker

启动方式

$SPARK_HOME/sbin/start-master.sh
$SPARK_HOME/sbin/start-worker.sh spark://master:7077

常见错误

failed to launch: nice -n 0

✅ 解决：

• 查看日志：

cat $SPARK_HOME/logs/spark-*.out

• 通常是 Java 路径错误

2. Worker 连不上 Master

检查：

hostname -f

确保：

• /etc/hosts 配置正确
• 防火墙关闭

systemctl stop firewalld

或开放端口：

7077 / 8080 / 8081

六、Hadoop / HDFS 相关问题

1. Hadoop 未安装但使用 HDFS

错误示例：

ClassNotFoundException: org.apache.hadoop.fs.FileSystem

✅ 解决：

• 使用 spark with hadoop
• 或单独配置 HADOOP_HOME

2. HDFS 权限问题

Permission denied: user=root, access=WRITE

✅ 解决：

hdfs dfs -chmod -R 777 /user

或：

export HADOOP_USER_NAME=hdfs

七、内存与资源问题

1. 内存不足导致 Executor 退出

Executor lost

✅ 修改：

spark-submit --executor-memory 1G --driver-memory 1G

或编辑：

$SPARK_HOME/conf/spark-defaults.conf

八、常见错误速查表

九、快速自检清单 ✅

java -version
echo $JAVA_HOME
echo $SPARK_HOME
spark-shell

如果你愿意，可以把具体报错信息贴出来（完整异常栈），我可以逐行帮你分析并给出精确解决方案。