linux spark安装要注意啥

在 Linux 上安装和部署 Spark，有几个关键点和坑需要特别注意，下面按安装前 → 安装中 → 安装后/使用给你梳理一下。

一、安装前要注意

1. Java 环境（最重要）

Spark 强依赖 JDK：

• 推荐 JDK 8 或 JDK 11
• Spark 3.x 不支持 JDK 7
• 建议用 Oracle JDK 或 OpenJDK

java -version

⚠️ 注意：

• 一定要配置 JAVA_HOME
• Spark 启动脚本会读 JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

2. 选择 Spark 版本

要考虑：

• Spark 版本
• Hadoop 版本（是否带 Hadoop 依赖）

下载时常见两种包：

• spark-3.x.x-bin-hadoop3.tgz（推荐）
• spark-3.x.x-bin-without-hadoop.tgz（需自己配 Hadoop）

如果你是 单机学习 / 测试：

• 直接用 bin-hadoop 版本最省事

3. 单机还是集群

• Local 模式：只装 Spark 即可
• Standalone / YARN / K8s：还需额外组件

新手建议：

先 Local，再 Standalone

二、安装中要注意

1. 解压路径规范

不要放太深或带空格路径：

tar -zxvf spark-3.5.0-bin-hadoop3.tgz -C /opt/
mv /opt/spark-3.5.0-bin-hadoop3 /opt/spark

2. 配置环境变量

~/.bashrc 或 /etc/profile：

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

生效：

source ~/.bashrc

3. 配置文件（集群才需要）

在 $SPARK_HOME/conf：

• spark-env.sh
• workers（Spark 3 新名，老版本是 slaves）

示例：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export SPARK_MASTER_HOST=192.168.1.100

三、安装后验证

1. 本地模式测试

spark-shell

或：

run-example SparkPi 10

能跑通说明基本 OK。

2. 常见坑

❌ 端口被占用

• Web UI 默认：4040
• Master UI：8080

netstat -tunlp | grep 8080

❌ 内存不足

Spark 很吃内存，尤其是：

• spark-shell
• pyspark

可在 spark-defaults.conf 限制：

spark.driver.memory  1g
spark.executor.memory 1g

❌ Python 环境（PySpark）

如果用 PySpark：

• Python 版本建议 3.8+
• 各节点 Python 版本要一致
• 推荐用 conda 或 venv

pyspark

四、生产环境额外注意

• 关闭 Swap（提升性能）
• 配置 ulimit
• 日志目录权限
• 时间同步（NTP）
• 防火墙端口开放

五、一句话总结

Linux 装 Spark：Java 配好、版本选对、路径干净、先 Local 再集群

如果你愿意，我可以：

• 给你 一步到位安装脚本
• 或按你是 学习 / 单机 / 集群 来具体讲

你现在是准备 本地学习 还是 搭集群？