linux spark安装依赖有哪些

在 Linux 上安装和使用 Apache Spark，通常依赖以下几类内容，按“必须 / 常用 / 可选”说明：

一、必须依赖（核心）

1. Java（JDK）

Spark 基于 JVM 运行，必须安装 Java。

• 推荐版本：JDK 8 / JDK 11 / JDK 17（取决于 Spark 版本）
• 检查：

java -version

安装示例（Ubuntu）：

sudo apt install openjdk-11-jdk

2. Scala（视使用方式）

• Spark 自带 Scala 编译环境
• 若用 Scala API 开发，需安装 Scala

sudo apt install scala

3. Spark 安装包

从官网下载：

wget https://archive.apache.org/dist/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz
tar -xzf spark-3.5.0-bin-hadoop3.tgz

需要设置环境变量：

export SPARK_HOME=/path/to/spark
export PATH=$SPARK_HOME/bin:$PATH

二、运行模式相关依赖

1. 本地模式（学习/测试）

✅ 无额外依赖

spark-shell

2. Standalone 模式

• 多台 Linux 机器
• 配置：
  • conf/workers
  • SSH 免密登录（必须）

ssh-keygen
ssh-copy-id worker1

3. Hadoop / YARN 模式（生产常用）

需要：

Hadoop 客户端

• HADOOP_HOME
• yarn, hdfs 命令

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

配置文件

• core-site.xml
• hdfs-site.xml
• yarn-site.xml

4. Kubernetes 模式

依赖：

• kubectl
• docker
• Spark 镜像

三、常用可选依赖

1. Python（PySpark）

python3 --version
pip3 install pyspark

依赖库（常用）：

• numpy
• pandas
• pyarrow

2. 日志与监控

• log4j
• Prometheus + Grafana（生产）

3. 网络与系统

• 关闭防火墙或开放端口（7077 / 8080 / 8042）
• NTP 时间同步（集群重要）

四、典型依赖总结表

如果你告诉我：

• Spark 版本
• 使用模式（local / standalone / YARN / K8s）
• 是否用 PySpark / Scala

我可以给你精确到命令的安装清单。