linux spark安装需要啥环境

在 Linux 上安装和运行 Apache Spark，通常需要以下环境和依赖：

一、基础系统环境

• 操作系统：常见 Linux 发行版
  • CentOS / Rocky / AlmaLinux
  • Ubuntu / Debian
  • openEuler、麒麟等也可
• 架构：x86_64（主流），部分版本支持 aarch64
• 用户权限：建议使用普通用户，部分操作需 sudo

二、Java 环境（必须）

Spark 基于 JVM，必须安装 JDK

• JDK 版本要求
  • Spark 3.x：JDK 8 / JDK 11 / JDK 17（推荐 JDK 8 或 11）
  • Spark 2.x：JDK 8
• 安装示例（Ubuntu）

  sudo apt install openjdk-8-jdk
  

• CentOS

  sudo yum install java-1.8.0-openjdk-devel
  

• 环境变量

  export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
  export PATH=$JAVA_HOME/bin:$PATH
  

三、Scala（可选）

• Spark 自身已内置 Scala，一般不需单独安装
• 若用 Scala 写程序才需要：
  • Scala 2.12（Spark 3.x）

四、Python 环境（可选，但常用）

如果你用 PySpark：

• Python 3.6+
• 推荐 Python 3.8 / 3.9
• 建议用虚拟环境

  python3 -m venv pyspark-env
  source pyspark-env/bin/activate
  pip install pyspark
  

五、SSH（集群模式必须）

如果是 Standalone / YARN / Cluster 模式：

• 必须配置 SSH 免密登录

  ssh-keygen
  ssh-copy-id node2
  ssh-copy-id node3
  

• 每台机器都要能互相 SSH

六、Hadoop（可选）

• Local 模式：不需要 Hadoop
• YARN 模式：必须安装 Hadoop
• HDFS：可选，用于数据存储

七、Spark 安装包

• 官网下载：

  https://spark.apache.org/downloads.html
  

• 选择：
  • Spark 版本
  • 对应 Hadoop 版本（如 Pre-built for Hadoop 3）

八、最简单验证（Local 模式）

tar -xzf spark-3.x.x-bin-hadoop3.tgz
cd spark-3.x.x-bin-hadoop3
bin/spark-shell

或

bin/pyspark

九、总结一句话

Linux + JDK + Spark 包 = 本地能用
+ SSH + Hadoop = 集群能用

如果你是 学习 / 生产 / 集群，可以告诉我，我可以给你更具体的安装步骤。