快速掌握Linux Spark安装技巧

在Linux上安装Spark可以分为以下几个步骤：

1. 环境准备

• 安装JDK：确保安装了合适版本的JDK（如JDK 1.8），并将JAVA_HOME添加到环境变量中。
• 安装Scala：根据Spark的要求安装Scala，并将SCALA_HOME添加到环境变量中。

2. 下载和解压Spark

• 从Spark官网下载对应版本的Spark安装包。
• 解压安装包：

  tar -zxvf spark-<version>-bin-hadoop<hadoop_version>.tgz -C /opt/module
  

  例如：

  tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
  

3. 配置环境变量

• 编辑/etc/profile文件，添加以下内容：

  export JAVA_HOME=/opt/module/jdk1.8.0_212
  export HADOOP_HOME=/opt/module/hadoop3.2
  export SCALA_HOME=/opt/module/scala-2.12.7
  export SPARK_HOME=/opt/module/spark-3.0.0-bin-hadoop3.2
  export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin
  

• 使配置生效：

  source /etc/profile
  

4. 配置Spark

• 复制spark-env.sh.template为spark-env.sh，并编辑：

  cp /opt/module/spark-3.0.0-bin-hadoop3.2/conf/spark-env.sh.template /opt/module/spark-3.0.0-bin-hadoop3.2/conf/spark-env.sh
  vim /opt/module/spark-3.0.0-bin-hadoop3.2/conf/spark-env.sh
  

  添加如下内容：

  export JAVA_HOME=/opt/module/jdk1.8.0_212
  export YARN_CONF_DIR=/opt/module/hadoop3.2/etc/hadoop
  

• 复制slaves.template为slaves，并添加集群中其他节点的IP或主机名

5. 启动集群

• 进入Spark的sbin目录，启动集群：

  cd /opt/module/spark-3.0.0-bin-hadoop3.2/sbin
  ./start-all.sh
  

• 检查集群状态：

  jps
  

  查看主节点和从节点的状态

6. 提交Spark任务

• 使用spark-submit提交示例程序：

  ./bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    ./examples/jars/spark-examples_2.12-3.0.0.jar
  

• 查看任务执行状态： 通过YARN UI查看任务历史和执行状态。

7. 常见问题处理

• 启动失败：查看日志文件，通常位于/opt/module/spark-3.0.0-bin-hadoop3.2/logs目录下，根据错误信息进行排查。
• 配置错误：确保所有配置文件（如spark-env.sh、slaves）内容正确，没有多余的空格或缺失的配置。

通过以上步骤，即可在Linux上成功安装和配置Spark。如果在安装过程中遇到问题，可以参考相关日志或向社区寻求帮助。