Spark在Linux上的安装脚本怎么用

在Linux上使用安装脚本安装Spark主要分为以下几个步骤：

准备工作

1. 安装Java：

• 确保系统已安装Java运行时环境。可以通过以下命令检查Java是否已安装：

java -version

如果没有安装Java，可以通过以下命令安装OpenJDK：

sudo apt-get update
sudo apt-get install openjdk-8-jdk

2. 下载Spark：

• 访问Spark官网下载最新稳定版本的Spark。
• 例如，下载Spark 3.1.1版本：

wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.1/spark-3.1.1-bin-hadoop3.2.tgz

安装步骤

1. 解压安装包：

tar -xzvf spark-3.1.1-bin-hadoop3.2.tgz

2. 配置环境变量：

• 编辑~/.bashrc文件，添加以下内容：

export SPARK_HOME=/path/to/spark-3.1.1-bin-hadoop3.2
export PATH=$SPARK_HOME/bin:$PATH

• 保存并关闭文件后，使用以下命令使改动生效：

source ~/.bashrc

启动Spark集群

1. 配置spark-env.sh：

• 进入Spark安装目录的conf文件夹：

cd $SPARK_HOME/conf

• 复制spark-env.sh.template为spark-env.sh：

cp spark-env.sh.template spark-env.sh

• 编辑spark-env.sh文件，设置Java、Scala、Hadoop等环境变量。例如：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=master_node_ip
export SPARK_MASTER_PORT=7077

2. 配置slaves文件：

• 复制slaves.template为slaves文件。
• 编辑slaves文件，添加集群内其他服务器的IP地址或主机名，每行一个。

3. 分发配置文件到集群各节点：

scp -r $SPARK_HOME/conf/* slave_node1:/usr/local/spark/conf/
scp -r $SPARK_HOME/conf/* slave_node2:/usr/local/spark/conf/
# 重复以上命令，将所有配置文件分发到所有节点

4. 启动Spark集群：

• 进入Spark的sbin目录：

cd $SPARK_HOME/sbin

• 启动Spark集群：

./start-all.sh

验证安装

1. 查看启动情况：

• 在主节点上使用以下命令查看启动情况：

jps

• 应该能看到Master和Worker进程。

2. 进入Spark Shell：

• 在任意节点上启动Spark Shell：

$SPARK_HOME/bin/spark-shell

• 如果出现Scala提示符，表示安装成功。

使用spark-submit提交作业

1. 提交Spark应用程序：

$SPARK_HOME/bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://master_node_ip:7077 \
  /path/to/spark-examples.jar

其中，org.apache.spark.examples.SparkPi是包含main函数的类名，master_node_ip是Spark集群的主节点地址和端口号，/path/to/spark-examples.jar是应用程序的打包文件路径。