Linux上安装Spark的流程如下:
安装Java环境:Spark依赖Java,推荐安装OpenJDK 8或11。
sudo apt update
sudo apt install openjdk-11-jdk # Ubuntu/Debian
# 或 sudo yum install java-11-openjdk # CentOS/RHEL
下载Spark:从官网获取对应版本的Spark压缩包(如spark-3.3.2-bin-hadoop3.tgz)。
wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
解压文件:将压缩包解压到指定目录(如/opt)。
sudo tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt
配置环境变量:编辑~/.bashrc或~/.zshrc,添加以下内容:
export SPARK_HOME=/opt/spark-3.3.2-bin-hadoop3
export PATH=$SPARK_HOME/bin:$PATH
然后使配置生效:
source ~/.bashrc
验证安装:运行spark-shell,若出现交互式界面则安装成功。
配置集群(可选):
$SPARK_HOME/conf/spark-env.sh,设置JAVA_HOME、SPARK_MASTER_HOST等参数。slaves文件并分发到各节点,启动Master和Worker服务。说明:
spark-defaults.conf配置内存、并行度等参数。免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。