以下是在Linux中安装Spark的指南:
确保系统安装了JDK 1.8+、Python 3.6+(可选),关闭防火墙或开放7077(Master)、8080(Web UI)等端口。
从Apache Spark官网下载预编译版本,如spark-3.5.6-bin-hadoop3.tgz,使用命令wget下载。
将下载的压缩包解压到指定目录,如/opt/spark,使用命令tar -zxvf spark-3.5.6-bin-hadoop3.tgz -C /opt/。
在~/.bashrc或/etc/profile中添加export SPARK_HOME=/opt/spark和export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin,然后执行source命令使配置生效。
在$SPARK_HOME/conf目录下,复制spark-env.sh.template为spark-env.sh,并设置JAVA_HOME、SPARK_MASTER_HOST等参数。复制slaves.template为slaves,添加Worker节点的主机名或IP。
在Master节点上执行start-master.sh启动Master,可在浏览器中访问http://MasterIP:8080查看状态。若要启动Worker,可在Master或Worker节点上执行start-slaves.sh。
可通过访问Spark Web UI或使用spark-shell命令验证安装是否成功。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。