以下是在Linux平台安装Spark的攻略:
sudo apt install openjdk-8-jdk。sudo apt install python3。从Apache Spark官网下载预编译版本,如spark-3.5.2-bin-hadoop3.tgz,然后用tar -zvxf spark-3.5.2-bin-hadoop3.tgz -C /export/servers/解压到指定目录。
在~/.bashrc或/etc/profile中添加export SPARK_HOME=/export/servers/spark-3.5.2和export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin,然后执行source命令使配置生效。
在$SPARK_HOME/conf目录下,复制spark-env.sh.template为spark-env.sh,并设置JAVA_HOME、SPARK_MASTER_HOST等参数。复制workers.template为workers,添加所有Worker节点的主机名或IP。
在主节点上执行start-all.sh启动集群,可使用jps命令查看进程,也可在浏览器中访问http://主节点IP:8080查看Web UI界面。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。