温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Spark 实践 - 客户端使用spark-submit提交

发布时间:2020-05-23 04:22:58 来源:网络 阅读:299 作者:13157330443 栏目:大数据

一、客户端提交spark应用程序


        是指在spark集群之外的机器,提交spark应用程序到spark集群运行。


二、spark-submit提交程序语法


        使用spark-submit工具提交Spark应用程序的语法:



./bin/spark-submit \

  --class <main-class> \

  --master <master-url> \

  --deploy-mode <deploy-mode> \

  --conf <key>=<value> \

  ... # other options

  <application-jar> \

  [application-arguments]

--class 应用程序的入口类名;


--master spark 集群的url;


--deploy-mode 部署方式;


--conf 应用程序的sparkContext配置选项;


--application-jar 外部依赖;


--application-arguments 应用程序参数; 


三、在客户端使用spark-submit提交spark应用程序时需要注意的事项


        1)、客户端机器与spark集群必须互相知道,即相互ping得通;


        2)、如果应用程序中用到了本地文件,那么集群中的worker机器都必须有该文件,否则会报找不到文件;


        3)、windows客户端,如果应用程序中用到本地文件,那么无法提交到linux环境下的spark集群;


向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI