温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

MapReduce提交到Yarn上大体执行流程

发布时间:2020-07-16 04:41:36 来源:网络 阅读:677 作者:51zhangyanfeng 栏目:大数据

MapReduce提交到Yarn上大体执行流程

  1. 启动申请提交一个job(wordcount.jar和程序中的配置参数和数据切片规划文件)运行进程为runjar

  2. ResouceManager 会在一台节点NodeManager上先启动客户提交的wordcount.jar的主管进程MRAppMasster

  3. 由主管进程(MRAppMasster)根据启动规则启动mapTask任务(yarnChild进程).如果所有mapTask任务运行结束.MRAppMasster进程会启动Reduce Task任务(yarnChild进程)


向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI