mapreduce的shuffle原理

三、MapReduce的shuffle工作过程

[TOC] 一、基本流程 1、流程 map端： 1)假设有两个map task并行运行。2）每个map task任务处理完成后，会通过收集器 collector，将输出结果存入一个环形缓冲区中。3）

作者：隔壁小白

2020-07-24 14:12:26