温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Spark提供了哪些RDD

发布时间:2021-12-16 10:48:37 来源:亿速云 阅读:107 作者:iii 栏目:云计算

这篇文章主要介绍“Spark提供了哪些RDD”,在日常操作中,相信很多人在Spark提供了哪些RDD问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Spark提供了哪些RDD”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

深入RDD

RDD本身是一个抽象类,具有很多具体的实现子类:

Spark提供了哪些RDD

RDD都会基于Partition进行计算:

Spark提供了哪些RDD

默认的Partitioner如下所示:

Spark提供了哪些RDD

其中HashPartitioner的文档说明如下:

Spark提供了哪些RDD

另外一种常用的Partitioner是RangePartitioner:

Spark提供了哪些RDD

RDD在持久化的需要考虑内存策略:

Spark提供了哪些RDD

Spark提供很多StorageLevel可供选择:

Spark提供了哪些RDD

于此同时Spark提供了unpersistRDD:

Spark提供了哪些RDD

对RDD本身还有一个非常重要的CheckPoint操作:

Spark提供了哪些RDD

其中doCheckpoint的细节如下:

Spark提供了哪些RDD

以NewHadoopRDD为例,其内部的信息如下所示:

Spark提供了哪些RDD

以WholeTextFileRDD为例,其内部的信息如下所示:

Spark提供了哪些RDD

RDD在产生作业调用的时候,经典的过程如下所示:

Spark提供了哪些RDD

到此,关于“Spark提供了哪些RDD”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI