刷刷题APP(shuashuati.com)是专业的大学生刷题搜题拍题答疑工具,刷刷题提供RDD的持久化操作有两种方法,分别是cache()方法和persist()方法。的答案解析,刷刷题为用户提供专业的考试题库练习。一分钟将考试题Word文档/Excel文档/PDF文档转化为在线题库,制作自己的电子错题
RDD的持久化操作有两种方法，分别是cache()方法和persist()方法。每一个持久化的RDD都可以使用不同的存...
1.1 Action操作 前边提到的first() 、collect() 都是Action操作。常用的有: collect():把数据返回驱动器程序中最简单、最常见的操作, 通常在单元测试中使用,数据量不能太大,因为放在内存中,数据量大会内存溢出。 reduce():类似sum() ,如:val sum = rdd.reduce((x, y) => x + y) ,结果同sum fold()...
RDD分为转换RDD和行动RDD两种,只有第一次遇到行动RDD时,系统才会运行所有的转换RDD操作,并归入行动RDD。 5.1.3 持久化 一般使用Persist方法将RDD或数据标记为持久化。 注意:是标记为持久化,而非立马计算为持久化。Persist是转换类型的API,遇到动作类型的操作时,才会真正持久化。 .persist(MEMORY_ONLY)只存进内存 ....
在进行RDD操作的时候,我们需要在接下来多个行动中重用同一个RDD,这个时候我们就可以将RDD缓存起来,可以很大程度的节省计算和程序运行时间。 接下来可以通过查看Spark的源码对比RDD.cache()与RDD.persist()的差别。 cache 与 persist 对比 首先从JavaRDD类中点进去看JavaRDD.cache()方法与JavaRDD.persist()方法: ...
下面分别对RDD、DataSet、DataFrame的使用方法进行介绍。 一.RDD 1.1 RDD操作类型 RDD操作主要分为两类:Transformations与Actions。官方将Transformations操作定义为从一个数据集中生成另一个数据集;将Actions操作定义为对数据集进行一系列计算以后返回给驱动程序一个值。可以看出数据转换(map)、合并(union)、过滤(filter)等...
RDD是一个容错的、只读的、可进行并行操作的数据结构,是一个分布在集群各个节点中的存放元素的集合。RDD的创建有3种不同的方法。 第一种是将程序中已存在的Seq集合(如集合、列表、数组)转换成RDD。 第二种是对已有RDD进行转换得到新的RDD,这两种方法都是通过内存中已有的集合创建RDD的。 第三种是直接读取外部...
1:如果你的RDD适合默认的存储级别(MEMORY_ONLY),就选择默认的存储级别。因为这是cpu利用率最高的选项,会使RDD上的操作尽可能的快。 2:如果不适合用默认的级别,选择MEMORY_ONLY_SER。选择一个更快的序列化库提高对象的空间使用率,但是仍能够相当快的访问。
3、以下操作中,哪些是行动(Action)操作。() A.collect() B.groupByKey() C.map() D.reduce() 正确答案:A、D 4、以下关于RDD的持久化的描述,正确的是()。 A.使用cache()方法时,会调用persist(MEMORY_ONLY) B.通过持久化(缓存)机制可以避免重复计算的开销 C.persist(MEMORY_ONLY):表示将RDD作为反序列化...