重用缓存的Spark RDD - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

Spark核心RDD、什么是RDD、RDD的属性、创建RDD、RDD的依赖以及缓存、

RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。...7：RDD的缓存：　　Spark速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存个数据集。...当持久化某个RDD后，每一个节点都将把计算的分片结果保存在内存中，并在对此RDD或衍生出的RDD进行的其他动作中重用。这使得后续的动作变得更加迅速。...RDD相关的持久化和缓存，是Spark最重要的特征之一。可以说，缓存是Spark构建迭代式算法和快速交互式查询的关键。　　...，并供后面重用。

1.9K10 0

【赵渝强老师】Spark RDD的缓存机制

Spark RDD通过persist方法或cache方法可以将计算结果的缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD才会被缓存在计算节点的内存中并供后面重用。...= persist()视频讲解如下：通过函数的定义发现，cache最终也是调用了persist方法，默认的存储级别都是仅在内存存储一份，Spark在object StorageLevel中定义了缓存的存储级别...可以通过使用RDD的检查点机制了保证缓存的容错，即使缓存丢失了也能保证计算的正确执行。下面是使用RDD缓存机制的一个示例。这里使用RDD读取一个大的文件，该文件中包含918843条记录。...通过Spark Web Console可以对比出在不使用缓存和使用缓存时，执行效率的差别。（1）读取一个大文件。...scala> rdd1.count（6）访问Spark的Web Console观察这三次count计算的执行时间，可以看成最后一次count计算只耗费了98ms，如下图所示。

4471 0

您找到你想要的搜索结果了吗？

是的

没有找到

Spark之【RDD编程】详细讲解(No6)——《RDD缓存与CheckPoint》

本篇博客是Spark之【RDD编程】系列第六篇，为大家介绍的是RDD缓存与CheckPoint。该系列内容十分丰富，高能预警，先赞后看! ?...---- 7.RDD缓存 RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中。...但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。 ?...缓存有可能丢失，或者存储于内存的数据由于内存不足而被删除，RDD的缓存容错机制保证了即使缓存丢失也能保证计算的正确执行。...，受益的小伙伴或对大数据技术感兴趣的朋友可以点赞关注博主哟~至此，Spark的【RDD编程】系列先告一段落。

1.1K2 0

spark RDD

RDD混合了这四种模型，使得Spark可以应用于各种大数据处理场景。定义：只读的，可分区的分布式数据集；数据集可全部或部分缓存在内存中，在一个App多次计算间重用， RDD是Spark的核心。...n份，每份数据对应到RDD中的一个Partition，Partition的数量决定了task的数量，影响着程序的并行度，所以理解Partition是了解spark背后运行原理的第一步。...上的数据时根据块的数量来划分分区数 Spark核心概念 – 宽依赖和窄依赖 RDD父子依赖关系：窄（ Narrow）依赖和宽（ Wide）依赖。...窄依赖:指父RDD的每一个分区最多被一个子RDD的分区所用。宽依赖:指子RDD的分区依赖于父RDD的所有分区。...在Spark中有两类task，一类是shuffleMapTask，一类是resultTask，第一类task的输出是shuffle所需数据，第二类task的输出是result，stage的划分也以此为依据

1K1 0

Spark——RDD

RDD在逻辑上是一个数据集，在物理上则可以分块分布在不同的机器上并发运行。RDD允许用户在执行多个查询时显示的将工作缓存在内存中，后续的查询能够重用工作集，这极大的提升了查询速度。...在Spark 中，对数据的所有操作不外乎创建RDD,转换已有RDD以及调用RDD操作进行求值，每个RDD都被分为多个分区，这些分区运行在集群的不同节点上，RDD可以包含Python,Java,Scala...RDD是Spark的核心，也是整个Spark的架构基础。...image.png Spark采用惰性计算模式，RDD只有第一次在一个行动操作中得到时，才会真正计算，spark可以优化整个计算过程，默认情况下，spark的RDD会在每次他们进行行动操作是重新计算。...如果需要多个行动中重用一个RDD,可以使用RDD.persist()让Spark把这个RDD缓存下来。 ? image.png ?

1.2K4 1

Spark RDD的Shuffle

Shuffle的概念来自Hadoop的MapReduce计算过程。当对一个RDD的某个分区进行操作而无法精确知道依赖前一个RDD的哪个分区时，依赖关系变成了依赖前一个RDD的所有分区。...比如，几乎所有类型的RDD操作，都涉及按key对RDD成员进行重组，将具有相同key但分布在不同节点上的成员聚合到一个节点上，以便对它们的value进行操作。...这个重组的过程就是Shuffle操作。因为Shuffle操作会涉及数据的传输，所以成本特别高，而且过程复杂。下面以reduceByKey为例来介绍。...在进行reduce操作之前，单词“Spark”可能分布在不同的机器节点上，此时需要先把它们汇聚到一个节点上，这个汇聚的过程就是Shuffle，下图所示。 ...因为Shuffle操作的结果其实是一次调度的Stage的结果，而一次Stage包含许多Task，缓存下来还是很划算的。Shuffle使用的本地磁盘目录由spark.local.dir属性项指定。

9483 0

Spark RDD

弹性分布式数据集（RDD）不仅仅是一组不可变的JVM(Java虚拟机) 对象的分布集，可以让你执行高速运算，而且是Apark Spark的核心。顾名思义，该数据集是分布式的。...另外，RDD将跟踪（记入日志）应用于每个块的所有转换，以加快计算速度，并在发生错误和部分数据丢失时提供回退。在这种情况下，RDD可以重新计算数据。...该数据日志是另外一种抵御数据丢失的防线并且有助于数据复制。 RDD并行操作 Spark工作原理的最大优势是：每个转化并行执行，从而大大提高速度。...数据集转化通常是惰性的，这就意味着任何转换仅在调用数据集上的操作才执行，这有助于Spark优化执行。

7323 0

Spark RDD的Action

RDD的Action是相对Transformation的另一种操作。...Transformation代表计算的中间过程，从一个RDD生成新的RDD；而Action代表计算的结束，一次Action调用之后，不再生成新的RDD，结果返回到Driver程序。...鉴于Action具有这样的特点，所以Action操作是不可以在RDD Transformation内部调用的。...比如，下面的调用是不允许的： rdd1.map(x => rdd2.values.count() * x) Transformation只是建立计算关系，而Action才是实际的执行者。...比如在count的实现中，先提交Job去集群上运行，返回结果到Driver程序，然后调用sum方法获取数量： /** * 返回RDD中的元素数RDD */ def count(): Long = sc.runJob

1K6 0

Spark RDD的Transformation

RDD的Transformation是指由一个RDD生成新RDD的过程，比如前面使用的flatMap、map、filter操作都返回一个新的RDD对象，类型是MapPartitionsRDD，它是RDD...RDD Transformation生成的RDD对象的依赖关系除了RDD创建过程会生成新的RDD外，RDD Transformation也会生成新的RDD，并且设置与前一个RDD的依赖关系。...： private[spark] class MapPartitionsRDD[U: ClassTag, T: ClassTag]( prev: RDD[T], f: (TaskContext...在Spark中，RDD是有依赖关系的，这种依赖关系有两种类型。窄依赖。依赖上级RDD的部分分区。 Shuffle依赖。依赖上级RDD的所有分区。对应类的关系如下图所示。...如果依赖链条太长，那么通过计算来恢复的代价就太大了。所以，Spark又提供了一种叫检查点的机制。对于依赖链条太长的计算，对中间结果存一份快照，这样就不需要从头开始计算了。

7524 0

spark——spark中常说RDD，究竟RDD是什么？

今天是spark专题第二篇文章，我们来看spark非常重要的一个概念——RDD。在上一讲当中我们在本地安装好了spark，虽然我们只有local一个集群，但是仍然不妨碍我们进行实验。...spark最大的特点就是无论集群的资源如何，进行计算的代码都是一样的，spark会自动为我们做分布式调度工作。 RDD概念介绍spark离不开RDD，RDD是其中很重要的一个部分。...创建RDD spark中提供了两种方式来创建RDD，一种是读取外部的数据集，另一种是将一个已经存储在内存当中的集合进行并行化。...顾名思义，执行转化操作的时候，spark会将一个RDD转化成另一个RDD。RDD中会将我们这次转化的内容记录下来，但是不会进行运算。所以我们得到的仍然是一个RDD而不是执行的结果。...会将两个RDD的结果组合在一起，如果我们执行完上述代码之后，spark会记录下这些RDD的依赖信息，我们把这个依赖信息画出来，就成了一张依赖图： ?

1.1K0 0

Spark RDD 基础

[图片摘自[Spark 官网](http://spark.apache.org/)] RDD 全称 Resilient Distributed Datasets，是 Spark 中的抽象数据结构类型，...任何数据在Spark中都被表示为RDD。...简单的理解就是 RDD 就是一个数据结构，不过这个数据结构中的数据是分布式存储的，Spark 中封装了对 RDD 的各种操作，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。...RDD 特性 RDD 是 Spark 的核心，也是整个 Spark 的架构基础。...创建 RDD 本文中的例子全部基于 Spark-shell，需要的请自行安装。

1.1K1 0

Spark RDD详解

RDD是一个很抽象的概念，不易于理解，但是要想学好Spark，必须要掌握RDD，熟悉它的编程模型，这是学习Spark其他组件的基础。...简单而言就是它会记录哪些RDD是怎么产生的、怎么“丢失”的等，然后Spark会根据lineage记录的信息，恢复丢失的数据子集，这也是保证Spark RDD弹性的关键点之一 Spark缓存和checkpoint...缓存(cache/persist) cache和persist其实是RDD的两个API，并且cache底层调用的就是persist，区别之一就在于cache不能显示指定缓存方式，只能缓存在内存中，...通过RDD的缓存，后续可以对此RDD或者是基于此RDD衍生出的其他的RDD处理中重用这些缓存的数据集 2....，不仅适用于Spark RDD还适用于Spark sql等组件） 2） cache只是缓存数据，但不改变lineage。

1.3K3 0

Spark RDD详解

RDD是一个很抽象的概念，不易于理解，但是要想学好Spark，必须要掌握RDD，熟悉它的编程模型，这是学习Spark其他组件的基础。...简单而言就是它会记录哪些RDD是怎么产生的、怎么“丢失”的等，然后Spark会根据lineage记录的信息，恢复丢失的数据子集，这也是保证Spark RDD弹性的关键点之一 Spark缓存和checkpoint...缓存(cache/persist) cache和persist其实是RDD的两个API，并且cache底层调用的就是persist，区别之一就在于cache不能显示指定缓存方式，只能缓存在内存中...通过RDD的缓存，后续可以对此RDD或者是基于此RDD衍生出的其他的RDD处理中重用这些缓存的数据集容错(checkpoint) 本质上是将RDD写入磁盘做检查点(通常是checkpoint到...RDD还适用于Spark sql等组件） cache只是缓存数据，但不改变lineage。

1.1K2 0

Spark RDD篇

RDD的Transformation,会生成一个新的RDD. 1之前已经有过介绍，见提交第一个Spark统计文件单词数程序，配合hadoop hdfs 2 Spark context Web UI available...(_ % 2 == 0) //过滤出偶数的集合生成一个新的RDD rdd3: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[2] at filter...(List(("tom",1),("jerry",2),("kitty",3))) //创建一个对偶元组的List的RDD rdd8: org.apache.spark.rdd.RDD[(String...("b","d") //以对偶数组的Key为过滤条件，只取"b"到"d"的范围的元组 rdd1: org.apache.spark.rdd.RDD[(String, Int)] = MapPartitionsRDD...，形成一个新的RDD的rdd1 rdd1: org.apache.spark.rdd.RDD[(Int, String)] = MapPartitionsRDD[15] at map at <console

1.4K1 0

Spark中的RDD介绍

，Spark大咖们在写这部分给了特别多的文字。...后面部分告诉我们是RDD是spark中的抽象，代表一组不可变的，分区存储的，而且还可以被并行操作计算的集合。 ?...spark认为内存中的计算是快速的，所以当作业失败的时候，我们只需要从源头rdd再计算一次就可以得到整目标rdd，为了实现这个，我们需要追溯rdd血缘信息，所以每个rdd都保留了依赖的信息。...最后一段注释其实是说spark调度的时候是基于这些rdd实现的方法去调度的，更具体一点就是spark调度的时候会帮我们划分stage和生成调度Graph，有需要的话也可以自己去实现rdd的。...Spark上面注释很详细，很值得对揣摩几次的。

1.1K1 0

了解Spark中的RDD

RDD设计背景 RDD被设计用来减少IO出现的，提供了一中抽象的数据结构，不用担心的底层数据的分布式特性。只需将具体的应用逻辑将一些列转换进行处理。不同的RDD之间的转换操作形成依实现管道话。...RDD提供的是一种高度受限的共享内存模型，既RDD是只读的记录分区的集合，不能直接修改，只能给予文档sing的物理存储中的数据来创建RDD，或者是从其他RDD操作上执行转换操作得到新的RDD。...这两种区别：正如我们上面所说Spark 有高效的容错性，正式由于这种依赖关系所形成的,通过血缘图我们可以获取足够的信息来重新进行计算和恢复丢失数据分区的数据，提高性能。...但是Spark还提供了数据检查节点和记录日志，用于持久化数据RDD，减少追寻数据到最开始的RDD中。阶段进行划分 1....Spark在运行过程中，是分析各个阶段的RDD形成DAG操作，在通过分析各个RDD之间的依赖关系来决定如何划分阶段。

1.2K5 0

spark rdd的另类解读

1 Spark的RDD 提到Spark必说RDD，RDD是Spark的核心，如果没有对RDD的深入理解，是很难写好spark程序的，但是网上对RDD的解释一般都属于人云亦云、鹦鹉学舌，基本都没有加入自己的理解...本文基于Spark原创作者的论文，对Spark的核心概念RDD做一个初步的探讨，希望能帮助初学的球友们快速入门。...spark源码中RDD是个表示数据的基类，在这个基类之上衍生了很多的子RDD，不同的子RDD具有不同的功能，但是他们都要具备的能力就是能够被切分(partition)，比如从HDFS读取数据，那么会有hadoopRDD...这需要结合两个概念来理解，第一是spark中RDD 的transform操作，另一个是spark中得pipeline。首先看RDD的transform，来看论文中的一个transform图： ?...一个RDD的血统，就是如上图那样的一系列处理逻辑，spark会为每个RDD记录其血统，借用范伟的经典小品的桥段，spark知道每个RDD的子集是”怎么没的“（变形变没的）以及这个子集是 ”怎么来的“（变形变来的

9382 0

Spark——RDD转换操作

概述每一次转换操作都会产生不同的RDD,供给下一个操作使用。...惰性机制 RDD的转换过程是惰性求值的，也就是，整个转换过程只记录轨迹，并不会发生真正的计算，只有遇到了行动操作时，才会触发真正的计算。...filter(func) 过滤出满足函数func的元素，并返回存入一个新的数据集 val conf = new SparkConf().setAppName("spark").setMaster...collect()以数组的形式返回rdd的结果，但列表中每个数乘以2 val conf = new SparkConf().setAppName("spark").setMaster("local...，就要按照LRU原则替换缓存中的内容。

1.4K3 0

Spark源码解析：RDD

0x00 前言本篇是Spark源码解析的第一篇，主要通过源码分析Spark设计中最重要的一个概念——RDD。...这里，我们是不是就可以理解，Hadoop中的一个分片，就对应到Spark中的一个Partition。...private[spark] class MapPartitionsRDD[U: ClassTag, T: ClassTag]( var prev: RDD[T], f: (TaskContext.../** Returns the first parent RDD */ protected[spark] def firstParent[U: ClassTag]: RDD[U] = { dependencies.head.rdd.asInstanceOf...://www.infoq.com/cn/articles/spark-core-rdd/ http://bit1129.iteye.com/blog/2178322

3.1K5 0

Spark RDD -> Stage Task

Spark 学习初期RDD分为两种: Transformation 转换算子, Action 动作算子Transformation: 在现有的数据集上创建一个新的数据集....是由哪些Parent RDD(s)转换而来, 以及它的parent RDD(s)有哪些partitions ,DAG可以认为RDD之间有了血缘关系(Lineage)根据依赖关系,将DAG划分为不同得Stage....对于窄依赖, 由于Partition依赖关系的确定性, Partition的转换处理就可以来同一个线程内完成,所以窄依赖被Spark划分到同一个Stage内执行;对于宽依赖,由于Shuffle的存在,...只能在partition RDD(s) Shuffle处理完成之后,才能开始接下来的计算,所以宽依赖就是Spark划分Stage的依据,(Spark根据宽依赖将DAG划分为不同的Stage)在一个Stage...内部,每个Partitition都会被分配一个Task, Task之间支并行执行的.Stage 之间根据依赖关系就变成了一个大力度的DAG,这个DAG的执行顺序也是从前向后的.Stage只有在它没有Parent

5296 1

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭