在写给kafka的spark streaming中感到困惑 - 腾讯云开发者社区

文章/答案/技术大牛

发布

Spark Tips 2: 在Spark Streaming中均匀分配从Kafka directStream 中读出的数据

下面这段code用于在Spark Streaming job中读取Kafka的message： .........以上代码虽然可以正常运行，不过却出现了一个问题：当message size非常大（比如10MB/message）的时候，spark端的处理速度非常缓慢，在3brokers的Kafka + 32 nodes...的spark上运行时（本job的executorinstance # =16， 1 core/instance），基本上在的速度。...因为Kafka配置中的default partition number只有2个，在创建topic的时候，没有制定专门的partitionnumber，所以采用了defaultpartition number...在Kafka0.8.1.1（我们采用的Kafka版本）中，其代码如下： package kafka.producer import kafka.utils._ class DefaultPartitioner

2.1K7 0

Spark Tips3: 在Spark Streaming job中读取Kafka messages及其offsetRange

在Spark Streaming job中读取Kafka topic(s)中的messages时，有时我们会需要同步记录下每次读取的messages的offsetRange。...要达到这一目的，下面这两段代码（代码1和代码2）都是正确的，而且是等价的。...writeOffsetToZookeeper(zkClient, zkPathRoot, offsets); } return null; } }); 但是要注意，下面这两段代码（代码3和代码4）是错误的，...它们都会抛出一个exception：java.lang.ClassCastException: org.apache.spark.rdd.MapPartitionsRDD cannot be cast...to org.apache.spark.streaming.kafka.HasOffsetRanges 代码3（错误）： ----------------------- JavaPairInputDStream

1.8K12 0

您找到你想要的搜索结果了吗？

是的

没有找到

Spark Tips4: Kafka的Consumer Group及其在Spark Streaming中的“异动”(更新)

使用Kafka的High Level Consumer API (kafka.javaapi.consumer.ConsumerConnector 的createMessageStreams）的确是像文档中说的...这是因为在Kafka，message 在consumer instance之间被分发的最小单位是partition。...但是，当Spark Streaming Job使用KafkaUtils.createDirectStream()读取topic的时候，多个同一group id的job，却每个都能consume到全部message...在Spark中要想基于相同code的多个job在使用相同group id 读取一个topic时不重复读取，分别获得补充和的子集，需要用以下code： Map topicMap...return null; } }); createStream()使用了Kafka的high level API，在读取message的过程中将offset存储在了zookeeper中。

1.4K16 0

Flink与Spark Streaming在与kafka结合的区别！

当然，单纯的介绍flink与kafka的结合呢，比较单调，也没有可对比性，所以的准备顺便帮大家简单回顾一下Spark Streaming与kafka的结合。...kafka kafka作为一个消息队列，在企业中主要用于缓存数据，当然，也有人用kafka做存储系统，比如存最近七天的数据。...spark Streaming结合kafka Spark Streaming现在在企业中流处理也是用的比较广泛，但是大家都知道其不是真正的实时处理，而是微批处理。...在spark 1.3以前，SPark Streaming与kafka的结合是基于Receiver方式，顾名思义，我们要启动1+个Receiver去从kafka里面拉去数据，拉去的数据会每隔200ms生成一个...还有一点，spark Streaming与kafka的结合是不会发现kafka动态增加的topic或者partition。 Spark的详细教程，请关注浪尖公众号，查看历史推文。

2K3 1

【容错篇】WAL在Spark Streaming中的应用【容错篇】WAL在Spark Streaming中的应用

【容错篇】WAL在Spark Streaming中的应用 WAL 即 write ahead log（预写日志），是在 1.2 版本中就添加的特性。...何时写BlockAdditionEvent 在揭开Spark Streaming神秘面纱② - ReceiverTracker 与数据导入一文中，已经介绍过当 Receiver 接收到数据后会调用...在揭开Spark Streaming神秘面纱③ - 动态生成 job一文中介绍了 JobGenerator 每隔 batch duration 就会为这个 batch 生成对应的 jobs。...上图描述了以上两个时机下，是如何：将 batch cleanup 事件写入 WAL 中清理过期的 blocks 及 batches 的元数据清理过期的 blocks 数据（只有当将 spark.streaming.receiver.writeAheadLog.enable...设置为 true才会执行这一步） WAL 在 executor 端的应用 Receiver 接收到的数据会源源不断的传递给 ReceiverSupervisor，是否启用 WAL 机制（即是否将 spark.streaming.receiver.writeAheadLog.enable

1.5K3 0

Spark Streaming 与 Kafka 整合的改进

Apache Kafka 正在迅速成为最受欢迎的开源流处理平台之一。我们在 Spark Streaming 中也看到了同样的趋势。...因此，在 Apache Spark 1.3 中，我们专注于对 Spark Streaming 与 Kafka 集成进行重大改进。...Direct API Spark Streaming 自成立以来一直支持 Kafka，Spark Streaming 与 Kafka 在生产环境中的很多地方一起使用。...请注意，Spark Streaming 可以在失败以后重新读取和处理来自 Kafka 的流片段以从故障中恢复。...Python 中的Kafka API 在 Spark 1.2 中，添加了 Spark Streaming 的基本 Python API，因此开发人员可以使用 Python 编写分布式流处理应用程序。

1K2 0

Spark Streaming 项目实战 (2) | 从 Kafka中消费数据

编写App, 从 kafka 读取数据新建一个Maven项目:spark-streaming-project 在依赖选择上spark-streaming-kafka此次选用0-10_2.11而非...0-08_2.11 org.apache.spark spark-streaming-kafka...{DStream, InputDStream} import org.apache.spark.streaming.kafka010.KafkaUtils import org.apache.spark.streaming...{Seconds, StreamingContext} import org.apache.spark.streaming.kafka010.LocationStrategies.PreferConsistent...import org.apache.spark.streaming.kafka010.ConsumerStrategies.Subscribe import org.apache.spark.streaming.kafka010

1.2K1 1

关于Spark Streaming感知kafka动态分区的问题

本文主要是讲解Spark Streaming与kafka结合的新增分区检测的问题。...读本文前关于kafka与Spark Streaming结合问题请参考下面两篇文章： 1，必读：再讲Spark与kafka 0.8.2.1+整合 2，必读：Spark与kafka010整合读本文前是需要了解...kafka 0.8版本进入正题，之所以会有今天题目的疑惑，是由于在08版本kafka和Spark Streaming结合的DirectStream这种形式的API里面，是不支持kafka新增分区或者topic...新增加的分区会有生产者往里面写数据，而Spark Streaming跟kafka 0.8版本结合的API是满足不了动态发现kafka新增topic或者分区的需求的。这么说有什么依据吗？...#compute方法中。

9614 0

Kafka+Spark Streaming管理offset的几种方法

By 大数据技术与架构场景描述：Kafka配合Spark Streaming是大数据领域常见的黄金搭档之一，主要是用于数据实时入库或分析。...关键词：offset Spark Streaming Kafka+Spark Streaming主要用于实时流处理。到目前为止，在大数据领域中是一种非常常见的架构。...示例 Kafka自身管理offset：在Kafka 0.10+版本中，offset的默认存储由ZooKeeper移动到了一个自带的topic中，名为__consumer_offsets。...在这个方案中，Spark Streaming任务在启动时会去Zookeeper中读取每个分区的offsets。如果有新的分区出现，那么他的offset将会设置在最开始的位置。...需要注意的点特别需要注意，在转换过程中不能破坏RDD分区与Kafka分区之间的映射关系。

5782 0

Kafka+Spark Streaming管理offset的几种方法

2.6K3 2

Spark Streaming消费Kafka数据的两种方案

Spark Streaming 读取 Kafka 数据 Spark Streaming 与 Kafka 集成接收数据的方式有两种： Receiver-based Approach Direct Approach...中（WAL 日志可以存储在 HDFS 上），所以在失败的时候，我们可以从 WAL 中恢复，而不至于丢失数据。...使用方式：（1）导入 Kafka 的 Spark Streaming 整合包 ? （2）创建 DStream ? ?...唯一的区别是数据在 Kafka 里而不是事先被放到 Spark 内存里。...相应的，spark.streaming.backpressure.enabled 参数在 Direct Approach 中也是继续有效的。

4K4 2

揭开Spark Streaming神秘面纱⑥ - Spark Streaming结合 Kafka 两种不同的数据接收方式比较

DirectKafkaInputDStream 只在 driver 端接收数据，所以继承了 InputDStream，是没有 receivers 的 ---- 在结合 Spark Streaming 及...我们在文章揭开Spark Streaming神秘面纱② - ReceiverTracker 与数据导入分析过继承ReceiverInputDStream的类需要重载 getReceiver 函数以提供用于接收数据的...揭开Spark Streaming神秘面纱②-ReceiverTracker 与数据导入一文中详细地介绍了 receiver 是如何被分发启动的 receiver 接受数据后数据的流转过程并在揭开...Spark Streaming神秘面纱③ - 动态生成 job 一文中详细介绍了 receiver 接受的数据存储为 block 后，如何将 blocks 作为 RDD 的输入数据动态生成 job 以上两篇文章并没有具体介绍...KafkaUtils#createDirectStream 在揭开Spark Streaming神秘面纱③ - 动态生成 job中，介绍了在生成每个 batch 的过程中，会去取这个 batch 对应的

9471 0

如何管理Spark Streaming消费Kafka的偏移量（一）

最近工作有点忙，所以更新文章频率低了点，在这里给大家说声抱歉，前面已经写过在spark streaming中管理offset，但当时只知道怎么用，并不是很了解为何要那样用，最近一段时间又抽空看了一个github...本篇我们先从理论的角度聊聊在Spark Streaming集成Kafka时的offset状态如何管理。...spark streaming 版本 2.1 kafka 版本0.9.0.0 在这之前，先重述下spark streaming里面管理偏移量的策略，默认的spark streaming它自带管理的offset...所以比较通用的解决办法就是自己写代码管理spark streaming集成kafka时的offset，自己写代码管理offset，其实就是把每批次offset存储到一个外部的存储系统里面包括（Hbase...场景三：对正在运行的一个spark streaming+kafka的流式项目，我们在程序运行期间增加了kafka的分区个数，请注意：这个时候新增的分区是不能被正在运行的流式项目感应到的，如果想要程序能够识别新增的分区

1.9K7 0

如何管理Spark Streaming消费Kafka的偏移量（三）

前面的文章已经介绍了在spark streaming集成kafka时，如何处理其偏移量的问题，由于spark streaming自带的checkpoint弊端非常明显，所以一些对数据一致性要求比较高的项目里面...在spark streaming1.3之后的版本支持direct kafka stream，这种策略更加完善，放弃了原来使用Kafka的高级API自动保存数据的偏移量，之后的版本采用Simple API...本篇文章，会再介绍下，如何手动管理kafka的offset，并给出具体的代码加以分析：版本： apache spark streaming2.1 apache kafka 0.9.0.0 手动管理offset...例子已经上传到github中，有兴趣的同学可以参考这个链接： https://github.com/qindongliang/streaming-offset-to-zk 后续文章会聊一下为了升级应用如何优雅的关闭的流程序...，以及在kafka扩展分区时，上面的程序如何自动兼容。

1.4K6 0

如何管理Spark Streaming消费Kafka的偏移量（二）

上篇文章，讨论了在spark streaming中管理消费kafka的偏移量的方式，本篇就接着聊聊上次说升级失败的案例。...事情发生一个月前，由于当时我们想提高spark streaming程序的并行处理性能，于是需要增加kafka分区个数，，这里需要说下，在新版本spark streaming和kafka的集成中，按照官网的建议...spark streaming的executors的数量要和kafka的partition的个数保持相等，这样每一个executor处理一个kafka partition的数据，效率是最高的。...那么问题来了，如果想要提高spark streaming的并行处理性能，只能增加kafka的分区了，给kafka增加分区比较容易，直接执行一个命令即可，不过这里需要注意，kafka的分区只能增加不能减少...接下来我们便增加了kafka分区的数量，同时修改了spark streaming的executors的个数和kafka的分区个数一一对应，然后就启动了流程序，结果出现了比较诡异的问题，表现如下：造几条测试数据打入

1.4K4 0

Spark Streaming 项目实战(1) | 生成随机数据并写入到Kafka中

本实战项目使用 Structured Streaming 来实时的分析处理用户对广告点击的行为数据. 一. 数据生成方式使用代码的方式持续的生成数据, 然后写入到 kafka 中. ...然后Structured Streaming 负责从 kafka 消费数据, 并对数据根据需求进行分析. 二....创建 Topic 在 kafka 中创建topic: ads_log0814 [bigdata@hadoop002 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server...产生循环不断的数据到指定的 topic 创建模块spark-realtime模块 1....先看一下随机生成的数据 // 这时候需要注释MockRealtimeData中的这两行代码 ? ? 4. 确认 kafka 中数据是否生成成功 ? 本次的分享就到这里了

3.3K2 1

flink和spark Streaming中的Back Pressure

Spark Streaming的back pressure 在讲flink的back pressure之前，我们先讲讲Spark Streaming的back pressure。...Spark Streaming的back pressure是从spark 1.5以后引入的，在之前呢，只能通过限制最大消费速度（这个要人为压测预估），对于基于Receiver 形式，我们可以通过配置 spark.streaming.receiver.maxRate...参数来限制每次作业中每个 Kafka 分区最多读取的记录条数。...栗子在flink的webui 的job界面中可以看到背压。正在进行的采样这意味着JobManager对正在运行的tasks触发stack trace采样。默认配置，这将会花费五秒钟完成。...对比 Spark Streaming的背压比较简单，主要是根据后端task的执行情况，调度时间等，来使用pid控制器计算一个最大offset，进而来调整Spark Streaming从kafka拉去数据的速度

2.6K2 0

【赵渝强老师】Spark Streaming中的DStream

要开发Spark Streaming应用程序，核心是通过StreamingContext创建DStream。因此DStream对象就是Spark Streaming中最核心的对象。...DStream的全称是Discretized Stream，翻译成中文是离散流。它是Spark Streaming对流式数据的基本数据抽象，或者说是Spark Streaming的数据模型。...DStream的核心是通过时间的采用间隔将连续的数据流转换成是一系列不连续的RDD，在由Transformation进行转换，从而达到处理流式数据的目的。...通过上图中可以看出DStream的表现形式其实就是RDD，因此操作DStream和操作RDD的本质其实是一样的。...由于DStream是由一系列离散的RDD组成，因此Spark Streaming的其实是一个小批的处理模型，本质上依然还是一个批处理的离线计算。

2601 0

Spark中的Spark Streaming是什么？请解释其作用和用途。

Spark中的Spark Streaming是什么？请解释其作用和用途。 Spark Streaming是Apache Spark中的一个组件，用于处理实时数据流。...它提供了高级别的API，可以以类似于批处理的方式处理连续的数据流。Spark Streaming可以接收来自多个数据源（如Kafka、Flume、HDFS等）的数据流，并对数据进行实时处理和分析。...通过实时处理数据流，可以及时发现和响应数据中的异常情况，提供实时的监控和预警。...在数据流处理过程中，Spark Streaming会将数据流分成小的批次，并在每个批次完成后进行检查点操作，以确保数据的可靠性和一致性。...import org.apache.spark.streaming.api.java.JavaStreamingContext; import org.apache.spark.streaming.kafka010

7571 0

Spark2Streaming读Kerberos环境的Kafka并写数据到Hive

的示例如《Spark2Streaming读Kerberos环境的Kafka并写数据到HBase》和《Spark2Streaming读Kerberos环境的Kafka并写数据到Kudu》，本篇文章Fayson...环境中Spark2Streaming应用实时读取Kafka数据，解析后存入Hive * 使用spark2-submit的方式提交作业 * spark2-submit --class com.cloudera.streaming.Kafka2Spark2Hive...Spark2的UI界面 ? 2.运行脚本向Kafka的Kafka_kudu_topic生产消息 ? 3.登录Hue在Hive中执行Select查询user_info表中数据 ?...2.同样在scala代码中访问Kafka是也一样需要添加Kerberos相关的配置security.protocol和sasl.kerberos.service.name参数。...3.Spark2默认的kafka版本为0.9需要通过CM将默认的Kafka版本修改为0.10 4.在文章中将接收到的Kafka数据转换成DataFrame，调用DataFrame的saveAsTable

3.9K4 0

点击加载更多

Spark Tips 2: 在Spark Streaming中均匀分配从Kafka directStream 中读出的数据

Spark Tips3: 在Spark Streaming job中读取Kafka messages及其offsetRange

Spark Tips4: Kafka的Consumer Group及其在Spark Streaming中的“异动”(更新)

Flink与Spark Streaming在与kafka结合的区别！

【容错篇】WAL在Spark Streaming中的应用【容错篇】WAL在Spark Streaming中的应用

Spark Streaming 与 Kafka 整合的改进

Spark Streaming 项目实战 (2) | 从 Kafka中消费数据

关于Spark Streaming感知kafka动态分区的问题

Kafka+Spark Streaming管理offset的几种方法

Kafka+Spark Streaming管理offset的几种方法

Spark Streaming消费Kafka数据的两种方案

揭开Spark Streaming神秘面纱⑥ - Spark Streaming结合 Kafka 两种不同的数据接收方式比较

如何管理Spark Streaming消费Kafka的偏移量（一）

如何管理Spark Streaming消费Kafka的偏移量（三）

如何管理Spark Streaming消费Kafka的偏移量（二）

Spark Streaming 项目实战(1) | 生成随机数据并写入到Kafka中

flink和spark Streaming中的Back Pressure

【赵渝强老师】Spark Streaming中的DStream

Spark中的Spark Streaming是什么？请解释其作用和用途。

Spark2Streaming读Kerberos环境的Kafka并写数据到Hive

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐