我想执行两个具体事件之间发生的不同事件的操作(例如聚合)。例如，用户点击按钮'A‘，点击按钮'B’后的一段时间，我想统计在这段时间内有多少事件(来自其他主题)已经到达。我在我的应用程序中面临的一般概念是，我的事件具有持续时间，它们不是在给定时间独立发生的单个事件。在这个例子中，点击按钮'A‘将是事件
浏览 29提问于2020-11-09得票数 0
在Flink中，我有一个带有键控事件流的Job (例如:每个键平均每天有10个事件)。它们被处理为基于事件时间的滑动窗口(例如:90天窗口大小和1天窗口滑动)。事件是从Kafka消费的，Kafka会持久化所有的事件历史(例如:最近3年)。 有时我想重新启动Flink:用于维护、bug处理等，或者使用已经包含事件历史的Ka
浏览 9提问于2019-06-05得票数 0
回答已采纳
1回答
我只是回顾了，以了解Google是如何处理水印的，它只是提到了非常模糊的内容：
我发现了一些东西，表明如果你的来源是谷歌PubSub，它已经有一个水印将被提取，但如果源是其他东西呢？例如，一个卡夫卡主题(我认为它本质上没有水印，所以我看不出像这样的东西会如何应用)。它是在最后几分钟确定最大滞后，如果是的话，有多少(肯定不会永远如此，因为这将被最初<em
浏览 6提问于2022-05-25得票数 0
1回答
我们有平均300万/分钟事件的kafka输入，高峰时间大约2000万/分钟的事件。检查点持续时间和两个检查点之间的最小停顿是3分钟，我使用的是FsStateBackend。以下是我的假设：
Flink从kafka消耗一些固定数量的事件(一次从多个分区获得多个偏移量)，并等待，直到它到达接收器，然后是检查点。在成功的情况下，它提
浏览 0提问于2020-03-12得票数 0
我开始探索使用变更数据捕获将遗留和商业应用程序(我不能修改)中的数据库变更转换为其他系统可以使用的事件。简化我的实际案例，假设将涉及两个表，一个是包含订单头详细信息的order，另一个是包含所请求的每个产品的详细信息的order_line。我目前的理解是，这两个表中的事件将发布到两个不同的kafka主题中，我应
浏览 2提问于2020-02-27得票数 1
anomaly.setValue(1.0); }但是，由于某种原因，SlidingEventTimeWindows不产生任何要由AnomalyDetector处理的输出例如，如果我使用TumblingEventTimeWindows，它就像预期的那样工作。
有什么原因吗？我是不是不正确地使用SlidingEventTimeWindows？
浏览 1提问于2021-06-16得票数 1
回答已采纳
1回答
我正在读取来自表示依赖实体的RestfulAPI的数据。例如，我从/students获得学生对象，从/teachers获得教师对象。学生被连接到教师对象(学生有教师Id)。问题是，我从/students到Kafka制作了学生话题，从/teachers到教师主题，但是当我试图用Kafka流连接他们之间时，有时学生事件发生在教师事件到来之前，因此我没有收到学生和教师的联合记录(由于早期到达的学生)。
浏览 0提问于2018-03-14得票数 1
1回答
我想知道是否有任何方法可以使用Kafka流、DSL或处理器API对窗口中的记录进行排序。特定用户的所有单击总是在同一个分区中，但顺序不受保护，因为最初的主题有10个分区。我理解Kafka流的窗口模型，当新记录出现时，时间会提前，但我需要这个窗口使用处理时间，而不是事件时间，然后当窗口过期时，我需要能够对缓冲事件进行排序，并按照这个顺序将它们发送到另一个主题。注意：
浏览 2提问于2018-03-13得票数 7
2回答
不触发翻转窗口(没有水印策略)
、、、、
问题陈述：流事件来自卡夫卡源。这些事件有效负载是字符串格式的。将它们解析为文档，并根据事件时间每5秒将它们插入DB。flink版本: 1.15.0
下面是我的主要方法的代码。我该怎么解决这个问题？KafkaConfig kafkaConfig = Utils.getAppConfig().getKafkaConfig();
浏览 6提问于2022-05-18得票数 0
我有一个光束作业，读取两个卡夫卡制作者的数据，并在两个流中使用公用键进行连接。我不使用kafka使用的分区键来进行连接。因此，从本质上说，kafka通过两个流中的某个键对数据进行分区，我的使用者/beam作业使用这两个流中的数据，并提取实际的键，我希望使用这个键将连接执行到pCollection中，然后运行coGroupByKey我看到几个事件都会发生连
浏览 7提问于2022-02-18得票数 0
回答已采纳
1回答
我在设计一个系统，需要：
使用使用kafka发布的事件，使用基于规则的引擎在卡夫卡上发布一些规则，当规则匹配时，在卡夫卡上发布一些事件。为了做一个简单的例子(真正的用例更复杂)：系统接收来自温度传感器的事件，它使用drools对这些事件应用一些规则--即带有阈值的决策表--然后它在kafka上发送一个建议，当温度超过阈值时，表示“关闭窗口对于我所理解的</
浏览 4提问于2022-05-03得票数 1
TL;DR:目前保证Flink中事件时间顺序的最佳解决方案是什么？
水印触发所有窗口的计算，其中最大时间戳(即结束时间戳- 1)小于新水印。因此，我准备了额外<em
浏览 4提问于2019-10-24得票数 2
回答已采纳
我的Kafka制作人每秒钟发送几条消息给一个有两个分区的主题。卡夫卡的信息被正确处理了，我看到了正确的计算和打印。但是在Spark中，在流部分中，它将每个窗口的事件数显示为Zero。请看这张图片：我很困惑，为什么它显示的是零，它不应该显示大量的卡夫卡信息被输入火花流？当我
浏览 1提问于2016-05-06得票数 3
这是一个相当普遍的问题。
我想设计一组类和接口，这样我就可以在消息传递系统之间进行交换，而不必更改代码，可能是在RabbitMq和Kafka之间。我主要关心的是如何抽象它们所处理的事件，因为这两个系统都需要事件处理程序，但是，当然，这两个系统上的事件处理程序是不同的。
浏览 0提问于2017-05-10得票数 -5
我正在尝试计算基于事件时间的来自Kafka主题的每分钟传入事件的速率。我使用的是1分钟的TumblingEventTimeWindows。下面给出了代码片段。我观察到，如果我没有接收到特定窗口的任何事件，例如从2.34到2.35，则上一个2.33到2.34的窗口不会接近。我理解2.33到2.34窗口丢失数据的风
浏览 202提问于2020-12-23得票数 0
我正在使用Kafka来处理日志事件。对于简单的连接器和流转换，我对Kafka和Kafka流有基本的知识。现在我有了一个具有以下结构的日志文件：日志事件有多个日志行，由event_id连接(例如邮件日志)。示例：1235 1 INFO11237 1 END示例：1234 2 S
浏览 3提问于2016-11-08得票数 2
回答已采纳
有一个Kafka流应用程序，它通过流连接执行窗口(使用原始事件时间，而不是挂钟时间)，例如1天。如果打开这个拓扑，并从一开始就重新处理数据(就像在lambda风格的体系结构中那样)，那么这个窗口会将旧数据保存在那里吗？例如:如果今天是2022-01-09，而我正在接收2021-03-01的数据，这个旧数据会进入表吗，还是会从一开始就被拒绝？
在这种情况下-可以采取什么策略来重新处理这些数据？使用Kafka Streams 2.5.0进行更新
浏览 6提问于2022-01-09得票数 0
我遇到了一些应用程序，他们说他们使用事件驱动架构在微服务(Kafka作为事件代理)和服务网格(LinkerD)之间进行通信。有几个问题我还没有找到答案：假设我们有ServiceA和ServiceB (都有
浏览 3提问于2022-03-07得票数 0
回答已采纳
1回答
Kafka流DSL窗口聚合导致多个窗口。我正期待着一个窗口在开始和30秒后，另一个窗口。但是实际的输出是不同的，因为开始时有两个窗口正在创建。30秒的希望窗口。我相信，最初应该只有一个窗口，30秒后，另一个窗口应该创建。注意:我每4秒获得一次输入数据，期望输出/
浏览 1提问于2019-11-20得票数 4
回答已采纳
我的理解是，创建是为了与Kafka客户端API交互，后来创建项目是为了“构建与共享消息传递系统相连接的高度可伸缩的事件驱动的微服务”，该项目包括两个绑定程序，其中一个是允许与Kafka交互的绑定器。spring-cloud-stream-binder-kafka-streams
因此，我很清楚，如果我想与Kafka交互，我将使用spring云流方法和适当的绑定器。需要以下两
浏览 3提问于2021-11-10得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
