1回答
我是新的Flink，需要帮助的方法。我有时间粒度为5分钟的事件流。我想通过调用rest API来获取事件的元数据，其中包含最近1小时数据点的历史事件，即最近12个点(5分钟时间粒度)。例如，事件的时间戳为10:00、10:05、10:10、10:15等，因此如果我想获取时间戳为11:00的事件
浏览 16提问于2019-04-10得票数 0
在Flink中，我有一个带有键控事件流的Job (例如:每个键平均每天有10个事件)。它们被处理为基于事件时间的滑动窗口(例如:90天窗口大小和1天窗口滑动)。事件是从Kafka消费的，Kafka会持久化所有的事件历史(例如:最近3年)。 有时我想重新启动Flink:用于维护、bug处理等，或
浏览 9提问于2019-06-05得票数 0
回答已采纳
我们用Flink监控每个事件。详细情况是，当事件到达时，flink将在最后2小时内找到所有具有相同userid的事件，并将计数字段之和。中实现这样的场景呢？从直觉上讲，我们希望使用滑动窗口，但是有两个问题：
在flink中，通过参数slide_size滑动窗口幻灯片。但是，在我们的场景中，每个事件<
浏览 0提问于2018-03-14得票数 1
在许多旧版本的Flink代码中，我看到一行定义了一些时间特性的代码，如：env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
然而，对文档进行更多的研究表明，这是不可取的。
浏览 12提问于2022-02-02得票数 0
回答已采纳
我有三个流A，B和C，我应该加入到一个单一的流，让我们称之为ABC，并做一些操作。我目前的实现是使用大小为X的滚动窗口将流A和B连接到AB中，然后使用大小为X的滑动窗口和幻灯片Y将A
浏览 2提问于2019-12-31得票数 0
回答已采纳
1回答
如何控制Flink检查点的大小
、、、、
我正在运行一个简单的Flink聚合作业，它从Kafka消耗，并应用多个窗口(1小时、2小时hr...upto )和特定的滑动间隔，并在窗口上进行聚合。有时工作会重新启动，当它从最新的Kafka数据中启动窗口时，我们就会丢失数据。为了克服这一问题，我们启用了检查点，并且我看到检查点的大小正在增加( HashMapStateBackend具有Hdfs存储)。对于一个永久运行的Flink
浏览 10提问于2022-11-03得票数 0
如何使用Apache flink中的摄取时间特征。我知道我们需要设置环境时间特征。但是我如何收集带有时间戳的数据，这些时间戳可以称为摄取时间。目前我使用它时，它是根据系统时钟时间来处理窗口的。我想根据数据进入flink环境的时间进行处理。一小段代码摘录可能有助于更清楚地理解它：
环境的时间特征
浏览 0提问于2018-08-28得票数 0
2回答
我有我的闪光作业的checkpointing设置，它有2个滑动窗口(这些不是连接)和1个翻滚窗口连接。我的想法是，我并不真的需要保存join本身的状态，因为保存2滑动窗口本身的状态就足够了。Join最终成为20-30 to的状态，导致作业延迟和崩溃，并且检查点永远不会保存。public class CustomJoin impl
浏览 2提问于2019-04-23得票数 0
这些是我对客户主题的kafka流的输入{"id": 2,"name": "Swati" }{"id": 5,"address": "Pimp
浏览 17提问于2020-05-15得票数 0
3回答
我在Flink中做实时流，其中Kafka是消息队列。我正在申请120秒的EventTimeSlidingWindow。滑动1秒。我还在事件时间的每一秒插入水印。我担心的是，如果元素会在水印之后延迟出现，会发生什么？现在在我的情况下，Flink简单地丢弃了它各自的水印之后的消息。filnk是否提供了任何机制来处理这种延迟消息，比如维护单独的窗口？
浏览 19提问于2017-01-19得票数 3
回答已采纳
2回答
我们正在接收来自no的事件。因此，到达我们的Flink拓扑(通过Kafka)的数据将是无序的。我们在Flink拓扑中创建1分钟的事件时间窗口，并在源操作符处生成事件时间水印(当前事件时间-某个阈值(30秒))。如果少数事件在设置的阈值之后到达，则这些事件将被
浏览 28提问于2018-03-02得票数 5
关于事件时间处理，Flink中的水印是什么？为什么需要它？为什么在所有使用事件时间的情况下都需要它。不管怎么说，我的意思是，如果我不做一个窗口开放，那么为什么我们仍然需要一个水渍。我来自火花背景。在星星之火中，我们只需要在传入事件上使用窗口时才需要水印。把你<e
浏览 0提问于2020-02-18得票数 2
1回答
我是Flink初学者。一个死板的问题，是否支持这种模式？我可以看到within x seconds，但是没有比for x minutes / for x records更好的了
浏览 0提问于2016-12-31得票数 1
回答已采纳
我看不到太多关于kafka flink连接器python的信息。我知道它是beta version.can，我使用kafkaflink连接器API，使用python.If是的，给我推荐一个这个连接器的程序。我也提到了Apache Flink: Kafka connector in Python streaming API, "Cannot load user class"，.Also，我可以使用pythonAPI的滑动窗口的概念吗？
浏览 31提问于2020-01-23得票数 0
我想执行两个具体事件之间发生的不同事件的操作(例如聚合)。例如，用户点击按钮'A‘，点击按钮'B’后的一段时间，我想统计在这段时间内有多少事件(来自其他主题)已经到达。我在我的应用程序中面临的一般概念是，我的事件具有持续时间，它们不是在给定时间独立发生的单个事件。在这个例子
浏览 29提问于2020-11-09得票数 0
1回答
查看Flink的文档和书籍，我对时间戳有疑问:如果流设置为事件-时间模式，这意味着时间戳具有进入Flink之前的源时间(甚至在通过消息队列(可能是Kafka)之前)，为什么Flink将时间戳作为元数据附加到记录幻灯片3根据时间戳的用途列出了不同类型的时间戳：
如果时间戳位于事件内部，为什么要将
浏览 5提问于2021-02-22得票数 0
我必须处理每个事件与过去1小时，1周和1个月的数据。比如该事件对应的最近1个月内同一ip发生了多少次。
我认为窗口是固定的时间，我不能计算与当前事件对应的最后一个小时。如果你有任何线索，请指导我应该使用表格，ProcessFunction或全局窗口。或者我应该采取什么方法？
浏览 0提问于2017-06-14得票数 1
我有一个使用State和TimeService对大规模消息进行滑动计数的情况。滑动大小为1，窗口大小大于10小时。我遇到的问题是检查点需要花费很多时间。为了提高性能，我们使用了增量检查点。我们计算出大部分时间用于序列化用于清理数据的计时器。我们为每个键都有一个计时器，总共大约有300M个计时器。
任何解决这个问题的建议都将不胜感激。或者我们可以用另一种方法计数？滑动大小是一个事件，窗口</e
浏览 4提问于2018-03-15得票数 4
.});对于FlinK表API和SQL，如何在给定的键和公共窗口上连接三个或多个表？正式文档只给出了下面单个表的示例。对于Flink，我所需要的，就像下面的
浏览 1提问于2018-06-13得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
