我需要在flink中有聚合窗口。我不能使用聚合函数。因为getResult计算需要我的状态访问。Collector<Result> output) throws Exception {
但我仍然只需要aggInput的最新值，而且我看不出有什么理由将这些数据保存在内存中，在我的应用程序中，它可以是毫米级的数据。所以我想如果我可以每次清除窗口数据。
浏览 20提问于2020-06-03得票数 0
回答已采纳
如何通过时间窗口清除来过滤无限流中的重复项？我没有无限的空间/内存，我知道在2秒后(在本地时钟上)，任何可能发生的重复都会发生。这意味着在2秒之后，我可以丢弃(清除)旧数据。使用时间窗口清除在无限数据流上过滤重复项。但我不知道如何告诉flink在2秒(当地时间)后丢弃旧数据。请告诉我如何使用flink 0.10来做到这一点？
非
浏览 0提问于2016-02-24得票数 3
我想从无限大的DataStream中过滤掉Flink中的副本。我知道复制只出现在一个小的时间窗口(最多10秒)。我发现了一种很有前途的方法，就是非常简单的。但不起作用。它使用键控的DataStream，并且只返回每个窗口的第一条消息。此键作为主键工作，并导致只有具有相同键的消息才被分配到相同的窗口(典型的键流行为)。
这就是Duplicate Filter类，它非常类似于上述问题的拟议答案。我只使用了更新的process()函数，而没有使用apply()。一秒钟，一个30秒的窗口就能很好
浏览 1提问于2021-08-06得票数 1
回答已采纳
1回答
某些事件的Apache延迟处理
、、、、
到目前为止，无论我研究了什么，似乎“触发器”可能有助于在Flink实现它，但还没有能够正确地实现它。
我也看过卡夫卡文档，但在那里似乎不可行。
浏览 7提问于2021-07-29得票数 2
回答已采纳
关于Flink的DataSet API中的故障处理，我有两个问题：
为什么DataSet API的文档中没有提到检查点机制？
浏览 1提问于2016-01-08得票数 0
回答已采纳
1回答
一个键的多个会话窗口
、、、、
我正努力在flink中实现一个特定的自定义窗口。问题是这样的:我有一个特定身份的密钥流。对于流中的每个新元素，我需要为每个id保存多个“会话窗口”。对于每个即将出现的元素，我需要确定元素是否属于某个会话窗口，如果它不属于任何打开的会话窗口，则需要创建一个新的会话窗口。会话窗口的归属是动态的，并且受已经打开的会话窗口的影响，无法事先确定，就像附加的“键- by”一样。有人知道如何实现这样的事情吗？
浏览 10提问于2021-12-29得票数 0
编辑：所得到的数据用于计算时间窗口中的平均值或中位数，
这是否可以通过Kinesis分析、数据流、flink API或其他有效的解决方案来实现
浏览 0提问于2020-07-19得票数 0
我正在使用window API将数据划分为1小时的窗口。在每个窗口中，我使用一个值状态来存储每个窗口的布尔值。BooleanUtils.isTrue(windowAlertedState.value())) { }
我是否必须调用"clear()“方法来清理窗口状态数据我假设，因为Flink处理窗口的创建和清除，所以它在清除窗口时也应
浏览 0提问于2020-10-29得票数 0
1回答
我有两个来自两个Kafka主题的流表，我想加入这些流并对所连接的数据执行聚合功能。需要使用滑动窗口连接流。在连接和窗口数据时，我将得到一个错误Rowtime attributes must not be in the input rows of a regular join.TIMESTAMPDIFF(SECOND, ep.event_flink_time, cep.event_flink_time) as timediff,
HOP_START (cep.event_f
浏览 25提问于2022-05-24得票数 0
MapState内容是在窗口过期后自动清除，还是在调用该特定键的onTimer函数时，还是在未定义TTL配置的情况下必须手动清除？
浏览 3提问于2022-04-11得票数 0
回答已采纳
我有一个Flink流媒体程序，在10秒的会话窗口中计算出卡夫卡的一些内容。会话窗口默认触发器为FIRE。
Flink流会在内存中保留每个窗口的全部kafka消息吗?如果我使用FIRE_AND_PURGE，什么会被清除？
浏览 4提问于2019-02-19得票数 2
回答已采纳
对此的一个延续：java.lang.IllegalStateException: Checkpointing is not allowed with:537) at org.apache.flink.runti
浏览 6提问于2021-11-27得票数 0
回答已采纳
1回答
这是一个关于flink流的两个问题，基于我自己做的实验，我需要一些澄清。问题如下：
假设我们在加窗的流上使用apply函数(做一些计算)，然后该流将创建一个DataStream。如果我们对结果的DataStream进行一些转换，flink会将整个WindowedStream保
浏览 1提问于2017-03-13得票数 0
回答已采纳
1回答
我想知道如何检查窗口。例如，加窗口的字数： // split up the lines in pairs是否需要保存窗口的缓冲区元素？我是否应该使用ListState将缓冲数据存储在窗口中，并使用ValueState存储当前和值？
Q2：当发生故障时，如何处理窗口中的元素？当窗口被恢复时会发生什么？
浏览 0提问于2018-10-30得票数 2
回答已采纳
我的目标是为超过一个窗口保留状态值，这意味着状态不会在每个窗口的末尾被清除。我有两个问题：
是否有一种方法来构建一个单元测试来检查我的ProcessWindowFunction实现(特别是状态
浏览 0提问于2018-12-06得票数 1
回答已采纳
我已经计划使用flink高级API流的卡夫卡主题，并执行一个翻滚窗口，然后减少和地图之后。对于Map函数，我使用了扩展RichMapFunction的自定义类。混淆与map类中的open()和close()函数有关。
当这些函数被调用时，每个窗口结束前一次，或者每个flink任务启动一次。ie :如果窗口是5分钟，那么这些函数是在窗口迭代之前每5分钟调用一次还是按flink任务旋转一次？另外，还编写
浏览 1提问于2022-07-20得票数 1
我们看到processWindow函数发出两条记录的奇怪行为，第一条记录包含使用窗口中存在的聚合数据的完整信息，第二条记录包含部分信息，但从记录中删除了一些信息。processWindow函数使用状态(MapState)，如下所示： override def open(parameters: Configuration): Unit = { classOf[mutable.Map[Int, mutable.Set[Int]]]
浏览 24提问于2021-07-21得票数 0
回答已采纳
我有一个工作Flink工作建立在Flink数据流上。我想根据Flink有状态函数3.1重写整个作业。工作将切片合并成多个数据包，然后将分组汇到HBase窗口函数中，以处理片到达的无序问题。目前我已经在我的k8s上运行了Flink状态函数演示。但是窗口functions?Maybe我应该使用持久化状态与TTL来模拟窗口函数behaviorsEgress，
浏览 4提问于2022-01-08得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
