Flink -如何在状态下聚合

文章/答案/技术大牛

发布

1回答

Flink的窗口操作是处理窗口末尾的元素，还是做滚动处理？

apache-flink、flink-streaming

我有一些困难，了解窗口是如何在内部实现Flink，并没有找到任何文章，以解释这一点的深入。在我看来，有两种方法可以做到。是否有人能帮助您理解Flink在现实中使用的方法(或者可能是不同的方法)。原因是，这两种方法各有优缺点，为了正确配置集群的资源，理解这两种方法是很重要的。

浏览 6提问于2022-01-17得票数 0

回答已采纳

1回答

apache-flink、flink-streaming

，看起来像这样： { uid:String ..... } public Acc merge(Acc a, Acc b) { } } 在聚合过程函数中

浏览 16提问于2020-08-24得票数 0

1回答

如何在Apache正确初始化任务状态？

java、initialization、apache-flink

我知道Flink中的持久状态，但这不是我所需要的。在计算开始之前，是否有方法将初始数据加载到Flink中？是否可以使用两个连接的流与Accumulo的数据一起使用最新的计算聚合和事务流？事务流是无限的，由聚合流不是。我该往哪条路挖？任何帮助都是非常感谢的。我考虑过AsyncIO，但是状态不能与异步函数一起使用。我的想法是:检查内存状态下的聚合。

浏览 5提问于2017-08-18得票数 1

1回答

Apache :基于键控状态在Flink中发出输出记录，即使给定聚合窗口没有输入记录

apache-flink、iot、flink-streaming

为此，我计划使用键控状态来存储每个设备的最后一次状态更新，以便知道该设备在聚合窗口开始时所处的状态。例如，假设id "1“的设备有一个键控状态值，表示它在8:58进入"STATE_2”。时间戳: 9:00，状态: STATE_2，持续时间: 180秒} 我的问题是:只有当窗口有事件时，Flink才会打开给定device_id的窗口。但是，我需要发出一条记录，记录显示设备根据键控状态存储的内容，在当前状态下花费了整整五分钟。例如，Flink应该发出一个9:05-9:10的记录，其中显示id为"1

浏览 4提问于2019-11-26得票数 0

回答已采纳

2回答

Flink metrics -指标间隔内计数的记录数

apache-flink、flink-streaming

我们使用的是Flink版本1.9.1。我们想要获取特定子任务在特定时间段内处理的记录数。输出记录的数量给出了到那时为止输出的记录总数。有没有办法获得在该度量间隔内处理的记录总数。

浏览 35提问于2020-08-17得票数 0

1回答

Flink:将窗口集合附加到事件中

apache-flink、flink-streaming

我们希望使用Flink来维护窗口聚合，作为事务监视应用程序的一部分。它们将使用滑动窗口定义。例如：“过去5天的现金交易总额”。下面是我需要Flink应用程序做的工作: 1.通过读取历史聚合和构建windows 2来准备事务处理。对于每个新事务: a.用新的事务数据b更新窗口聚合。找到与传入时间戳匹配的窗口，并将聚合值添加到事务c。通过RabbitMQ或Kafka接收器将增强的事务(原始字段+聚合)发送到下游处理器。对于进入的每个事务，我想要一个(而且只有一个)输出，其中

浏览 5提问于2017-06-23得票数 0

1回答

Apache Flink:在一个窗口中计算和输出多个值

apache-flink

我们计划使用Apache Flink对多种类型的对象执行实时聚合。我们需要支持几种类型的聚合，如sum，max，min，average等-到目前为止没有什么特别的我的问题是，用Flink实现这种要求的最佳方式是什么？我们考虑使用一个自定义窗口函数，该函数将在窗口末尾的所有对象上运行，并自行计算所有必需的值，并输出一个包含所有

浏览 3提问于2017-06-05得票数 4

1回答

Flink聚合和解

amazon-dynamodb、apache-flink、flink-streaming、reconcile

我正在考虑使用Flink将事务数量聚合为使用DynamoDB流的语句数量。在任何给定的时间点，我都需要知道属于一个语句的所有事务金额是否都是聚合的。也就是说，如果语句数量过期或无效，则显示。我如何在Flink中实现这一点？

浏览 3提问于2020-01-12得票数 0

回答已采纳

1回答

升级Flink版本后，无法在web UI中看到任务管理器日志信息

apache-flink

升级Flink版本后，无法在web中看到任务管理器日志信息。在stdout中，您可以看到代码本身的日志，但看不到Spring和Flink本身的日志。

浏览 3提问于2020-12-16得票数 0

回答已采纳

1回答

使用Apache流处理缓冲转换消息(例如，1000计数)

apache-flink、stream-processing

在订阅了来自源(ex:Kafka、AWS Kinesis数据流)的消息，然后使用Flink运算符对流数据应用转换、聚合等之后，我希望缓冲最终消息(计数为ex:1000)，并在单个请求中将每个批发送到外部如何在Apache中实现缓冲机制(将每1000条记录作为一个批处理创建)？Flink pipileine:流源->转换/减少使用操作符->缓冲区1000条消息-> post到REST 感谢你的帮助！

浏览 4提问于2019-11-07得票数 1

回答已采纳

1回答

每X分钟发出一次会话窗口的结果

apache-flink

我已经实现了一个Flink处理器，它将事件聚合到会话中，然后将它们写入接收器。现在我想扩展它，这样我就可以获得每五分钟并发会话的数量。然后，我在Flink中执行以下操作，将事件聚合到会话中。event.get(Field.SESSION_ID)) .window(ProcessingTimeSessionWindows.withGap(org.apache.flink.streaming.api.windowing.time.Time.minutes现在我想写一个类似的<e

浏览 12提问于2020-11-06得票数 0

回答已采纳

1回答

优化flink窗口

apache-flink、flink-streaming

我有flink作业，我需要在1小时窗口内删除收到的记录的重复数据。一旦删除重复数据，我需要收集所有这些删除重复数据的文档，并进行一些聚合，如计数，然后生成目标主题。附件是我的flink工作的图片： ? 现在，由于我只需要收集那些经过重复数据删除的文档，因此我可能不一定需要等待1小时。为了收集这些文档，我如何避免这种1小时的窗口，但是一旦收集到这些文档，就继续进行进一步的聚合。由于这个原因，资源占用了内存，检查点大小也在增加，这是我想要避免的。

浏览 19提问于2021-03-24得票数 0

2回答

如何正确测试Flink窗口函数？

testing、apache-flink、flink-streaming

有人知道如何在Flink中测试窗口函数吗？我正在使用依赖项flink-test-utils_2.11。我的步骤是： public class AggregateVariantCEVTest

浏览 0提问于2019-06-25得票数 0

1回答

Spark 3.0在组Scala/Java上的排序与应用

java、apache-spark、apache-spark-sql、apache-flink

DataSet让我们看看A，B，C列 .reduceGroup({})我们可以在熊猫群上调用Pandas的应用功能，但是它比Flink注意:我想对分组数据进行处理，并返回另一个数据集，而不是标准聚合。有人能告诉我类似

浏览 0提问于2020-07-01得票数 1

1回答

Flink -如何同时计算总和和平均值？

apache-flink、flink-streaming

在Flink (批量/流)中有没有一种方法可以同时计算字段的平均值和总和？使用aggregate方法，我可以对groupBy结果计算一个字段的总和，但如何同时计算平均值呢？下面是示例代码。

浏览 2提问于2017-05-17得票数 3

1回答

关于GroupCombine对部分结果的澄清

apache-flink

Flink的GroupCombine文档声明：注意:分组DataSet上的DataSet是在内存中使用贪婪策略执行的，该策略可能不会一次处理所有数据，而是分多个步骤处理。

浏览 1提问于2018-08-27得票数 0

回答已采纳

1回答

Flink Windows -如何在新事件出现时立即发出中间结果？

apache-flink、flink-streaming、flink-sql

Flink 1.14，Java，Table + DataStream API (toDataStream/toAppendStream)。我试图:从Kafka读取事件、小时聚合(sum、count等)。我知道，它的工作如docs中所述：与连续表上的其他聚合不同，窗口聚合不会发出中间结果，而是只发出最终结果，即窗口末尾的总聚合。

浏览 11提问于2022-09-26得票数 0

回答已采纳

2回答

复杂的事件在数年内蔓延

wso2、apache-storm、apache-flink、complex-event-processing、wso2-streaming-integrator

Flink、Storm或WSO2是否为如此复杂的事件处理提供支持？

浏览 3提问于2018-03-22得票数 1

回答已采纳

1回答

Flink:总结所有分区结果的最佳方法是什么？

apache-flink、flink-streaming

更新:我想实现一些数据摘要算法，如Misra在Flink。它将维护k个计数器，并随数据到达更新。因为数据可能具有很大的可伸缩性，所以最好每个分区都有自己的k计数器并并行处理。

浏览 4提问于2017-12-16得票数 1

回答已采纳

1回答

Flink : Rowtime属性不能在常规联接的输入行中

java、apache-flink、flink-sql

使用flink SQL API，我希望将多个表连接在一起，并在一段时间内进行一些计算。我有3个来自CSV文件的表格，还有一个来自Kafka。processed.insertInto("MySink"); 但是当我运行它时，我得到了以下错误： Exception in thread "main" org.apache.flink.table.api.TableException

浏览 96提问于2019-07-24得票数 2

点击加载更多