我有以下查询：select count() as item insert into newStream;
是否可以重新启动流的count()函数？
浏览 7提问于2017-05-03得票数 0
回答已采纳
1回答
事件计数的窗口聚合
、、、
我对我的kafka事件进行了分组： private static void createImportStream(final StreamsBuilder builder, final CollectionArrayListSerde<UserEvent>(new UserEventThriftSerde())) } 如何添加window而不是基于时间，而是基于事件的数量原因是事件将是批量转储，时间窗口<
浏览 8提问于2020-03-31得票数 2
回答已采纳
1回答
我有一个事件流和一个密钥-val存储器。值大小限制为4Kb。事件率不是很高--每天最多有几百个。在这个值中，我需要存储数据结构的序列化表示，它提供了一种高效的机制，用于在3个月的时间内读取、存储和更新聚合事件计数，每天和每周的聚合和滑动窗口为每小时1/2。对于简单的事件计数聚合和事件计数</e
浏览 1提问于2012-04-30得票数 9
回答已采纳
1回答
我需要您的建议，在我的任务中，我需要通过两种类型的聚合来聚合事件。第一类是onCount，第二类是onTime。如果事件是用于onCount聚合的--它有字段号--事件的number和totalCount --我们应该在聚合之前积累多少事件。如果事件是用于onTime聚合的-它有字段time -是date，之后
浏览 4提问于2018-05-24得票数 0
回答已采纳
我可以看到，星火流窗口功能只基于“接收数据时”进行分组。我想根据数据本身中可用的时间戳字段进行分组。有可能吗？
例如，数据创建时间戳作为1 PM数据的一部分可用。但是火花流在下午1.05就收到了数据。因此，它应该根据数据中可用的时间戳(1PM)进行分组。
浏览 0提问于2017-08-17得票数 1
1回答
我正在寻找一种在具有状态的窗口上实现聚合/折叠函数的方法。我了解如何在窗口上进行聚合，以及如何使用键/全局状态--但两者都不知道。为了明确起见，当我说一个带有状态的窗口时--我的意思是，每次更改/移动时，状态都应该初始化(无效)。
例如:我希望每5分钟按事件类型计算事件数。但是，除了事件类型(即窗口键)之外，事件还有
浏览 4提问于2017-04-23得票数 3
1回答
我使用Apache Storm的滑动窗口技术来获取24小时窗口长度和1小时滑动间隔长度的数据。当第一个TupleWindow到达时，TupleWindow中的每个元组都会启动一个聚合过程。我的聚合过程会一直等到下一个TupleWindow到达。一旦TupleWindow到达，聚合过程就会启动，并消耗大量资源。我想知道Apache Storm是否有能力实时发送数据(而不是等到窗口的最后一项到达)。在这
浏览 21提问于2018-02-13得票数 1
我有一个用例，其中我正在接收包含不同信息集的事件流，并希望对它们执行聚合。对于这些聚合中的每一个，都需要多个滚动窗口，例如: Daily、Weekly、Monthly、Yearly等。聚合最初是所见计数的基本添加，但稍后可能是跨这些事件的一些分析/联接处理。，而不是滑动窗口，我正在研究如何实现这个用例。主要的问题是，我不想等到窗口结束，
浏览 3提问于2020-10-01得票数 1
我正在使用ksql流并每5分钟计算一次事件。这是我的疑问-3 | 2018-11-13 09:54:493 | 2018-11-13 09:54:51没有窗口滚动的查询2018-11-13 09:55:09
浏览 0提问于2018-11-13得票数 0
1回答
epl：它非常简单:在滑动窗口中每但是当我运行测试时，结果与我预期的不一样，这似乎是错误的:它导出了在滑动窗口中不存在的objId。，sum(c1)=7}发送事件:PmData(objId=3，c1=5，time=0)
发送事件:PmDat
浏览 1提问于2016-04-08得票数 0
1回答
在流处理中，基于计数(也称为基于元组)的窗口和翻滚窗口有什么不同？在我看来，它们是相同的:每次到达一定数量的元素时，翻滚窗口都会设置新的(开始，结束)-pointers(它是一个带有size=slide的滑动窗口)。这也是基于计数的窗口所做的事情。有人能给我解释一下其中的区别吗？
浏览 2提问于2010-12-02得票数 0
回答已采纳
我的Flink任务的检查点越来越大。在深入到各个任务之后，键控窗口函数似乎要对大部分大小负责。我怎么才能减少这个呢？
浏览 1提问于2021-03-04得票数 1
2回答
我的程序在一秒钟内接收来自不同类型的数千个事件。例如，拥有数百万个不同IP地址的用户每秒可访问10万个API。我想要保留统计数据，并限制1分钟、1小时、1天等的访问次数。所以我需要每个用户在最后一分钟，一小时或一天的事件计数，我希望它像一个滑动窗口。在本例中，事件类型为用户地址。我开始使用时间序列数据库InfluxDB；但它无法每秒插入100k事件，无法立即聚合查
浏览 2提问于2018-05-09得票数 0
我是一个新的波束管道，我有一个要求，以计算聚合统计(计数和持续时间为每个窗口非常30分钟左右)从事件收到的卡夫卡主题(无界源)。事件"xxxxx“10:00开始，10:45结束预期来自管道的统计数据device-2 10:00-10:30 1 15 min
de
浏览 2提问于2021-07-08得票数 0
当调用processRemove()时，我删除该值并返回新的聚合结果。但是，结果处理程序返回的事件仍在接收旧值。但是，processAdd()工作正常。经过一些调试之后，我注意到在每次调用processAdd()之后，结果事件都包含最后一次调用processAdd()返回的对象。但是，在调用processRemove()之后，该事件包含与之前相同的对象(来自上一个processAdd())，而不是processRemove()返回的最
浏览 0提问于2016-02-25得票数 0
1回答
：
将生成的KTable聚合到最终的KTable，聚合对象是从T到步骤1中的两个连接计数器的映射。其想法是创建窗口事件计数，并将这些加窗口的键用于连接和聚合
浏览 3提问于2017-11-22得票数 8
回答已采纳
1回答
然而，要运行这个查询几天，系统必须绑定它积累的中间内存状态的数量。这意味着系统需要知道何时可以从内存中删除旧聚合，因为应用程序将不再接收该聚合的后期数据。为了实现这一点，在Spark2.1中，我们引入了水印，它允许引擎自动跟踪数据中的当前事件时间，并尝试相应地清理旧状态。您可以通过指定事件时间列和预计数据在事件时间上的延迟的阈值来定义查询的水印。对于从时间T开始的
浏览 0提问于2018-08-03得票数 2
回答已采纳
1回答
我有一个流数据，我想计算一些每日计数器。到目前为止，我一直在使用带有水印的滚动窗口，具体如下：.groupBy(window("timestamp","1 day")) \我的问题是，这是否是进行每日汇总的最佳方式(就资源而言)，还是应该在较小的窗口(例如每小时或更少的</e
浏览 2提问于2020-04-23得票数 0
回答已采纳
我们计划在会话窗口KTable上使用抑制操作符。我们想知道当使用抑制算子时的容错性。
我们理解缓冲区用于存储事件/聚合，直到窗口关闭。现在让我们说，已经发生了再平衡，活动任务被转移到不同的机器上。让我们说，我们正在跟踪点击计数的用户。我们将会话窗口的活动周期配置为3分钟，会话窗口已经为一个alice键启动，并且对该键进行了2分钟的聚合。如果一切正常，那么
浏览 0提问于2019-01-08得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
