我是flink的新手，我正在尝试编写junit测试用例来测试KeyedBroadCastProcessFunction。下面是我的代码，我目前正在调用TestUtils类中的getDataStreamOutput方法，并将输入数据和模式规则传递给方法，一旦输入数据根据模式规则列表进行评估，如果输入数据满足条件，我将获得信号并调用接收器函数inputSignal) throws Exception {
dataS
浏览 130提问于2020-07-16得票数 0
我是flink的新手，想了解如何使用FLINK运行我的用例:应用程序有三个输入数据源a)历史数据b)从kafka获取所有实时事件c)获取将具有触发条件的控制事件 由于应用程序正在处理历史数据，因此我认为我将合并历史数据和实时数据要触发事件，我们必须在控制事件的帮助下编写SQL查询，该事件是输入源，并且包含where子句。我的问题是在数据位于Stream中时构建SQL查询，并且当我执行以下操作时 DataStream<Contro
浏览 37提问于2020-07-01得票数 1
1回答
我使用flink版本1.14.3
我有一个大数据(大约4Gb)想要广播到一个KeyedBroadcastProcessFunction，但是如果我将原始数据广播到每个节点，它将占用大量内存和低性能，所以我想知道，在进程函数和广播中是否有使用相同的keySeletor规则的方法，keyBy广播可以让指定的键进入指定的节点吗？
浏览 4提问于2022-03-04得票数 0
我是Flink的新手，我正在使用Flink KeyedBroadCastProcessFunction进行模式评估，一些类似于(https://flink.apache.org/2019/06/26/broadcast-state.html)的东西，我正在使用JAVA开发我的代码，但我不知道如何处理异常，如果在处理数据流时发生任何故障，我搜索了很多次，但没有得到我最终在以下两个链接结束 <em
浏览 71提问于2020-07-10得票数 1
使用flink版本1.13.1 代码已经简化了。我在我的项目中使用了广播状态，它会每5分钟发送一些配置，因为一个进程函数只连接一个广播源，所以我定义了一个case类来传递三种配置 case类： case class OrderConfBroadcastBeanorder_conf_broadcast", createTypeInformation[String], createTypeInformation[OrderConfBroadcastBean])) 我想知道在进程函数中使用广播状态的两
浏览 29提问于2021-10-19得票数 -1
回答已采纳
我有一个用例:假设我想要制定一个规则，即在5分钟时间间隔内从某个IP生成的所有事件都应该转到一个特定的主题；在我的广播状态下，我可以有几个这样的规则。
浏览 16提问于2019-02-20得票数 3
我正在尝试用flink实现一个基于事件时间特征计算的翻滚窗口。基本上，测试是这样的 public void evaluateFormular_ShouldSumOnTimer水
浏览 0提问于2021-09-27得票数 0
我有一个Flink程序，它接受两个流，即数据/传感器读数流和警报规则流。我正在广播规则流，并将其连接到数据流以生成动态警报。在ProcessingTime中，一切都很好，但是没有任何东西可以使用EventTime。我已将时间戳&水印分配给数据流，并按原样传递规则流(因为只有在看到新的附加规则/更新时，规则流才会有记录)。当两个流，即一个具有时间戳和水印的流和一个有规则的流(广播)按照规则动态连接和处理时，如何使用'EventTime‘来生成警报。
浏览 0提问于2019-08-21得票数 2
回答已采纳
在Flink-作业目前，我有两个流，一个主要数据流每分钟更新一次从卡夫卡主题，另一个流(广播流)，这是用于KeyedBroadcastProcessFunction的进程元素功能的一些计算与主流数据。现在，我有一个新的要求，增加一个流，这是完全不同的结构与其他两个流。
1)如何通过必须在Flink状态下可用的第三流，以便与主数据和广播状态数据一起进行计算？在keyedBroadcastProcess函数中</
浏览 5提问于2020-06-03得票数 0
回答已采纳
2回答
Double) = new MapStateDescriptor[String, Double]("name_for_this", classOf[String], classOf[Double])问题是在processElement函数中，状态有时是空的，有时不是。在将数据放入状
浏览 0提问于2019-05-21得票数 0
回答已采纳
我是Flink的新手，我正在使用apache flink进行模式匹配，其中模式列表处于广播状态，并迭代通过processElements函数中的模式来找到匹配的模式，我正在从数据库中读取此模式，这是一个准时的活动new OutputTag<Tuple2<String, String>>( }
浏览 38提问于2020-06-08得票数 0
在Flink KeyedBroadcastProcessFunction函数中，我试图使用 (特别是版本29)维护最后N个条目的滚动平均值。public class PacingController extends KeyedBroadcastProcessFunctionKeyed
浏览 13提问于2022-08-23得票数 0
我想知道FLINK是否可以支持我的要求，我已经看了很多文章，但我不确定我的情况是否能解决 "name" : "event2"}ControlSet会给我们指令来执行触发器。例如，
浏览 0提问于2020-07-10得票数 1
我尝试使用BroadcastStatePattern来扩展我的应用程序的功能。这里有一些代码。函数(在本例中什么也不做，只是进一步转发数据) //....//
extends KeyedBroadcastProcessFunction[StringbroadcastInput: BCASTDATACLASS,
ctx: KeyedB
浏览 56提问于2021-03-20得票数 0
回答已采纳
我使用BroadcastState在Flink中执行流计算。我为我的工作定义了一个扩展KeyedBroadcastProcessFunction的类。假设我有一个由(user_id, location)键控的流A，以及一个流B，它被广播给所有执行者，以便使用我定义的类处理A中的元素。我知道我可以在这个类中在processBroadcastElement或processElement中注册一个计时器，这样当超时时，我可
浏览 0提问于2019-01-08得票数 1
2回答
我已经实现了一个Flink RichFunction，它具有以下结构： public class MyFunction extends KeyedBroadcastProcessFunction <String更新在processBroadcastElement()函数中完成。 在作业开始时，我希望使用initialState()函数初始化mapState。问题是我不能在open()函数中使用它(请参阅here为什么)。 在这种情况下，初始化mapState的正确
浏览 42提问于2019-10-09得票数 1
回答已采纳
我用BroadcastProcessFunction实现了flink流。在processBroadcastElement中，我得到了我的模型，并将它应用于我在processElement中的事件。我没有找到一种方法来对我的流进行单元测试，因为我没有找到确保模型在第一个事件之前被分派的解决方案。我想说，要做到这一点，有两种方法：
找到一个解决方案，首先将模型推入流中。下面是我的问题的一个简单<em
浏览 0提问于2019-02-13得票数 5
回答已采纳
2回答
我正在使用Apache开发一个项目，并使用junit测试我的操作员。但是，我面临一个问题:由于并行性，flink将以“随机”行顺序写入其输出csv文件，因此我很难断言输出文件与使用Junit的预期输出文件相等。性能不是一个问题，因为我们谈论的是小文件(<100行)，而且只用于测试。
有什么简单的解决办法吗？
浏览 4提问于2015-04-08得票数 5
回答已采纳
我使用intellij、maven 3和flink 1.15.1编写有状态流作业。我正在尝试为我的自定义KeyedProcessFunction编写单元测试，并尝试遵循文档以及添加提到的的依赖项。我对使用KeyedOneInputStreamOperatorTestHarness类很感兴趣，但是在我的任何依赖项中都找不到这个类(下面发布的修改后的pom )。Flink >= 1.15.0现在不需要scala相关库，因此对于1.1
浏览 8提问于2022-08-01得票数 1
回答已采纳
2回答
有人知道如何在Flink中测试窗口函数吗？我正在使用依赖项flink-test-utils_2.11。我的步骤是：
public class AggregateVariantCEVTest
浏览 0提问于2019-06-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
