在Flink作业中，我有一个类型为ValueState<Boolean>的状态。当condition为true时，此状态设置为true，否则清除。我正在清除状态，而不是将其设置为false以减小状态的大小。
我希望将未初始化状态视为"set to true“状态，但不将状态设置为"true”。有没有办法区分
浏览 25提问于2021-05-30得票数 0
我们有一个flink作业，将持续在rocksdb后端的大键控状态。我们正在使用增量检查点策略。随着时间的推移，状态的大小成为一个问题。我们已经检查了状态ttl解决方案，但它不支持增量rocksdb状态。
如果我真的需要增量检查点，那么解决此问题的最佳方法是什么？
浏览 2提问于2018-12-13得票数 0
在广播模式的文档中，提到没有RocksDB状态后端：
No RocksDB state backend: Broadcast state is kept in-memory at runtime and如果应用程序使用rocksdb作为状态后端，这会如何影响savepoint行为？这是否意味着在保存点期间没有存储状态，因此也没有恢复状态？
浏览 2提问于2020-06-22得票数 1
回答已采纳
我正在使用AWS (KDA)服务运行Flink应用程序。我的KDA Flink应用程序上一个检查点的大小似乎随着时间的推移而稳步增长。当我将更改推送到应用程序时，您可以在附加的图形中看到检查点大小的突然下降，导致它获取快照、更新，然后从快照恢复。我正在对所有重要状态使用状态TTL，并在不再需要时移除应用程序代码中的状态。检查点大小的增加是否表明我在处理状态的代码中有一个bug，还是这里可能存在其他问题？
浏览 1提问于2020-09-21得票数 4
在每个窗口中，我使用一个值状态来存储每个窗口的布尔值。BooleanUtils.isTrue(windowAlertedState.value())) { }根据这里的答案，一旦窗口被触发，窗口就会自动清除其状态。但是Fli
浏览 0提问于2020-10-29得票数 0
1回答
我正在学习使用Apache的事件驱动架构和流系统。我了解了事件源和CQRS，并有一些关于实现的基本问题。
例如，考虑一个流应用程序，在该应用程序中，我们正在监视在系统中注册的司机的车辆事件。在系统中注册的驱动程序将在一个KTable中，我们需要加入事件和驱动程序来获得一些输出。假设我们通过一个微服务在系统中插入一个新的驱动程序，它将数据推送到Cassandra表中，然后通过更改数据捕获到KTable
浏览 7提问于2022-09-12得票数 0
回答已采纳
2回答
我们正在部署一个新的Flink流处理作业，它的状态(存储)需要使用历史数据进行初始化，并且在开始处理任何新的应用程序事件之前，这些数据应该在状态存储中可用。我们不希望大幅修改Flink作业来加载历史数据。我们考虑编写另一个单独的Flink作业来处理历史数据，更新它的状态存储并创建一个保存点，并使用这个保存点来初始化主Flink作业中的状态。看起来状态</e
浏览 47提问于2021-04-23得票数 0
是否可以为flink中的不同作业配置不同的保存点路径？有没有办法在Flink的Java程序中配置该路径？
浏览 2提问于2018-04-12得票数 0
1回答
在我的例子中，我只使用Flink的可查询状态。特别是，我不关心检查点。 在发生事件时，我仅在最多X分钟后查询可查询状态。理想情况下，我会删除“旧”状态以节省空间。这就是为什么我想知道:我可以发信号通知Flink的状态在一段时间后自动清除吗？通过配置？通过特定的事件信号？多么?
浏览 20提问于2019-01-23得票数 1
2回答
正如您可以想象的那样，当Flink应用程序开始处理大量数据时，您所选择的键开始变得重要，因为您希望确保您能够很好地清理状态。这就引出了我的问题，Flink到底是如何清理这些“水桶”的？如果存储桶是空的(所有的MapStates和ValueStates都是空的)，Flink是否关闭密钥空间的那个区域并删除桶？这两个事件都存储在状态中。
浏览 1提问于2020-04-29得票数 1
回答已采纳
这个，说
queryable状态的当前实现支持按键查找值。查询客户端向Flink主(JobManager)请求保存查询密钥状态分区的操作符实例的位置。然后，客户端向相应的TaskManager发送一个请求，该请求从状态后端检索当前为该键保存的值。从传统的数据库隔离级别角度来看，查询访问未提交状态，从而遵循读未提交隔离级别。作为未来的工作，我们计划通过让TaskManagers保持提交快照的状态来添加读提交的隔离支持，并使用该状态来回
浏览 2提问于2020-09-26得票数 0
在Flink作业中使用RocksDB存储操作符状态检查点与使用RocksDB作为缓存(而不是Redis之类的缓存)有什么区别？我需要将处理过的数据从Flink作业存储到缓存24小时，并根据这些数据在流作业中执行一些计算。数据必须在24小时后删除。RocksDB可以用于这个目的吗？
浏览 8提问于2022-01-28得票数 0
回答已采纳
我使用Flink版本1.10.1和rocksdb后端。
Question_2 => stream.keyBy(ipAddress)，如果这个ipAddress将由rocksdb持有(我指的是keyBy本身，而不是状态)，那么它总是放在托管内存
浏览 5提问于2020-06-16得票数 0
回答已采纳
1回答
我运行我的flink应用程序与16并行。20分钟后，共享检查点增加到235 to。我该怎么处理呢。很长一段时间都很大。个任务:每个任务管理器4个CPU:每个任务管理器4个Core<代码>H19</code>内存:6GB<code>H 210<//code><code>H 111</code>使用的manager(Pod)状态
浏览 5提问于2019-10-14得票数 0
1回答
我正在为我的Flink系统写一个测试。我想从拓扑中抽取数据，查询状态，然后重置测试。对于Queryable状态是否有任何管理功能，例如重置/删除当前状态，以便在测试运行之间清除状态？我没有在医生里找到任何东西，但我希望我只是漏掉了什么。谢谢。
浏览 3提问于2017-05-28得票数 3
回答已采纳
为了做到这一点，我扩展了一个RichCoFlatMapFunction，它构建了一个包装器对象，该对象从两个流中收集数据。在此过程中，它还将数据存储在其MapState中。在一天结束时，基于另一个流数据(例如，日期更改流)，我需要清除状态。我该怎么做呢？基本上，我需要清除priceState和positionState。我不确定我们是否可以得到一个广播流来做到这一点？
浏览 0提问于2019-04-11得票数 1
我有一个Flink流媒体程序，在10秒的会话窗口中计算出卡夫卡的一些内容。会话窗口默认触发器为FIRE。
Flink流会在内存中保留每个窗口的全部kafka消息吗?如果我使用FIRE_AND_PURGE，什么会被清除？
浏览 4提问于2019-02-19得票数 2
回答已采纳
我希望对这两个资源(当前逻辑上存储为Flink中的动态表)执行一个连续的联接查询，以便当发生UserProfile更新时，连接表按照与该UserProfile相关联的顺序发出一个one更新的EnrichedOrder具体来说，在更新UserProfile时，如何确保join“多”端的所有订单记录都得到了丰富，同时仍然保持了性能？因为在Flink中不可能有任意的没有时间窗口的内部联接(大概是因为性能原因)，所以我认为设置过大的时间窗口也是不可能的。
这个用例的推荐方法(Es)是什么？
浏览 0提问于2018-02-02得票数 3
回答已采纳
Apache允许我在RichMapFunction中使用状态。我计划建立一个持续运行的作业，分析一个网络事件流。将有数以百万计的会话和用户，所以我将以数以百万计的个人状态结束。每个州的大小只有几KB。
Flink实际上是如何清除不受欢迎的状态的？考虑提供自定义后端以将状态存储在KV集群中是否有意义？
浏览 0提问于2019-01-16得票数 1
1回答
我正在使用FLink v.1.4.0。QueryableStateStream，我以某种方式输入它，然后sink它来创建一个Queryable State，例如：只要我的Flink我有两个问题：
如何使用以前执行时保存的数据初始化QueryableState？
浏览 0提问于2018-01-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
