我有一个Flink保存点。我想使用API生成一份关于它的报告，最好是用Java编写。将保存点看作一个数据库，我想列出表、表模式、每个表的大小(以行和字节为单位)，并以字节为单位生成行大小的统计信息(最小、最大、平均、标准。dev.等)。here描述的API假设db模式是已知的(继续db类比)。有没有API可以做到这一点？
浏览 19提问于2021-10-06得票数 0
回答已采纳
如何使用独立应用程序(本地执行环境或迷你集群)实现flink保存点。我在flink-config.yaml文件中配置了savepoint目录，但不确定如何在关闭应用程序之前获取保存点，以及如何在重新启动应用程序后恢复？是否有任何方法或必须先使用flink群集，然后再使用CLI。
感谢你的帮助。谢谢
浏览 0提问于2020-08-18得票数 0
我们已经用1.4版本部署了一个新的Flink实例。在尝试从旧的1.2.1部署恢复保存点时，尝试还原的所有作业都会出现相同的错误：错误信息：
遗产状态
浏览 6提问于2018-01-04得票数 2
回答已采纳
Flink 1.15有一个新的，它比当前的“规范”保存点格式更快地保存和恢复。但是，Flink文档只显示如何使用命令行编写本机保存点。我们正在K8s上运行Flink，目前正在使用，但希望切换到新的。我们想利用这一点。是否有任何方法来配置Apache操作符来编写本机保存点？
浏览 4提问于2022-07-29得票数 0
我看到了有关如何使用保存点的Flink文档。我希望有一个简单的解决方案来更新AWS EMR中的Flink作业。https://ci.apache.org/projects/flink/flink-docs-release-1.9/ops/deployment/aws.html https://ci.apache.org/projects
浏览 28提问于2020-06-11得票数 1
我有一个usecase，其中我需要使用有界的RocksDB源为Flink应用程序(包括RocksDB状态和广播状态)种子，然后在种子播种完成后读取其他无界/有界的S3源。我试着用两个步骤来实现这一点：
对于步骤1: Flin
浏览 2提问于2022-11-11得票数 1
1回答
让我以一种通用的方式开始，看看我是否错过了一些概念:我有一个流flink作业，我从该作业创建了一个保存点。)
CassandraSink.addSink(stream) 只要我在没有保存点的情况下运行作业，这就可以很好地工作如果我从一个保存点开始作业，我会得到一个异常，如下所示 Caused by: java.lang.UnsupportedOperation
浏览 51提问于2021-08-03得票数 0
回答已采纳
将文件系统状态后端保存到s3。有可能让它变得更好吗？
作业增加chk，但它不使用检查点。
浏览 4提问于2020-08-06得票数 3
我有一个用于处理ProcessWindowFunction的TumblingEventTimeWindows，其中我使用一个状态存储来在多个滚动窗口中保存一些值。我还尝试创建一个最低限度的工作示例来调查这一点：import org.apache.flink.api.common.state.MapStateDescriptor;
i
浏览 3提问于2020-06-18得票数 0
我们需要替换flink控制台UI，并使用CLI实用程序启用Flink Web控制台的所有功能，对于一些功能，如启动作业、保存点等，我们使用的是Flink CLI。我的问题是我正在寻找一种解决方案，在这种解决方案中，待命工程师可以使用命令行/终端完全监控并在
浏览 3提问于2022-01-03得票数 0
回答已采纳
对于从保存点恢复Flink检查点，当我们使用java基本类型的值状态时，它可以正常运行，但当使用java对象的值状态时，它会抛出异常。它的关键解决方案是什么？任何想法都将受到感谢。getRuntimeContext.getState(new ValueStateDescriptor[BigInteger]("playUVState", new BigIntSerializer()))
} 从保存点路径恢复时出现异常at org.apache.flink.streami
浏览 16提问于2019-05-29得票数 2
是否可以为flink中的不同作业配置不同的保存点路径？有没有办法在Flink的Java程序中配置该路径？
浏览 2提问于2018-04-12得票数 0
我是Flink的新手，刚刚开始写一个基于Flink的项目。我的Flink作业使用RocksDB作为状态存储，并打开检查点，以便每15分钟向S3拍摄一次状态存储快照。
浏览 30提问于2020-12-22得票数 0
我们试图迁移到Flink 1.11，从1.10中的保存点恢复作业。作业代码没有更改，只将依赖项的Flink版本更新为1.11 (在SBT中，我们使用Scala)并重新构建jar。所有运算符都有uids，如果在1.10集群上运行，作业将正确地从该保存点恢复，我们将得到以下异常，并且不知道：
java.lang.Exception: Exception while creatingat org.apache.flink.streaming.api.oper
浏览 8提问于2020-09-08得票数 0
我想知道Flink创建的保存点中的空数据文件(以及HashMapStateBackend的检查点)是否是一件预期的事情，或者它们是否指向Flink本身、我们正在运行的作业或我们为检查点和保存点使用的存储系统的问题这里有一些关于我为什么要问这个问题以及在什么情况下观察到这些空文件的上下文：
我们在生产中运行的Flink设置有问题。在看似随机(但目前并不罕见)的情况下，flink无法从检查点或保
浏览 4提问于2022-02-04得票数 1
回答已采纳
今天，我想谈谈一个关于Flink的概念性话题，而不是一个技术性的话题。
在我们的例子中，我们确实有两个卡夫卡主题A和B，它们需要结合在一起。现在，技术方法是通过连接两个DataStreams来实现的，这很快就向我们展示了它对于这个用例的局限性，因为没有窗口就不可能加入流(非常公平)。主题A中的元素最终会丢失，如果窗口向前移动，并且我有一种定期重置消费者的感觉，就会绕过Flink引入的精心设计的逻辑。然而，我的问题是:在深入到表API之前，我只注意到有一种更优雅的方法，我想确定，这是这个问
浏览 8提问于2020-03-19得票数 0
回答已采纳
在Apache Flink中定义和执行我的流处理器的作业图之前，我想运行一些初始化代码，例如，用于创建Kafka主题，我将其用作作业图中的接收器。然而，当流处理器从保存点恢复时，例如在对流处理器的更新期间，该初始化代码不应在其上运行。有没有办法以编程方式检查作业是否从保存点启动？
浏览 5提问于2020-05-19得票数 1
我正在尝试修改保存在S3上的现有保存点，该保存点是用flink 1.12.2 & ververica 2.4.1创建的。我所采取的步骤如下：
machine;Opened 将包含'_metadata‘和savepoint文件的保存点从S3复制到本地S3 flink状态，并读取我感兴趣的操作符的状态；创建并修改了我希望用它替换操作符状态的数据集32c44059-1f59-4091-bcb5-3e1efa369ec6 (
浏览 3提问于2021-08-25得票数 1
回答已采纳
2回答
我们正在部署一个新的Flink流处理作业，它的状态(存储)需要使用历史数据进行初始化，并且在开始处理任何新的应用程序事件之前，这些数据应该在状态存储中可用。我们不希望大幅修改Flink作业来加载历史数据。我们考虑编写另一个单独的Flink作业来处理历史数据，更新它的状态存储并创建一个保存点，并使用这个保存点来初始化主Flink作业中的状态。看起来状态处理器应用程序接口只能与DataSet应用程序接口一起使用，并且想知道是否有<
浏览 47提问于2021-04-23得票数 0
在两个与保存点相关的REST中：
，它通过触发器ID返回操作的状态。第一个API使用一个参数target-directory，但不清楚它是确切的dir，还是Flink将在其中生成名为savepoint的子dir的父dir。根据我使用Flink CLI的经验，我认为它可能是父dir，但如果是这样，我如何获得保存点ID？它没有在第二个API中被记录下来。
浏览 2提问于2019-10-22得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
