我们目前在kubernetes上以作业集群的形式运行flink，使用的是helm模板：https://github.com/docker-flink/examples/tree/master/helm/flink (添加了一些配置)。如果我想关闭集群，重新部署一个新的映像(由于应用程序代码更新)，然后重新启动，我该如何从保存点恢复？jobmanager命令
浏览 17提问于2020-06-11得票数 0
1回答
我正在研究Flink 1.9.1的停靠/K8部署的可能性。目前，我们确实认为我们将尝试采用工作集群的方法，尽管我们想知道这个社区的趋势是什么？我们不希望每个Flink集群部署一个以上的作业。
在这两种情况下，Flink的UI显示每
浏览 1提问于2020-01-10得票数 2
回答已采纳
我想如果我更新了TaskManager部署的副本，Kubernetes会为我增加/减少TM的数量，但我不确定这是否是我所需要做的全部。我还需要做些什么来使这份工作适应更多/更少的TMs吗？
浏览 3提问于2019-11-10得票数 1
回答已采纳
我想在kubernetes上运行一个flink作业，使用一个(持久的)状态后端，似乎崩溃的任务管理器没有问题，因为如果我正确理解的话，他们可以询问作业管理器需要从哪个检查点恢复。在这个上，我读到动物园管理员需要能够知道工作经理需要使用什么检查点来恢复和进行领导人选举。由于kubernetes将在作业管理器崩溃时重新启动作业管理器，是否有一种方法可以让新的作业管理器恢复作业，而不必设
浏览 0提问于2018-08-30得票数 6
回答已采纳
我目前正在运行一个Flink会话集群(Kubernetes，1 JobManager，1 TaskManager，，S3)，其中运行多个作业。我们正在考虑迁移到使用作业集群，但是对于将要产生的容器的数量有保留。每个作业一个容器不是问题，但是每个作业有两个容器(1 JM和1 TM)引起了对内存消耗的担忧。有几个作业需要高可用性和使用检查点以及在保存点通过窗口聚合事件时从/接受保存点<
浏览 5提问于2019-12-31得票数 1
回答已采纳
b/w Native Kubernetes和Kubernetes部署的主要区别是什么？ 我是Kubernetes的新手，并试图了解Flink在它们上的部署有何不同。
浏览 53提问于2020-08-06得票数 3
回答已采纳
Given，在部署(滚动)作业或由于错误/错误导致作业下降时，如果ActiveMQ中有未使用的消息或Flink中的未确认消息(但写入数据库)，则当作业恢复(或部署新作业
浏览 1提问于2020-03-05得票数 1
我们已经用1.4版本部署了一个新的Flink实例。在尝试从旧的1.2.1部署恢复保存点时，尝试还原的所有作业都会出现相同的错误：
org.apache.flink.runtime.execution.SuppressRestartsException:at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$org$apache$flink$runtime$jobmanage
浏览 6提问于2018-01-04得票数 2
回答已采纳
我有一个用Flink (Scala)编写的示例流式WordCount示例。在它中，我想使用外部化的检查点在失败的情况下进行恢复。但它并没有像预期的那样工作。kafkaConsumerProperties.setProperty("zookeeper.connect", "localhost:2181")
浏览 25提问于2019-04-15得票数 1
回答已采纳
1回答
我使用的是在从docker-flink安装的ECS中运行的Flink。我已经通过flink-conf.yaml中的state.checkpoints.dir到S3启用了外部检查点到AWS S3。现在，根据Flink文档here，如果我们想在出现故障的情况下从检查点恢复，我们必须使用bin/flink run -s :checkpointMetaDataPath [:runArgs]，但我使用FLINK_HOME所以我不能弄清楚我的Fl
浏览 35提问于2020-04-03得票数 0
回答已采纳
我正在研究一个具有无限源码的Flink管道。如何从管道代码内部优雅地关闭管道，以便检查点等工作，而不调用外部服务？System.exit()似乎太粗糙了，在启用重启的情况下抛出异常将不起作用。
浏览 104提问于2021-11-17得票数 0
我已经知道flink将开始从使用者组的. https://ci.apache.org/projects/flink/flink-docs-stable/dev/connectors/kafka.htmlhttps://ci.apache.org/projects/flink/flink-docs-stable/dev/connectors&
浏览 6提问于2019-11-04得票数 2
回答已采纳
如何使用独立应用程序(本地执行环境或迷你集群)实现flink保存点。我在flink-config.yaml文件中配置了savepoint目录，但不确定如何在关闭应用程序之前获取保存点，以及如何在重新启动应用程序后恢复？是否有任何方法或必须先使用flink群集，然后再使用CLI。
感谢你的帮助。谢谢
浏览 0提问于2020-08-18得票数 0
我在一个独立的flink集群上运行作业，只有一个作业管理器，在一个docker容器中运行。每当集群崩溃并重新启动时，我必须再次手动提交作业才能启动。有没有办法让flink在群集重新运行后自动恢复作业？
浏览 74提问于2020-01-29得票数 0
回答已采纳
我有一个Flink作业，其中我正在读取文件夹中的文件，并将其转储到数据库中。每天都会有新文件进入该文件夹。我已经启用了检查点，以便如果由于任何原因Flink作业停止并且我需要重新启动，Flink作业不应该读取已经读取的文件。我在代码中添加了以下代码行，但当我重新启动作业时，Flink作业再次读取所有文件。
浏览 44提问于2019-01-23得票数 5
1回答
我正在使用Apache Flink + RabbitMQ堆栈。我知道有机会手动触发保存点并从中恢复作业，但问题是Flink在成功检查点后确认消息，如果您想要设置保存点和恢复状态，您将丢失上次成功的保存点和上次成功的检查点之间的所有数据。有没有办法从检查点恢复作业？这将解决在不可重放数据源(如rabbitmq)的情况下丢失数据的问题。顺便说一句，如
浏览 20提问于2016-09-13得票数 3
回答已采纳
我使用Kubernetes (Openshift)部署许多微服务。我希望使用同样的方法来部署我的一些Flink作业。Flink作业是关键的-有些作业是无状态的，它们处理每一个数据(准确地说是一次)，有些作业是有状态的，可以在流中查找模式或对时间作出反应。没有作业能够容忍长时间的停机或频繁的关闭(因为编程错误，Flink退出的方式)。
我发现文档大多倾向于将k8s中的Flink作业部署为Job Clu
浏览 0提问于2020-02-13得票数 3
我正在尝试使用Rest请求在Flink群集上运行已部署的作业。"programArgsList" : ["test1", "test2"] }
根据我从代码中看到的无法使用此客户端运行已部署的作业。我说的对吗？
浏览 1提问于2019-05-10得票数 0
我想在kubernetes上运行一个apache (1.11.1)流应用程序。将文件系统状态后端保存到s3。作业增加chk，但它不使用检查点。
浏览 4提问于2020-08-06得票数 3
1回答
我正在尝试连接两个流，第一个是持久化在MapValueState中：RocksDB将数据保存在checkpoint文件夹中，但在新运行后，state为空。我在本地和flink集群中运行它，并在集群中取消提交，然后在本地重新运行
env.setStateBackend(new RocksDBStateBackend(..)
浏览 4提问于2020-05-08得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
