1回答
我已经在批处理中使用了apache一段时间，但现在我们希望将这个批处理作业转换为流作业。我遇到的问题是如何运行端到端的测试。如何在批处理作业中工作
我们希望对流作业做一些类似的事情，除非流作
浏览 1提问于2018-07-09得票数 4
回答已采纳
1回答
目前，我有一个流作业，当它接收到特定的触发器时，它会触发批处理作业。 我想跟踪启动的批处理作业，当它完成时，想要在数据库中插入一个条目，比如elastic search之类的。有什么想法，我们如何实现这一点？我们怎么才能听到那份工作？
浏览 142提问于2020-12-03得票数 0
我们在应用程序模式下的Kubernetes上运行Flink作业，问题是当作业完成/停止时，作业管理器容器将退出，但1.任务管理器的部署2.作业管理器服务3.删除将仍然存在，除非我们运行kubectl configMap如果我们手动停止作业，这并不是什么大问题，但如果我们的Flink作业是一个批处理作业，稍后将完成，这意味着我们需要一个外部服务来监视作业管
浏览 5提问于2021-02-20得票数 0
当批处理作业完成时，ApplicationCluster状态应该是什么？“增加restartNonce”是一种重新运行工作的设计方式吗？我试图使用flink操作符来部署flink批处理作业，并每天在特定时间使用kubernetes Cron作业触发它。
浏览 19提问于2022-11-23得票数 0
回答已采纳
我有一个flink流作业，它从Kafka读取并写入文件系统中适当的分区。例如，该作业配置为使用写入/data/date=${date}/hour=${hour}的分流接收器。如何检测分区是否已准备好使用，以便相应的气流管道可以在该小时内执行一些批处理？
浏览 11提问于2019-01-11得票数 1
我正在编写一个flink批处理作业，并将许多print()添加到我的DateSet<>中进行调试。然后以作业管理器为k8s的作业群集模式部署作业，并在第一次打印完成时停止。最后，我在本地环境中打开了一个ExecutionEnvironment.createLocalEnvironmentWithWebUI(config)，我发现flink一个接一个地执行不同的作业id，这些作业是我全部工作的子作业
浏览 1提问于2019-09-23得票数 0
回答已采纳
1回答
Flink群集详细信息，Flink版本：1.11我们使用PackagedProgram从流作业中提交Flink批处理作业，但是我们的要求是一次只执行一个作业，假设我们从源获得2个事件，所以理想的情况下，必须触发2个批处理作业(每个事件)，但每次只能执行一个。为了实现这一点，我们使用了client.setDetached(false) (在fl
浏览 4提问于2020-09-22得票数 0
回答已采纳
众所周知，Flink有两个核心mode.So (数据流/数据集)，但是当我使用flink Sql客户端提交作业时，我不需要选择流或批处理API，因为Flink SQL客户端如何决定使用批处理模式和流模式那么，我想知道Flink SQL Client如何区分批处理模式和流模式？
浏览 29提问于2019-12-23得票数 0
回答已采纳
1回答
当我的制作人把所有的消息都流到Kafka之后，在Flink完成处理之后，我希望能够终止Flink作业，这样它就不会继续运行了，这样我就可以知道Flink什么时候完成了所有的数据处理。我也不能使用批处理，因为我需要Flink运行平行于我的Kafka流。通常，Flink在一个isEndOfStream类中使用DeserializationSchema方法来查看它是否应该提前结束(返回方法中的true将自动结束作业)。但是
浏览 13提问于2022-10-03得票数 0
我在flink 1.11.1中编写了一个flink批处理作业。作业成功完成后，我想做一些类似于调用http服务的事情。 我添加了一个简单的作业监听器来挂接作业状态。问题是，当kafka接收器操作符抛出错误时，作业侦听器不会触发。我希望当我的作业失败时，它应该触发我的作业侦听器并打印失败日志。 我如何确定工作是否成功完成？ 任何帮助都将不胜感激。
浏览 168提问于2020-08-27得票数 0
我希望处理来自kafka的消息，然后提交该消息，一旦flink消费和处理所有消息，结束作业，使用任务管理器和心跳将进程升级
StreamExecutionEnvironment environment
浏览 4提问于2022-06-09得票数 -1
我有一个使用Apache Flink (flink版本: 1.8.1)的作业流，使用scala。有如下流作业要求: Kafka ->写入Hbase ->再次发送到kafka使用不同的主题 在写入Hbase的过程中，需要从另一个表中检索数据。为了确保数据不为空(NULL)，作业必须(在一定时间内)重复检查数据是否为空。 Flink可以做到这一点吗？如果是，您能提供与我的需求类似的情况的示例吗？编辑:我的意思是，对于我在内容中描述的问题，我想过必须在作业流中创建
浏览 46提问于2020-12-21得票数 1
1回答
我正在尝试使用Flink 2.1.0从mysql日志表中读取流数据，但是，它只读取一次，然后它将停止该过程。我希望它继续读取，如果有传入的数据，并打印它。for Source: Custom Source (1$09:15:56,394 INFO org.apache.flink.core.fs.FileSystem- Terminate JobClientActor.
09:15:56,406 INFO org.apache.flink.runtime.c
浏览 72提问于2017-02-22得票数 2
1回答
我有flink批处理工作。持续运行的最佳方式是什么？(它需要在完成后重新启动，因为流式作业可以提供新的数据)
无限循环和内部调用任务？
浏览 1提问于2016-10-12得票数 1
我在线程"main“中得到了一个异常:类org.apache.flink.state.api.runtime.SavepointLoader试图访问受保护的方法org.apache.flink.runtime.state.filesystem.AbstractFsCheckpointStorage.resolveCheckpointPointer(Ljava/lang/String;)Lorg/apache/flink/runtime/state/Complet
浏览 0提问于2020-01-20得票数 1
回答已采纳
1回答
我有一个java应用程序，它通过从数据库查询表并将其输入kafka主题来对批处理进行flink批处理。我该如何定期安排这件事。有flink调度程序吗？例如，我的java应用程序应该在后台继续运行，flink调度程序应该定期查询数据库中的表，flink批处理处理它并输入kafka(flink批处理和输入kafka已经完成了我的应用程序的一部分)。
浏览 2提问于2016-11-29得票数 4
回答已采纳
考虑一项守则：import org.apache.flink.table.api.bridge.java.StreamTableEnvironmentGROUP BY createdDate, id" temp.executeInsert("output_table");
}org.apache.flink.client.program.ProgramInvocationEx
浏览 0提问于2021-10-03得票数 1
回答已采纳
1回答
让我以一种通用的方式开始，看看我是否错过了一些概念:我有一个流flink作业，我从该作业创建了一个保存点。此作业的简化版本如下所示 Pseduo-代码： val flink = StreamExecutionEnvironment.getExecutionEnvironment flink.readFile(path)else {}
浏览 51提问于2021-08-03得票数 0
回答已采纳
1回答
在我的应用程序中，我创建了一个Azure批处理作业。这是一个Node应用程序，我使用的是蓝色批次的Node客户端，但我也可以使用REST，我认为这不重要。但是，我不能切换到C#客户端。我预计作业将在几秒钟内完成，我希望暂停代码，直到批处理作业结束，但是，我不知道如何在不轮询作业状态API的情况下检测作业的结束。Node客户端和REST都不公开此类功能。您知道如何从我的应用程序中检测
浏览 0提问于2019-01-23得票数 1
3回答
在实践中，小批处理和实时流有什么区别(不是理论)？理论上，我理解迷你批处理是在给定的时间范围内批处理的，而实时流更像是在数据到达时做一些事情，但我最大的问题是为什么不使用带有epsilon时间框架的小批处理(例如1毫秒)，或者我想了解为什么一个小批处理比其他的解决方案更有效我最近遇到了一个例子，其中迷你批处理(Apache )用于欺诈检测，实时流(Apache )用于预防欺诈。还有人评论说，迷你批处理并不是防止欺诈的有效解决方案(因为目标是防止事务发生
浏览 8提问于2016-09-27得票数 24
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
