腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(8906)
视频
沙龙
1
回答
每次
运行
Flink
作业
时
都
会有
多个
“
k8s-ha-app1-jobmanager
”
配置
映射
、
、
:NativeKubernetesHAforFlink-LeaderElection 我可以在
Flink
名称空间上观察到上述文档中描述的每个资源的
配置
映射
: k8s-ha-app1-00000000000000000000000000000000我看到了与一天中
运行
的
作业
一样多的
作业
。这可能是一个很高的数字,因此随着时间的推移,它意味着
配置
映射
的大量涌现 在群集命名空间中。
作业
管理器的不同HA
配置
图似乎在以下两个方
浏览 38
提问于2021-02-12
得票数 0
回答已采纳
1
回答
在
每次
作业
提交超过rest后,
作业
管理器中的
flink
磁盘使用率增加。
、
我已经在AWS ECS中部署了自己的
flink
设置。一个服务用于JobManager,一个服务用于任务管理器。我正在为
作业
管理器
运行
一个ECS任务,为任务经理
运行
3个ecs任务。我有一种批处理
作业
,我每天都使用
flink
rest上传新参数,当我
每次
提交磁盘内存增加600 S3
时
,我给出了一个检查点作为S3。因为我在ECS上
运行
,所以在
每次
jar上传和执行时
都
找不到内存增加的原因。 我应该看的<em
浏览 2
提问于2021-03-29
得票数 1
1
回答
Flink
作业
因SQL查询无效而结束。
、
我们正在
运行
Flink
作业
,这些
作业
使用Kafka的数据,执行SQL查询(使用SQL )并将输出写到Kafka。如果 value1 <> val
浏览 5
提问于2022-09-12
得票数 1
1
回答
在应用程序完成
时
清理Kubernetes上的
Flink
应用程序集群的最佳实践
、
、
我们在应用程序模式下的Kubernetes上
运行
Flink
作业
,问题是当
作业
完成/停止
时
,
作业
管理器容器将退出,但1.任务管理器的部署2.
作业
管理器服务3.删除将仍然存在,除非我们
运行
kubectl configMap如果我们手动停止
作业
,这并不是什么大问题,但如果我们的
Flink
作业
是一个批处理
作业
,稍后将完成,这意味着我们需要一个外部服务来监视
作业
管
浏览 5
提问于2021-02-20
得票数 0
1
回答
如何处理
flink
流
作业
中的背压?
、
我正在
运行
一个流
flink
作业
,它消耗了kafka的流数据,并对
flink
映射
函数中的数据进行了处理,并将数据写入Azure数据湖和弹性搜索。现在,当我
运行
这项工作
时
,
flink
开始从kafka获取流数据,它的背压在
映射
函数中变得很高。有什么设置或
配置
,我可以做,以避免反压力在
flink
?
浏览 6
提问于2017-07-22
得票数 1
2
回答
如何确定
flink
中的任务槽数
、
、
、
我正试图确定如何为我的
flink
工作划分任务插槽。更具体地说,是否有理由每个任务管理器使用2个任务槽(或更多),而不是每个任务管理器使用一个任务
时
隙?我看到每个任务管理器有
多个
任务插槽有助于减少网络开销,但还有其他好处吗?(谢谢你:)
浏览 45
提问于2022-08-09
得票数 1
3
回答
当一个TaskManager是OOM
时
,
作业
会失败吗?
当我在Kubernetes上
运行
Flink
1.8 WordCount示例
作业
时
,我注意到了一个行为。有时,TaskManager pod会获得OOMKilled并重新启动(暂时不需要担心),但是整个工作
都
失败了,JobManager日志显示了The assigned slot XXX was removed我的问题是,为什么整个工作
都
失败了?我是否可以
配置
Flink
,使
作业
更能容忍短暂的TaskManager故障?
浏览 0
提问于2019-08-30
得票数 1
回答已采纳
1
回答
迁移期间暂停/恢复
Flink
作业
、
、
我使用Apache
Flink
将来自给定的Kafka主题集的更新传播到Elasticsearch集群中。我面临的问题是,有时Elasticsearch集群会进化,而我必须通过(1)修改
映射
,当我不得不将
Flink
作业
指向新的别名/索引
时
,(2)复制到data...and
时
,就
会有
大量的更新到旧的索引。我试图使
Flink
作业
减速或暂停(Kafka)输入源,直到迁移完成,但我没有找到任何端点。
Flink
<e
浏览 5
提问于2022-06-21
得票数 0
1
回答
在
Flink
中并行性和并行计算有什么区别?
、
、
、
我对在
Flink
中可以并行工作的任务的数量感到困惑,在分布式系统中的并行性是多少?以及它与
Flink
中的computation?
Flink
中的,如果两个操作符分别工作,但每一个操作符中的并行数为1,这是否算作并行?在KeyedStream中,最大并行度是键数吗?,
Flink
中当前的CEP引擎是否能够在
多个
任务中工作? 谢谢。
浏览 4
提问于2020-04-10
得票数 2
2
回答
如何在从IDE
运行
flink
时
设置presto.s3.xxx属性?
我能够成功地
运行
我的
flink
作业
,它使用S3保存到./bin/
flink
run ...。为此,我必须将
flink
- S3 -fs-presto jar复制到我的$
FLINK
_HOME/lib文件夹中,还必须在我的
flink
-conf.yaml中
配置
我的S3连接详细信息。/bin/
flink
run
运行
时,这一切都很好。但是,当我试图从IDE (IntelliJ)<
浏览 2
提问于2018-01-26
得票数 1
1
回答
Apache :注册名称冲突。名为*的KvState已被另一个操作员注册
、
当我
运行
flink
工作
时
,我面临着这个问题。org.apache.
flink
.runtime.execution.SuppressRestartsException: Unrecoverable failure.:120) at org.apache.
flink
.runtime.jobmanager.JobManager.org$apache$
flink
$runtime$jobmanager$JobManager:116)
浏览 0
提问于2018-04-24
得票数 1
2
回答
在
Flink
Mini Cluster (1.11)和AvroKryoSerializerUtils上
运行
流不起作用
在集成测试中测试
flink
mini集群上的流
时
,我遇到了一个问题。该流
映射
一个生成的Avro Java类( SpecificRecord )。 流
作业
是用Scala编写的。
flink
运行
时正在崩溃,因为它无法实例化org.apache.
flink
.formats.avro.utils.AvroKryoSerializerUtils 下面是堆栈跟踪: stack: java.lang.ClassCastException(KryoSerializer.java:572)
浏览 38
提问于2020-09-25
得票数 0
1
回答
如何在
Flink
中实现自动故障切换
我在集群模式下启动
flink
并提交
flink
作业
。我已经在
flink
配置
中
配置
了24个任务槽,对于该任务,我使用了6个任务插槽。当我提交
作业
时
,我看到3个任务被分配给工人机器1,3个任务分配给工作机器2。现在,当我在WorkerMachine 2上杀死WorkerMachine 2
时
,我看到整个
作业
失败了。我们尝试了重新启动策略,但是当它重新启动
时
,我们会得到一个异常,它说没有可用的任务槽,然后<e
浏览 4
提问于2018-01-15
得票数 2
0
回答
在
flink
纱线集群
作业
中使用JNI
、
、
、
我有一个应用程序,它通过RemoteExecutionEnvironment scala API将Apache
Flink
作业
分派到AWS Elastic MapReduce YARN集群。这些
作业
使用JNI通过C库
运行
部分计算。看起来
Flink
在
每次
调度
作业
时
都会使用一个新的ClassLoader,而我在计算节点上得到了Native library already loaded in another classloader错误一些谷歌搜索告诉我,这是
浏览 2
提问于2016-07-08
得票数 3
1
回答
Apache
Flink
-端到端测试如何终止输入源
、
、
、
、
我已经在批处理中使用了apache一段时间,但现在我们希望将这个批处理
作业
转换为流
作业
。我遇到的问题是如何
运行
端到端的测试。如何在批处理
作业
中工作 我们希望对流
作业
做一些类似的事情,除非流
作业
没有真正完成。所以:
运行
流媒体
浏览 1
提问于2018-07-09
得票数 4
回答已采纳
1
回答
Flink
插槽指标(可用/正在
运行
/已注册)
Flink
公开的这些指标之间到底有什么区别? ? 谢谢!
浏览 9
提问于2019-09-19
得票数 0
回答已采纳
1
回答
运行
时的Apache
Flink
映射
、
、
我已经建立了一个
flink
流
作业
,从kafka读取xml文件,转换文件,并将其写入数据库中。由于xml文件中的属性与数据库列名称不匹配,因此我为
映射
构建了一个切换用例。首先,我想出了一个
映射
文件的想法,它可能看起来像这样: path.in.xml.to.attribut=database.column.name 当前
作业
逻辑如下所示: switch(path.in.xml.to.attribute){ retur
浏览 12
提问于2020-11-18
得票数 0
回答已采纳
2
回答
如何使用薄罐子而不是胖罐子?
、
、
我们目前正在使用maven-shade-plugin将我们的
Flink
应用程序部署为一个胖jar。问题是,每个应用程序jar最终大约为130-140MB,
每次
构建和部署都很痛苦。
浏览 5
提问于2018-10-03
得票数 1
2
回答
Apache
Flink
-
运行
重复
作业
时
检查点/保存点的工作方式(多租户)
、
、
、
、
我有
多个
Kafka主题(多租户),并且我根据主题的数量多次
运行
相同的
作业
,每个
作业
消耗来自一个主题的消息。我已经将文件系统
配置
为状态后端。 假设有3个
作业
在
运行
。检查点在这里是如何工作的?这3个
作业
是否都将检查点信息存储在同一路径中?如果任何
作业
失败,该
作业
如何知道从何处恢复检查点信息?我们过去常常在向
flink
群集提交
作业
时
提供
作业
名称。这跟它
浏览 33
提问于2020-07-16
得票数 0
回答已采纳
1
回答
Flink
码头组合自定义库
、
、
、
、
我正在尝试设置一个
Flink
会话集群使用坞-撰写。我希望在
Flink
中加载一个自定义库,因为这个库包含我所有
作业
使用的代码。当我使用Web提交
作业
时
,我的
作业
运行
正常,只有一个例外: 在我的库中,我有一个
flink
映射
操作符(称为DeserialisationMapper),它使用来自Kafka的JSON消息,并根据消息中的标记创建定制的当我为
作业
导出一个"fat“jar
时
,即包含
浏览 6
提问于2020-11-11
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
分享一个Flink checkpoint失败的问题和解决办法
百亿条日志实时处理,为什么要用Flink?
Flink on PaaSTA:Yelp运行在Kubernetes上的新流处理平台
新老手都值得看的Flink关键技术解析与优化实战
蚂蚁实时计算团队的AntFlink提交攻坚之路
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券