Spring DataFlow Yarn -容器超出了物理内存
Spring DataFlow是一个用于构建和管理数据流应用程序的框架。它提供了一种简化的方式来定义、部署和监控数据流应用程序。Yarn是Apache Hadoop生态系统中的一个资源管理器，它负责在集群中分配和管理资源。当容器超出了物理内存时，可能会导致应用程序的性能下降或崩溃。
为了解决容器超出物理内存的问题，可以采取以下措施：
- 调整容器的内存分配：可以通过调整容器的内存分配来解决容器超出物理内存的问题。可以增加容器的内存限制，以便容器可以更好地适应应用程序的需求。
- 优化应用程序的内存使用：可以通过优化应用程序的内存使用来减少容器超出物理内存的可能性。可以使用内存分析工具来识别和解决内存泄漏或过度使用内存的问题。
- 水平扩展集群：如果容器超出物理内存的问题无法通过调整内存分配或优化应用程序解决，可以考虑水平扩展集群。通过增加集群中的节点数量，可以分散负载并减少每个节点上的内存使用量。
- 使用腾讯云相关产品：腾讯云提供了一系列与云计算和数据处理相关的产品，可以帮助解决容器超出物理内存的问题。例如，可以使用腾讯云的弹性容器实例（Elastic Container Instance）来动态调整容器的资源分配，以适应应用程序的需求。此外，腾讯云还提供了云服务器（Cloud Server）、云数据库（Cloud Database）等产品，可以用于支持和扩展数据流应用程序。
更多关于腾讯云相关产品的信息，请参考腾讯云官方网站：腾讯云。
相关·内容
='jdbc:h2:tcp://localhost:19092/mem:dataflow' 1>/var/log/hadoop-yarn/containers/application_1485796744143: yarn: baseDir: /dataflow memory: 512m
浏览 20提问于2017-01-31得票数 0
回答已采纳
1回答
我有一个火花应用程序经常出错：
我看到很多不同的参数被建议改变以增加物理记忆。请给我一些关于下列参数的解释。mapreduce.map.java.opts/mapreduce.reduce
浏览 1提问于2017-12-07得票数 3
回答已采纳
如果纱线容器超出其堆大小设置，则映射或减少任务将失败，其错误类似于下面的错误：
2015-02-06 11:58:15,461 WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl-Xms40960m -Xmx40960m -XX:MaxPermSize=128m -Dspark.sql.shuffle.partitions=20 -Djava.io.tmpdir=/data/yarnXm
浏览 2提问于2015-02-09得票数 4
回答已采纳
版本: spring-xd-1.0.1Hadoop版本: cdh5
我已经修改了config/servers.yml以指向右边的applicationDir、Zoo门将、hdfs、resourcemanager我不明白为什么容器会消耗31克内存。请指出正确的方向来调试这个问题。另外，如何提高日志级别？cluster_timestamp: 1415816376410 } attemptId: 1} id: 2} state: C_COMPLETE诊断：“Containerpid=19374，application_
浏览 0提问于2014-11-21得票数 0
由于我已经在Spark上工作了几天，我对spark内存管理感到困惑。我看到了诸如物理内存、虚拟内存、执行器内存、内存开销之类的术语，根据我目前的理解，这些值并没有正确地相加。物理内存和虚拟内存分配是如何完成的。执行器内存和内存开销？ 同样，当我在客户端模式下使用相同的配置运行相同的作业时，它也可以成功运行。为甚麽呢？
浏览 82提问于2020-08-18得票数 0
2回答
我使用Hadoop2.0.5 (Alpha)运行相对较大的作业，并且遇到了以下错误：
yarn.nodemanager.vmem-pmem-ratio属性，默认设置为2.1。默认情况下，<e
浏览 2提问于2013-09-09得票数 9
回答已采纳
yarn.scheduler.maximum-allocation-mb和yarn.nodemanager.resource.memory-mb有什么区别？我在yarn-site.xml中看到了这两种情况，我看到了的解释。
yarn.scheduler.maximum-allocation-mb的定义如下: MBs中每个容器请求在RM中的最大分配。高于此值的内存请求将引发InvalidResourceRequestException。这是否意味着仅在资源分析器上的内存请
浏览 0提问于2017-05-07得票数 41
回答已采纳
错误cluster.YarnClusterScheduler: XXXX上丢失的executor 14 :容器因超出内存限制而被YARN杀死。已使用55 GB物理内存中的55.6 GB。抛出错误的行号代码如下...我正在写一个拼图文件....它一直工作到昨天，不能确定从最后一次运行，只是它用相同的输入文件抛出了错误
浏览 0提问于2021-03-16得票数 0
1回答
当我提交这个命令时，我的作业失败了，错误是“容器正在超越物理内存限制运行”。spark-submit --master yarn --deploy-mode cluster --executor-memory 5G --total-executor-cores 30 --num-executors15 --conf spark.yarn.executor.memoryOverhead=1000
但是，如果将参数：--driver-memory添加到5GB (或更高)，则作业结束时不会出错。15 --dri
浏览 0提问于2018-11-09得票数 2
回答已采纳
YarnSchedulerBackends$YarnSchedulerEndpoint:超过内存限制被YarnSchedulerEndpoint杀死的容器。使用了2.5 of物理内存中的2.6 of。考虑提升spark.yarn.executor.memoryOverhead。
我在创建SparkSession时在程序中设置了spark.yarn.executor.memoryOverhead。我的问题是-在创建SparkSession时设置"spark.yarn</e
浏览 18提问于2018-07-28得票数 1
回答已采纳
2回答
但仍在不断地获得超越物理极限的误差。15/04/07 19:58:17信息yarn.YarnAllocator:容器标记为失败: container_1426882329798_0674_01_000002。出口情况: 143。诊断:容器containerID=container_1426882329798_0674_01_000002的运行超出了物理内存的限制。当前使用:使用16.1 GB的16 GB物理内存；使
浏览 3提问于2015-04-07得票数 1
Yarn停止运行，我在Node日志中看到java.lang.OutOfMemoryError: GC overhead limit exceeded。自然，我将Node的内存从1G增加到2G，然后再增加到4G，我仍然看到了同样的问题。yarn.YarnUncaughtExceptionHandler (YarnUncaughtExceptionHandler.java:un
浏览 8提问于2022-02-01得票数 0
我正在尝试在hadoop上实现jcuda代码，它在本地模式下工作，但当我在hadoop集群上运行作业时，它给我一个错误:容器在这里被杀死是特定的错误报告：
16/04/29 10:18:07信息容器:任务01_000021运行超出虚拟内存限制。当前使用:使用197.5 MB的1 GB物理内存；使用20.9 GB的2.1 GB虚拟内存。杀死容器。输入数据只有200MB，但是作业要求20.9 in的虚拟内存我不知道我已经尝试增加虚拟<e
浏览 5提问于2016-04-29得票数 0
2回答
正在超越虚拟内存限制。当前使用:使用了121.2 MB的1GB物理内存；2.1GB使用了2.1GB虚拟内存。杀人容器。以非零出口代码143退出的容器我怎么才能修好它？ <property>
<name&g
浏览 3提问于2017-04-16得票数 8
回答已采纳
https://dataflow.spring.io/docs/recipes/multi-platform-deployment/multi-platform-task/ 我们是否有类似的本地部署示例我正在寻找使用本地部署跨不同物理服务器部署任务(我们目前还没有使用容器)
浏览 46提问于2021-01-15得票数 0
火花版本: 1.6spark-submit --master yarn-client --num-executors 10 --executor-memory 4G原因:超过限值的容器被纱线杀死。4.5GB的3GB物理内存使用限制。考虑提高spark.yarn.executor.memoryOverhead。我已经尝试过将spark.yarn.executor.memoryOverhead设置为100000。仍然会有类似的错误。我不明白，如果内存不足
浏览 1提问于2017-06-14得票数 0
set yarn.scheduler.maximum-allocation-mb=2048; set spark.executor.memory=4g;
set spark.yarn.executor.memoryOverhead
浏览 5提问于2017-10-26得票数 0
回答已采纳
2回答
我正在YARN集群上运行spark应用程序(在AWS EMR上)。应用程序似乎被终止了，我想找出原因。我试着理解下面屏幕中给出的纱线信息。屏幕上的诊断行似乎显示，由于内存限制，纱线杀死了应用程序：17/03/04 21:59
浏览 1提问于2017-03-05得票数 2
我是hadoop/纱线新手，在任务执行过程中需要消耗容器资源。当我查看apache网站上的文档时，它说“nodemanager.负责容器，监视它们的资源使用情况(cpu、内存、磁盘、网络)，并向resourcemanager报告同样的情况”。但是在NodeHeartbeatRequest中，节点状态只具有容器id，而没有cpu内存等。非常感谢！
浏览 2提问于2014-11-28得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
