Spark on Yarn是一种在Yarn集群上运行的分布式计算框架,它将Spark作为应用程序运行在Yarn资源管理器之上。在使用Spark on Yarn时,有时会遇到作业未被Yarn接受的问题,其中常见的错误信息是"YarnScheduler:66接受-初始作业未接受任何资源"。
这个错误通常是由于资源不足或配置问题导致的。下面是一些可能导致该错误的原因和解决方法:
腾讯云提供了一系列与Spark on Yarn相关的产品和服务,可以帮助用户轻松搭建和管理Spark集群。其中包括腾讯云的弹性MapReduce(EMR)服务,它提供了完全托管的Spark集群,用户可以方便地在云上运行Spark作业。更多关于腾讯云EMR的信息可以在以下链接中找到:腾讯云EMR产品介绍
总结:当Spark on Yarn作业未被Yarn接受时,可能是由于资源不足或配置问题导致的。可以通过增加集群资源、调整作业资源配置、检查Yarn配置和队列设置等方式来解决。腾讯云的弹性MapReduce(EMR)服务是一个推荐的解决方案,可以帮助用户轻松搭建和管理Spark集群。
没有搜到相关的沙龙
领取专属 10元无门槛券
手把手带您无忧上云