Spark on Yarn作业未被Yarn: YarnScheduler:66接受-初始作业未接受任何资源

Spark on Yarn是一种在Yarn集群上运行的分布式计算框架，它将Spark作为应用程序运行在Yarn资源管理器之上。在使用Spark on Yarn时，有时会遇到作业未被Yarn接受的问题，其中常见的错误信息是"YarnScheduler:66接受-初始作业未接受任何资源"。

这个错误通常是由于资源不足或配置问题导致的。下面是一些可能导致该错误的原因和解决方法：

1. 资源不足：Yarn集群中的资源可能已经被其他应用程序占用完毕，导致Spark作业无法获得足够的资源来执行。解决方法是等待其他作业释放资源或者增加集群的资源。
2. 配置问题：可能是Yarn的配置参数设置不正确导致的。可以检查Yarn的配置文件，确保资源分配和队列设置正确。
3. 作业资源需求过高：Spark作业可能要求的资源超过了集群的可用资源。可以通过调整Spark作业的资源配置来解决，例如减少executor的数量或者减少executor的内存分配。
4. Yarn队列设置问题：Yarn集群中的队列可能没有足够的资源来满足Spark作业的需求。可以通过调整Yarn队列的资源配额来解决，确保Spark作业所在的队列有足够的资源。

腾讯云提供了一系列与Spark on Yarn相关的产品和服务，可以帮助用户轻松搭建和管理Spark集群。其中包括腾讯云的弹性MapReduce（EMR）服务，它提供了完全托管的Spark集群，用户可以方便地在云上运行Spark作业。更多关于腾讯云EMR的信息可以在以下链接中找到：腾讯云EMR产品介绍

总结：当Spark on Yarn作业未被Yarn接受时，可能是由于资源不足或配置问题导致的。可以通过增加集群资源、调整作业资源配置、检查Yarn配置和队列设置等方式来解决。腾讯云的弹性MapReduce（EMR）服务是一个推荐的解决方案，可以帮助用户轻松搭建和管理Spark集群。