问检查纱线应用日志
EN

Stack Overflow用户

提问于 2021-08-25 16:33:50

回答 1查看 190关注 0票数 0

我是spark的新手。我有一个10节点的Hadoop集群，只有一个边缘节点。我正在从边缘节点提交spark应用程序，并将spark-submit命令输出重定向到边缘节点上的本地文件。

因此，当spark应用程序失败时，我可以检查边缘节点日志文件并采取行动。

当我读到yarn应用程序日志时，据说运行该应用程序的节点管理器将登录到某个位置(yarn n.nodumager.log-dir)。

这个nodemanager日志和边缘节点日志有什么不同。有人能详细解释一下yarn应用程序日志吗？

发布于 2021-08-25 16:43:57

“边缘节点日志”将是火花驱动程序应用程序日志，可能会显示类似于URL to track the Job: <link to YARN UI>的内容

如果您想要实际的Spark运行时日志，您需要通过Spark UI查看独立的Spark执行器(如果Spark就是这样运行的，则重定向到YARN UI )

NodeManager (和ResourceManager)是一个纱线流程，有自己的日志，与您的Spark代码无关

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/68926735

复制

相似问题

问检查纱线应用日志EN