我希望在作业完成并删除群集后,能够以编程方式访问我的驱动程序日志。我可以将作业和集群id存储在某个地方,以便以后查找,但我认为只告诉dataproc将日志存储在一个众所周知的位置会更容易一些。有什么方法可以覆盖spark作业的驱动程序输出的位置吗?
发布于 2019-05-21 17:39:36
目前还不支持,但您可以在公共Dataproc issue tracker上使用file a feature request。
但是,您也可以考虑在创建集群时指定一个自定义的--bucket
;在这种情况下,驱动程序输出和其他集群配置文件将放入您指定为集群配置存储桶的任何存储桶中,而不是默认的dataproc创建的存储桶中。
https://stackoverflow.com/questions/56234578
复制相似问题