Stages页面会显示作业所有的stage信息, 不区分stage属于哪个job. 如图:
点击详情中的链接可以跳转到对应的stage详情页面, 如图:
点击DAG Visualization会展开该stage的DAG图, 会更详细地显示stage中rdd的pipeline操作
Additional Metrics有一些默认没有展示在页面上的统计指标, 勾选后会在task统计区和task详情里展示出来
点击Event Timeline会展开task的时间线这里可以看到task调度情况和执行时间占比
task指标统计区展示的是所有已完成task的指标统计, 注意每一列的指标不一定是属于同一个task的. 通常我们会对比最大值和TP75的指标来看是否有数据倾斜.
Aggregated Metrics by Executor会按Executor聚合task指标
task详情会展示每个task的相关信息, 包含task id, 所在节点, 启动时间, 耗时和统计指标等. 可以通过点击表头排序快速定位需要找的task:
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。