Spark UI (3、4、5) - Storage、Environment、Executors页面

接上文 Spark UI (2) - Stages页面

3、Storage页面

Storage页面展示的是作业在执行过程中缓存(cache)的数据信息, 包含cache rdd的大小和分布节点.

注意: Storage页面只在运行时显示, 作业结束后是不会展示任何信息的。

4、Environment页面

Environment页面展示了作业的运行环境和作业参数, 用户可以在这里确认环境和参数设置是否符合预期。

4.1 运行环境和作业参数

4.2 系统参数

5、Executors页面

Executors选项卡提供了关于内存、CPU核和其他被Executors使用的资源的信息。这些信息在Executor级别和汇总级别都可以获取到。一方面通过它可以看出来每个excutor是否发生了数据倾斜，另一方面可以具体分析目前的应用是否产生了大量的shuffle，是否可以通过数据的本地性或者减小数据的传输来减少shuffle的数据量。

• Summary: 该application运行过程中使用Executor的统计信息。
• Executors: 每个Excutor的详细信息（包含driver），可以点击查看某个Executor中任务运行的详细日志。