标准引擎参数配置

最近更新时间:2024-05-11 14:37:42

我的收藏
Spark 参数用于配置和调优 Apache Spark 应用程序的设置。
在自建的 Spark 中,这些参数可以通过命令行选项、配置文件或编程方式进行设置。
在 DLC 标准引擎中,您可以在引擎上设置 Spark 参数,这些参数会在用户提交 Spark 作业或使用自定义配置提交交互式 SQL 时生效。

设置标准 Spark 引擎参数

1. 进入标准引擎模块,单击参数配置,弹出引擎参数侧拉窗。



2. 标准Spark 引擎参数配置分为作业默认资源规格参数配置两个部分。作业默认资源规格默认为标准 Spark 引擎能够使用的所有资源之和,支持修改。
参数配置默认为空,用户可以根据需求添加。
Spark 参数可以参考 Spark 官方文档。




使用标准 Spark 引擎参数配置

标准 Spark 引擎参数配置生效的场景如下:
任务提交方式
参数是否生效
数据作业
数据探索 - 自定义配置
数据探索 - 资源组
JDBC 提交

1. 数据作业中使用参数配置:




在数据作业配置中,默认会继承标准 Spark 引擎的参数和资源配置。
您可以通过作业参数(--config)覆盖标准 Spark 引擎参数,并选择是否继承标准 Spark 引擎的资源配置。选中默认配置时,将使用标准 Spark 引擎的资源配置。

2. 在数据探索中使用参数配置:

数据探索使用标准 Spark 作业引擎 - 自定义配置运行交互式 SQL 时,默认会继承 Spark 标准引擎的参数和资源配置。您可以通过 SQL 中的 set 命令覆盖引擎级别参数,并选择是否修改默认的资源配置。资源配置修改之后会有缓存,该页面的配置会自动保存为用户修改的资源配置。



注意:
1. 标准 Spark 引擎的参数配置只会作用于 Spark 数据作业,数据探索 - 自定义配置,不会在资源组级别生效。资源组级别参数可以在资源组调整。
2. CPU 和内存相关参数无法生效,只能通过配置 CU 数确定任务使用的资源数量。