帮你快速理解、总结文档立即下载

更新tdlc spark作业

最近更新时间:2026-07-28 02:06:57

我的收藏

1. 接口描述

接口请求域名: dlc.tencentcloudapi.com 。

更新tdlc spark作业

默认接口请求频率限制:20次/秒。

推荐使用 API Explorer
点击调试
API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

2. 输入参数

以下请求参数列表仅列出了接口请求参数和部分公共参数,完整公共参数列表见 公共请求参数

参数名称 必选 类型 描述
Action String 公共参数,本接口取值:ModifySparkAppForTDLC。
Version String 公共参数,本接口取值:2021-01-25。
Region String 公共参数,详见产品支持的 地域列表
AppName String

spark作业名


示例值:test119
AppType Integer

spark作业类型,1代表spark jar作业,2代表spark streaming作业


示例值:1
DataEngine String

执行spark作业的数据引擎名称


示例值:test01
AppFile String

spark作业程序包文件路径


示例值:lakefs://****463247dbed0b3a1342652f033ad2d5e7dc673535b4e9bfd0ac8b@dl****026071**
RoleArn Integer

数据访问策略,CAM Role arn


示例值:1124
AppDriverSize String

指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)


示例值:medium
AppExecutorSize String

指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)


示例值:medium
AppExecutorNums Integer

spark作业executor个数


示例值:1
SparkAppId String

spark作业Id


示例值:batch_e5648d1b-a626-439d-af4b-ea405b9da7a6
Eni String

该字段已下线,请使用字段Datasource


示例值:eni-12345678
IsLocal String

spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)


示例值:lakefs
MainClass String

spark作业主类


示例值:com.tencent.dlc.Test
AppConf String

spark配置,以换行符分隔


示例值:spark.network.timeout=120s
spark.sql.shuffle.partitions=200
IsLocalJars String

spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)


示例值:cos
AppJars String

spark 作业依赖jar包(--jars),以逗号分隔


示例值:cosn://dlc-bucket001/jars/spark-sql-kafka-connector.jar
IsLocalFiles String

spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)


示例值:cos
AppFiles String

spark作业依赖文件资源(--files)(非jar、zip),以逗号分隔


示例值:cosn://dlc-bucket001/files/config.properties
IsLocalPythonFiles String

pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)


示例值:cos
AppPythonFiles String

pyspark作业依赖python资源(--py-files),支持py/zip/egg等归档格式,多文件以逗号分隔


示例值:cosn://dlc-bucket001/pyfiles/utils.py
CmdArgs String

spark作业程序入参


示例值:4
MaxRetries Integer

最大重试次数,只对spark流任务生效


示例值:5
DataSource String

数据源名


示例值:DataLakeCatalog
IsLocalArchives String

spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)


示例值:cos
AppArchives String

spark作业依赖archives资源(--archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔


示例值:cosn://dlc-bucket001/archives/venv.tar.gz
SparkImage String

Spark Image 版本号


示例值:1.1.0
SparkImageVersion String

Spark Image 版本名称


示例值:Spark 3.2.1.3
AppExecutorMaxNumbers Integer

指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums


示例值:7
SessionId String

关联dlc查询脚本


示例值:550e8400-e29b-41d4-a716-446655440000
IsInherit Integer

任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承


示例值:0
IsSessionStarted Boolean

是否使用session脚本的sql运行任务:false:否,true:是


示例值:false
DependencyPackages.N Array of DependencyPackage

标准引擎依赖包

3. 输出参数

参数名称 类型 描述
RequestId String 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。

4. 示例

示例1 更新tdlc spark作业

输入示例

POST / HTTP/1.1
Host: dlc.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: ModifySparkAppForTDLC
<公共请求参数>

{
    "AppName": "test119",
    "AppType": 1,
    "DataEngine": "test01",
    "AppFile": "lakefs://********************463247dbed0b3a1342652f033ad2d5e7dc673535b4e9bfd0ac8b@dl************************************************************************************026071******************************************************************************",
    "RoleArn": 1124,
    "AppDriverSize": "medium",
    "AppExecutorSize": "medium",
    "AppExecutorNums": 1,
    "SparkAppId": "batch_e5648d1b-a626-439d-af4b-ea405b9da7a6",
    "Eni": "eni-12345678",
    "IsLocal": "lakefs",
    "MainClass": "com.tencent.dlc.Test",
    "AppConf": "spark.network.timeout=120s\nspark.sql.shuffle.partitions=200",
    "IsLocalJars": "cos",
    "AppJars": "cosn://dlc-bucket001/jars/spark-sql-kafka-connector.jar",
    "IsLocalFiles": "cos",
    "AppFiles": "cosn://dlc-bucket001/files/config.properties",
    "IsLocalPythonFiles": "cos",
    "AppPythonFiles": "",
    "CmdArgs": "4",
    "MaxRetries": 5,
    "DataSource": "DataLakeCatalog",
    "IsLocalArchives": "cos",
    "AppArchives": "cosn://dlc-bucket001/archives/venv.tar.gz",
    "SparkImage": "1.1.0",
    "SparkImageVersion": "Spark 3.2.1.3",
    "AppExecutorMaxNumbers": 7,
    "SessionId": "550e8400-e29b-41d4-a716-446655440000",
    "IsInherit": 0,
    "IsSessionStarted": false,
    "DependencyPackages": [
        {
            "PackageSource": "CosOrFile",
            "PackageType": "pymodules",
            "PackagePath": "lakefs://********************463247dbed0b3a1342652f033ad2d5e7dc673535b4e9*************************************************************************/.system/sparkAppJar/2026071***********************f********************"
        }
    ]
}

输出示例

{
    "Response": {
        "RequestId": "367f6eb3-bce0-470d-8b79-093e4fcc686e"
    }
}

5. 开发者资源

腾讯云 API 平台

腾讯云 API 平台 是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台,方便您从同一入口查询及使用腾讯云提供的所有 API 服务。

API Inspector

用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况,并自动生成各语言版本的 API 代码,也可前往 API Explorer 进行在线调试。

SDK

云 API 3.0 提供了配套的开发工具集(SDK),支持多种编程语言,能更方便的调用 API。

命令行工具

6. 错误码

以下仅列出了接口业务逻辑相关的错误码,其他错误码详见 公共错误码

错误码 描述
FailedOperation 操作失败。
InternalError.InternalSystemException 业务系统异常,请重试或提工单联系我们。
InvalidParameter.InvalidAppFileFormat 指定的Spark任务程序包文件格式不匹配,当前仅支持.jar或.py
InvalidParameter.InvalidDataEngineName 无效的数据引擎名。
InvalidParameter.InvalidDriverSize 当前DriverSize规格仅支持: small/medium/large/xlarge/m.small/m.medium/m.large/m.xlarge
InvalidParameter.InvalidExecutorSize 当前ExecutorSize规格仅支持: small/medium/large/xlarge/m.small/m.medium/m.large/m.xlarge
InvalidParameter.InvalidFileCompressionFormat 指定的文件压缩格式不合规,当前仅支持: tar.gz/tar/tgz
InvalidParameter.InvalidFilePathFormat 指定的文件路径格式不合规,当前仅支持:cosn://或lakefs://
InvalidParameter.SQLBase64DecodeFail SQL脚本Base64解析失败
InvalidParameter.SparkJobNotFound 指定的Spark任务不存在
InvalidParameter.SparkJobOnlySupportSparkBatchEngine Spark任务仅支持使用Spark作业引擎运行
ResourceInsufficient.SparkJobInsufficientResources 指定的spark作业资源不足,请调整driver/executor规格
ResourceNotFound.DataEngineNotFound 指定的引擎不存在