1. 接口描述
接口请求域名: dlc.tencentcloudapi.com 。
查询Spark作业的运行任务列表
默认接口请求频率限制:40次/秒。
推荐使用 API Explorer
点击调试
API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。
2. 输入参数
以下请求参数列表仅列出了接口请求参数和部分公共参数,完整公共参数列表见 公共请求参数。
参数名称 | 必选 | 类型 | 描述 |
---|---|---|---|
Action | 是 | String | 公共参数,本接口取值:DescribeSparkAppTasks。 |
Version | 是 | String | 公共参数,本接口取值:2021-01-25。 |
Region | 是 | String | 公共参数,详见产品支持的 地域列表。 |
JobId | 是 | String | spark作业Id 示例值:batch_133e005d-6486-4517-8ea7-b6b97b183a6b |
Offset | 否 | Integer | 分页查询偏移量 示例值:0 |
Limit | 否 | Integer | 分页查询Limit 示例值:10 |
TaskId | 否 | String | 执行实例id |
StartTime | 否 | String | 更新时间起始点,支持格式:yyyy-MM-dd HH:mm:ss 示例值:2022-01-01 00:00:00 |
EndTime | 否 | String | 更新时间截止点,支持格式:yyyy-MM-dd HH:mm:ss 示例值:2022-01-02 00:00:00 |
Filters.N | 否 | Array of Filter | 按照该参数过滤,支持task-state |
3. 输出参数
参数名称 | 类型 | 描述 |
---|---|---|
Tasks | TaskResponseInfo | 任务结果(该字段已废弃) 注意:此字段可能返回 null,表示取不到有效值。 |
TotalCount | Integer | 任务总数 示例值:1 |
SparkAppTasks | Array of TaskResponseInfo | 任务结果列表 注意:此字段可能返回 null,表示取不到有效值。 |
RequestId | String | 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。 |
4. 示例
示例1 查询Spark作业的运行任务列表
查询Spark作业的运行任务列表
输入示例
POST / HTTP/1.1
Host: dlc.tencentcloudapi.com
Content-Type: application/json
X-TC-Action:DescribeSparkAppTasks
<公共请求参数>
{
"JobId": "batch_133e005d-6486-4517-8ea7-b6b97b183a6b",
"Offset": 0,
"Limit": 10
}
输出示例
{
"Response": {
"Tasks": {
"DatabaseName": "abc",
"DataAmount": 0,
"Id": "abc",
"UsedTime": 0,
"OutputPath": "abc",
"CreateTime": "abc",
"State": 0,
"SQLType": "abc",
"SQL": "abc",
"ResultExpired": true,
"RowAffectInfo": "abc",
"DataSet": "abc",
"Error": "abc",
"Percentage": 0,
"OutputMessage": "abc",
"TaskType": "abc",
"ProgressDetail": "abc",
"UpdateTime": "abc",
"DataEngineId": "abc",
"OperateUin": "abc",
"DataEngineName": "abc",
"InputType": "abc",
"InputConf": "abc",
"DataNumber": 0,
"CanDownload": true,
"UserAlias": "abc",
"SparkJobName": "abc",
"SparkJobId": "abc",
"SparkJobFile": "abc",
"UiUrl": "abc",
"TotalTime": 0,
"CmdArgs": "abc",
"ImageVersion": "abc",
"DriverSize": "abc",
"ExecutorSize": "abc",
"ExecutorNums": 1,
"ExecutorMaxNumbers": 1,
"CommonMetrics": {
"CreateTaskTime": 0,
"ProcessTime": 0,
"QueueTime": 0,
"ExecutionTime": 0,
"IsResultCacheHit": true,
"MatchedMVBytes": 0,
"MatchedMVs": "abc",
"AffectedBytes": "abc",
"AffectedRows": 0,
"ProcessedBytes": 0,
"ProcessedRows": 0
},
"SparkMonitorMetrics": {
"ShuffleWriteBytesCos": 0,
"ShuffleWriteBytesTotal": 0
},
"PrestoMonitorMetrics": {
"LocalCacheHitRate": 0,
"FragmentCacheHitRate": 0
}
},
"TotalCount": 0,
"SparkAppTasks": [
{
"DatabaseName": "abc",
"DataAmount": 0,
"Id": "abc",
"UsedTime": 0,
"OutputPath": "abc",
"CreateTime": "abc",
"State": 0,
"SQLType": "abc",
"SQL": "abc",
"ResultExpired": true,
"RowAffectInfo": "abc",
"DataSet": "abc",
"Error": "abc",
"Percentage": 0,
"OutputMessage": "abc",
"TaskType": "abc",
"ProgressDetail": "abc",
"UpdateTime": "abc",
"DataEngineId": "abc",
"OperateUin": "abc",
"DataEngineName": "abc",
"InputType": "abc",
"InputConf": "abc",
"DataNumber": 0,
"CanDownload": true,
"UserAlias": "abc",
"SparkJobName": "abc",
"SparkJobId": "abc",
"SparkJobFile": "abc",
"UiUrl": "abc",
"TotalTime": 0,
"CmdArgs": "abc",
"ImageVersion": "abc",
"DriverSize": "abc",
"ExecutorSize": "abc",
"ExecutorNums": 1,
"ExecutorMaxNumbers": 1,
"CommonMetrics": {
"CreateTaskTime": 0,
"ProcessTime": 0,
"QueueTime": 0,
"ExecutionTime": 0,
"IsResultCacheHit": true,
"MatchedMVBytes": 0,
"MatchedMVs": "abc",
"AffectedBytes": "abc",
"AffectedRows": 0,
"ProcessedBytes": 0,
"ProcessedRows": 0
},
"SparkMonitorMetrics": {
"ShuffleWriteBytesCos": 0,
"ShuffleWriteBytesTotal": 0
},
"PrestoMonitorMetrics": {
"LocalCacheHitRate": 0,
"FragmentCacheHitRate": 0
}
}
],
"RequestId": "abc"
}
}
5. 开发者资源
腾讯云 API 平台
腾讯云 API 平台 是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台,方便您从同一入口查询及使用腾讯云提供的所有 API 服务。
API Inspector
用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况,并自动生成各语言版本的 API 代码,也可前往 API Explorer 进行在线调试。
SDK
云 API 3.0 提供了配套的开发工具集(SDK),支持多种编程语言,能更方便的调用 API。
- Tencent Cloud SDK 3.0 for Python: GitHub Gitee
- Tencent Cloud SDK 3.0 for Java: GitHub Gitee
- Tencent Cloud SDK 3.0 for PHP: GitHub Gitee
- Tencent Cloud SDK 3.0 for Go: GitHub Gitee
- Tencent Cloud SDK 3.0 for Node.js: GitHub Gitee
- Tencent Cloud SDK 3.0 for .NET: GitHub Gitee
- Tencent Cloud SDK 3.0 for C++: GitHub Gitee
- Tencent Cloud SDK 3.0 for Ruby: GitHub Gitee
命令行工具
6. 错误码
以下仅列出了接口业务逻辑相关的错误码,其他错误码详见 公共错误码。
错误码 | 描述 |
---|---|
FailedOperation | 操作失败。 |
InternalError.InternalSystemException | 业务系统异常,请重试或提工单联系我们。 |
InvalidParameter.FiltersValuesNumberOutOfLimit | 指定Filter.Values参数数量超限,当前应小于等于50个 |
InvalidParameter.InvalidTimeFormat | 指定时间格式不合规,当前仅支持: YYYY-mm-dd HH:MM:SS |
InvalidParameter.InvalidTimeParameter | 日期参数异常,如结束时间早于开始时间 |
InvalidParameter.ParameterNotFoundOrBeNone | 找不到参数或参数为空 |
InvalidParameter.SparkJobFiltersKeyTypeNotMath | 指定的Spark任务Filter.Key不匹配,当前仅支持: spark-app-type/user-name/spark-job-name/spark-job-id/key-word |
InvalidParameter.SparkJobNotFound | 指定的Spark任务不存在 |
InvalidParameter.SparkJobNotUnique | 指定的Spark任务已存在 |
ResourceUnavailable.WhiteListFunction | 当前为白名单功能,请联系我们开通 |