数据湖计算 DLC
视频服务与安全产品捉虫活动邀您参加！> HOT
文档中心>数据湖计算 DLC>API 文档>任务相关接口>查询spark应用的运行任务实例列表

查询spark应用的运行任务实例列表

最近更新时间：2024-06-13 01:36:13

我的收藏

本页目录：

1. 接口描述

接口请求域名： dlc.tencentcloudapi.com 。

查询Spark作业的运行任务列表

默认接口请求频率限制：40次/秒。

推荐使用 API Explorer
点击调试
API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

2. 输入参数

以下请求参数列表仅列出了接口请求参数和部分公共参数，完整公共参数列表见 公共请求参数。

参数名称 必选 类型 描述
Action 是 String 公共参数，本接口取值：DescribeSparkAppTasks。
Version 是 String 公共参数，本接口取值：2021-01-25。
Region 是 String 公共参数，详见产品支持的 地域列表。
JobId 是 String spark作业Id
示例值：batch_133e005d-6486-4517-8ea7-b6b97b183a6b
Offset 否 Integer 分页查询偏移量
示例值：0
Limit 否 Integer 分页查询Limit
示例值：10
TaskId 否 String 执行实例id
StartTime 否 String 更新时间起始点，支持格式：yyyy-MM-dd HH:mm:ss
示例值：2022-01-01 00:00:00
EndTime 否 String 更新时间截止点，支持格式：yyyy-MM-dd HH:mm:ss
示例值：2022-01-02 00:00:00
Filters.N 否 Array of Filter 按照该参数过滤,支持task-state

3. 输出参数

参数名称 类型 描述
Tasks TaskResponseInfo 任务结果（该字段已废弃）
注意：此字段可能返回 null，表示取不到有效值。
TotalCount Integer 任务总数
示例值：1
SparkAppTasks Array of TaskResponseInfo 任务结果列表
注意：此字段可能返回 null，表示取不到有效值。
RequestId String 唯一请求 ID，由服务端生成，每次请求都会返回（若请求因其他原因未能抵达服务端，则该次请求不会获得 RequestId）。定位问题时需要提供该次请求的 RequestId。

4. 示例

示例1 查询Spark作业的运行任务列表

查询Spark作业的运行任务列表

输入示例

POST / HTTP/1.1
Host: dlc.tencentcloudapi.com
Content-Type: application/json
X-TC-Action:DescribeSparkAppTasks
<公共请求参数>

{
    "JobId": "batch_133e005d-6486-4517-8ea7-b6b97b183a6b",
    "Offset": 0,
    "Limit": 10
}

输出示例

{
    "Response": {
        "Tasks": {
            "DatabaseName": "abc",
            "DataAmount": 0,
            "Id": "abc",
            "UsedTime": 0,
            "OutputPath": "abc",
            "CreateTime": "abc",
            "State": 0,
            "SQLType": "abc",
            "SQL": "abc",
            "ResultExpired": true,
            "RowAffectInfo": "abc",
            "DataSet": "abc",
            "Error": "abc",
            "Percentage": 0,
            "OutputMessage": "abc",
            "TaskType": "abc",
            "ProgressDetail": "abc",
            "UpdateTime": "abc",
            "DataEngineId": "abc",
            "OperateUin": "abc",
            "DataEngineName": "abc",
            "InputType": "abc",
            "InputConf": "abc",
            "DataNumber": 0,
            "CanDownload": true,
            "UserAlias": "abc",
            "SparkJobName": "abc",
            "SparkJobId": "abc",
            "SparkJobFile": "abc",
            "UiUrl": "abc",
            "TotalTime": 0,
            "CmdArgs": "abc",
            "ImageVersion": "abc",
            "DriverSize": "abc",
            "ExecutorSize": "abc",
            "ExecutorNums": 1,
            "ExecutorMaxNumbers": 1,
            "CommonMetrics": {
                "CreateTaskTime": 0,
                "ProcessTime": 0,
                "QueueTime": 0,
                "ExecutionTime": 0,
                "IsResultCacheHit": true,
                "MatchedMVBytes": 0,
                "MatchedMVs": "abc",
                "AffectedBytes": "abc",
                "AffectedRows": 0,
                "ProcessedBytes": 0,
                "ProcessedRows": 0
            },
            "SparkMonitorMetrics": {
                "ShuffleWriteBytesCos": 0,
                "ShuffleWriteBytesTotal": 0
            },
            "PrestoMonitorMetrics": {
                "LocalCacheHitRate": 0,
                "FragmentCacheHitRate": 0
            }
        },
        "TotalCount": 0,
        "SparkAppTasks": [
            {
                "DatabaseName": "abc",
                "DataAmount": 0,
                "Id": "abc",
                "UsedTime": 0,
                "OutputPath": "abc",
                "CreateTime": "abc",
                "State": 0,
                "SQLType": "abc",
                "SQL": "abc",
                "ResultExpired": true,
                "RowAffectInfo": "abc",
                "DataSet": "abc",
                "Error": "abc",
                "Percentage": 0,
                "OutputMessage": "abc",
                "TaskType": "abc",
                "ProgressDetail": "abc",
                "UpdateTime": "abc",
                "DataEngineId": "abc",
                "OperateUin": "abc",
                "DataEngineName": "abc",
                "InputType": "abc",
                "InputConf": "abc",
                "DataNumber": 0,
                "CanDownload": true,
                "UserAlias": "abc",
                "SparkJobName": "abc",
                "SparkJobId": "abc",
                "SparkJobFile": "abc",
                "UiUrl": "abc",
                "TotalTime": 0,
                "CmdArgs": "abc",
                "ImageVersion": "abc",
                "DriverSize": "abc",
                "ExecutorSize": "abc",
                "ExecutorNums": 1,
                "ExecutorMaxNumbers": 1,
                "CommonMetrics": {
                    "CreateTaskTime": 0,
                    "ProcessTime": 0,
                    "QueueTime": 0,
                    "ExecutionTime": 0,
                    "IsResultCacheHit": true,
                    "MatchedMVBytes": 0,
                    "MatchedMVs": "abc",
                    "AffectedBytes": "abc",
                    "AffectedRows": 0,
                    "ProcessedBytes": 0,
                    "ProcessedRows": 0
                },
                "SparkMonitorMetrics": {
                    "ShuffleWriteBytesCos": 0,
                    "ShuffleWriteBytesTotal": 0
                },
                "PrestoMonitorMetrics": {
                    "LocalCacheHitRate": 0,
                    "FragmentCacheHitRate": 0
                }
            }
        ],
        "RequestId": "abc"
    }
}

5. 开发者资源

腾讯云 API 平台

腾讯云 API 平台 是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台，方便您从同一入口查询及使用腾讯云提供的所有 API 服务。

API Inspector

用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况，并自动生成各语言版本的 API 代码，也可前往 API Explorer 进行在线调试。

SDK

云 API 3.0 提供了配套的开发工具集（SDK），支持多种编程语言，能更方便的调用 API。

命令行工具

6. 错误码

以下仅列出了接口业务逻辑相关的错误码，其他错误码详见 公共错误码。

错误码 描述
FailedOperation 操作失败。
InternalError.InternalSystemException 业务系统异常，请重试或提工单联系我们。
InvalidParameter.FiltersValuesNumberOutOfLimit 指定Filter.Values参数数量超限，当前应小于等于50个
InvalidParameter.InvalidTimeFormat 指定时间格式不合规，当前仅支持: YYYY-mm-dd HH:MM:SS
InvalidParameter.InvalidTimeParameter 日期参数异常，如结束时间早于开始时间
InvalidParameter.ParameterNotFoundOrBeNone 找不到参数或参数为空
InvalidParameter.SparkJobFiltersKeyTypeNotMath 指定的Spark任务Filter.Key不匹配，当前仅支持: spark-app-type/user-name/spark-job-name/spark-job-id/key-word
InvalidParameter.SparkJobNotFound 指定的Spark任务不存在
InvalidParameter.SparkJobNotUnique 指定的Spark任务已存在
ResourceUnavailable.WhiteListFunction 当前为白名单功能，请联系我们开通
中国站
文档反馈
文档活动
message-icon联系我们
目录