创建流程作业

最近更新时间:2024-11-11 01:33:40

我的收藏

1. 接口描述

接口请求域名: emr.tencentcloudapi.com 。

创建流程作业

默认接口请求频率限制:20次/秒。

推荐使用 API Explorer
点击调试
API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

2. 输入参数

以下请求参数列表仅列出了接口请求参数和部分公共参数,完整公共参数列表见 公共请求参数

参数名称 必选 类型 描述
Action String 公共参数,本接口取值:RunJobFlow。
Version String 公共参数,本接口取值:2019-01-03。
Region String 公共参数,详见产品支持的 地域列表
Name String 作业名称。
示例值:test
CreateCluster Boolean 是否新创建集群。
true,新创建集群,则使用Instance中的参数进行集群创建。
false,使用已有集群,则通过InstanceId传入。
示例值:false
Steps.N Array of Step 作业流程执行步骤。
InstancePolicy String 作业流程正常完成时,集群的处理方式,可选择:
Terminate 销毁集群。
Reserve 保留集群。
示例值:Terminate
ProductVersion String 只有CreateCluster为true时生效,目前只支持EMR版本,例如EMR-2.2.0,不支持ClickHouse和Druid版本。
SecurityClusterFlag Boolean 只在CreateCluster为true时生效。
true 表示安装kerberos,false表示不安装kerberos。
Software.N Array of String 只在CreateCluster为true时生效。
新建集群时,要安装的软件列表。
BootstrapActions.N Array of BootstrapAction 引导脚本。
Configurations.N Array of Configuration 指定配置创建集群。
LogUri String 作业日志保存地址。
InstanceId String 只在CreateCluster为false时生效。
ApplicationRole String 自定义应用角色,大数据应用访问外部服务时使用的角色,默认为"EME_QCSRole"。
ClientToken String 重入标签,用来可重入检查,防止在一段时间内,创建相同的流程作业。
Instance ClusterSetting 只在CreateCluster为true时生效,使用该配置创建集群。

3. 输出参数

参数名称 类型 描述
JobFlowId Integer 作业流程ID。
示例值:42
RequestId String 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。

4. 示例

示例1 创建任务流程示例

输入示例

POST / HTTP/1.1
Host: emr.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: RunJobFlow
<公共请求参数>

{
    "Name": "pop-api-tmp-emr-phs-drug-monitor-daily--20241106115143",
    "CreateCluster": false,
    "Steps": [
        {
            "Name": "DrugChangeRemindJob_20241106035136",
            "ExecutionStep": {
                "JobType": "SPARK",
                "Args": [
                    "--master",
                    "yarn",
                    "--deploy-mode",
                    "cluster",
                    "--class",
                    "com.patsnap.app.monitor.job.DrugChangeRemindJob",
                    "--conf",
                    "spark.driver.extraJavaOptions=-Dfile.encoding=utf-8",
                    "--conf",
                    "spark.executor.extraJavaOptions=-Dfile.encoding=utf-8",
                    "cosn://data-phs-common-dataprod-ash-125000000/spark-jars/drug/drug_change_monitor/v1.0/data-phs-etl-app.jar",
                    "${program_config}"
                ]
            },
            "ActionOnFailure": "CONTINUE",
            "User": "hadoop"
        }
    ],
    "InstancePolicy": "Reserve",
    "InstanceId": "emr-64e"
}

输出示例

{
    "Response": {
        "JobFlowId": 16531,
        "RequestId": "3f63c907-d4e4-4856-b05d-949eedc2151a"
    }
}

5. 开发者资源

腾讯云 API 平台

腾讯云 API 平台 是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台,方便您从同一入口查询及使用腾讯云提供的所有 API 服务。

API Inspector

用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况,并自动生成各语言版本的 API 代码,也可前往 API Explorer 进行在线调试。

SDK

云 API 3.0 提供了配套的开发工具集(SDK),支持多种编程语言,能更方便的调用 API。

命令行工具

6. 错误码

以下仅列出了接口业务逻辑相关的错误码,其他错误码详见 公共错误码

错误码 描述
FailedOperation.DuplicateOrderNotAllowed 重复的订单,请检查emr控制台。
FailedOperation.GetCvmServerFailed 调用cvm服务失败。
InternalError.CamCgwError 内部服务调用异常。
InternalError.CamError 内部服务调用异常。
InternalError.CbsCgwError 内部服务调用异常。
InternalError.CbsError 内部服务调用异常。
InternalError.CdbCgwError 内部服务调用异常。
InternalError.CdbError 内部服务调用异常。
InternalError.CheckQuotaErr cvm或cbs资源不够或软件不合法。
InternalError.ConfigCgwError 内部服务调用异常。
InternalError.CvmError 内部服务调用异常。
InternalError.SgError 安全组接口调用异常。
InvalidParameter.IncorrectCommonCount Common节点数量无效。
InvalidParameter.IncorrectMasterCount Master节点数量无效。
InvalidParameter.InvalidBootstrapAction 无效的引导脚本。
InvalidParameter.InvalidCoreCount Core节点数量无效。
InvalidParameter.InvalidCosFileURI CosFileUri参数值无效。
InvalidParameter.InvalidDiskNum 无效的磁盘数量。
InvalidParameter.InvalidFailurePolicy 无效的任务失败处理策略。
InvalidParameter.InvalidInstance 无效参数,EMR实例不符合要求。
InvalidParameter.InvalidInstancePolicy 无效的集群保留策略。
InvalidParameter.InvalidInstanceType 无效的机型。
InvalidParameter.InvalidJobType 无效的任务步骤类型。
InvalidParameter.InvalidMetaType 无效的元数据表类型。
InvalidParameter.InvalidProduct 无效参数,不符合EMR版本。
InvalidParameter.InvalidProductId 无效的产品ID。
InvalidParameter.InvalidProductVersion 不合法的产品版本。
InvalidParameter.InvalidSoftInfo 无效的SoftInfo。
InvalidParameter.InvalidSoftWare 参数错误。
InvalidParameter.InvalidTagsGroup 参数错误。
InvalidParameter.InvalidTimeSpan 无效的timespan。
InvalidParameter.InvalidZone 无效的可用区。
InvalidParameter.SoftwareNotInProduct 存在无效的产品组件。
LimitExceeded.BootstrapActionsNumLimitExceeded 引导脚本数量超过限制。
ResourceInsufficient.DiskInsufficient 硬盘规格不满足。
ResourceInsufficient.InstanceInsufficient 不支持或售罄的节点规格。
ResourceNotFound.CDBInfoNotFound 资源不存在。
ResourceNotFound.InstanceNotFound 无法找到该实例。
ResourceNotFound.SubnetNotFound 找不到对应的子网。
ResourceNotFound.TagsNotFound 没有查找到指定标签。
ResourcesSoldOut.CvmSoldOut 云服务器已售罄。
UnsupportedOperation.ServiceNotSupport 该服务不支持此操作。