数据结构

最近更新时间:2025-02-20 01:19:38

我的收藏

Acl

ACL对象实体

被如下接口引用:DescribeACL。

名称 类型 描述
ResourceType Integer Acl资源类型,(0:UNKNOWN,1:ANY,2:TOPIC,3:GROUP,4:CLUSTER,5:TRANSACTIONAL_ID)当前只有TOPIC,
示例值:2
ResourceName String 资源名称,和resourceType相关如当resourceType为TOPIC时,则该字段表示topic名称,当resourceType为GROUP时,该字段表示group名称
示例值:topic-test
Principal String 用户列表,默认为User:,表示任何user都可以访问,当前用户只能是用户列表中包含的用户
注意:此字段可能返回 null,表示取不到有效值。
示例值:User:
Host String 默认*,表示任何host都可以访问,当前ckafka不支持host为*,但是后面开源kafka的产品化会直接支持
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.1
Operation Integer Acl操作方式(0:UNKNOWN,1:ANY,2:ALL,3:READ,4:WRITE,5:CREATE,6:DELETE,7:ALTER,8:DESCRIBE,9:CLUSTER_ACTION,10:DESCRIBE_CONFIGS,11:ALTER_CONFIGS,12:IDEMPOTEN_WRITE)
示例值:3
PermissionType Integer 权限类型(0:UNKNOWN,1:ANY,2:DENY,3:ALLOW)
示例值:3

AclResponse

ACL返回结果集

被如下接口引用:DescribeACL。

名称 类型 描述
TotalCount Integer 符合条件的总数据条数
示例值:1
AclList Array of Acl ACL列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"ResourceType":2,"ResourceName":"topic-test","Principal":"User:user-test","Host":"*","Operation":3,"PermissionType":3}]

AclRule

AclRule列表接口出参

被如下接口引用:DescribeAclRule, DescribeTopicAttributes。

名称 类型 描述
RuleName String ACL规则名
注意:此字段可能返回 null,表示取不到有效值。
示例值:rulename-test
InstanceId String ckafka集群实例Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:ckafka-test
PatternType String ACL规则匹配类型,目前只支持前缀匹配,枚举值列表:PREFIXED
注意:此字段可能返回 null,表示取不到有效值。
示例值:PREFIXED
Pattern String 表示前缀匹配的前缀的值
注意:此字段可能返回 null,表示取不到有效值。
示例值:aclPatt
ResourceType String Acl资源类型,目前只支持Topic,枚举值列表:Topic
注意:此字段可能返回 null,表示取不到有效值。
示例值:Topic
AclList String 该规则所包含的ACL信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"host":"*","operation":"Write","permissionType":"Deny","principal":"User:*"}]
CreateTimeStamp String 规则所创建的时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:Sat Apr 03 20:13:03 CST 2021
IsApplied Integer 预设ACL规则是否应用到新增的topic中
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
UpdateTimeStamp String 规则更新时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:Sat Apr 03 20:13:03 CST 2021
Comment String 规则的备注
注意:此字段可能返回 null,表示取不到有效值。
示例值:comment-test
TopicName String 其中一个显示的对应的TopicName
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
TopicCount Integer 应用该ACL规则的Topic数
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
PatternTypeTitle String patternType的中文显示
注意:此字段可能返回 null,表示取不到有效值。
示例值:预设策略

AclRuleInfo

表示ACL 规则的四元组信息

被如下接口引用:BatchCreateAcl, CreateAclRule。

名称 类型 必选 描述
Operation String Acl操作方式,枚举值(所有操作: All, 读:Read,写:Write)
示例值:Read
PermissionType String 权限类型,(Deny,Allow)
示例值:Allow
Host String 默认为*,表示任何host都可以访问,当前ckafka不支持host为* 和 ip网段
示例值:10.0.0.6
Principal String 用户列表,默认为User:,表示任何user都可以访问,当前用户只能是用户列表中包含的用户。传入格式需要带【User:】前缀。例如用户A,传入为User:A。
示例值:User:

AclRuleResp

AclRule列表接口返回结果

被如下接口引用:DescribeAclRule。

名称 类型 描述
TotalCount Integer 总数据条数
示例值:1
AclRuleList Array of AclRule AclRule列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"RuleName":"rulename-test","InstanceId":"ckafka-test","PatternType":"PREFIXED","Pattern":"test","ResourceType":"Topic","AclList":"[{"host":"*","operation":"Write","permissionType":"Deny","principal":"User:*"}]","CreateTimeStamp":"Sat Apr 03 20:13:03 CST 2021","IsApplied":1,"UpdateTimeStamp":"Sat Apr 03 20:13:03 CST 2021","Comment":"comment-test","TopicName":"topic-test","TopicCount":1,"PatternTypeTitle":"预设策略","Id":1,"RuleList":["{"host":"*","operation":"Write","permissionType":"Deny","principal":"User:*"}"]}]

AnalyseParam

数据处理-解析参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Format String 解析格式,JSON,DELIMITER分隔符,REGULAR正则提取,SOURCE处理上层所有结果
示例值:JSON
Regex String 分隔符、正则表达式
注意:此字段可能返回 null,表示取不到有效值。
示例值:,
InputValueType String 需再次处理的KEY——模式
注意:此字段可能返回 null,表示取不到有效值。
示例值:JSONPATH
InputValue String 需再次处理的KEY——KEY表达式
注意:此字段可能返回 null,表示取不到有效值。
示例值:$.log

AppIdResponse

AppId的查询结果

被如下接口引用:DescribeAppInfo。

名称 类型 描述
TotalCount Integer 符合要求的所有AppId数量
示例值:1
AppIdList Array of Integer 符合要求的App Id列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[1000000001]

Assignment

存储着分配给该消费者的 partition 信息

被如下接口引用:DescribeGroupInfo。

名称 类型 描述
Version Integer assingment版本信息
示例值:0
Topics Array of GroupInfoTopics topic信息列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Topic":"topic-test","Partitions":[0]}]

BatchAnalyseParam

批量解析

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Format String ONE_BY_ONE单条输出,MERGE合并输出
注意:此字段可能返回 null,表示取不到有效值。
示例值:ONE_BY_ONE

BatchContent

批量发送消息内容

被如下接口引用:SendMessage。

名称 类型 必选 描述
Body String 发送的消息体
示例值:body-test
Key String 发送消息的键名
示例值:key-test

BatchModifyTopicInfo

批量修改topic参数

被如下接口引用:BatchModifyTopicAttributes。

名称 类型 必选 描述
TopicName String 主题名
示例值:topic-test
PartitionNum Integer 分区数
示例值:1
Note String 备注
示例值:note-test
ReplicaNum Integer 副本数
示例值:2
CleanUpPolicy String 消息删除策略,可以选择delete 或者compact
示例值:compact
MinInsyncReplicas Integer 当producer设置request.required.acks为-1时,min.insync.replicas指定replicas的最小数目
示例值:1
UncleanLeaderElectionEnable Boolean 是否允许非ISR的副本成为Leader
示例值:false
RetentionMs Integer topic维度的消息保留时间(毫秒)范围1 分钟到90 天
示例值:3600000
RetentionBytes Integer topic维度的消息保留大小,范围1 MB到1024 GB
示例值:1048576
SegmentMs Integer Segment分片滚动的时长(毫秒),范围1 到90 天
示例值:86400000
MaxMessageBytes Integer 批次的消息大小,范围1 KB到12 MB
示例值:1024
LogMsgTimestampType String 消息保存的时间类型:CreateTime/LogAppendTime
示例值:LogAppendTime

BatchModifyTopicResultDTO

批量修改topic属性结果

被如下接口引用:BatchModifyTopicAttributes。

名称 类型 描述
InstanceId String ckafka集群实例Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:ckafka-test
TopicName String 主题名
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
ReturnCode String 操作返回码
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
Message String 操作返回信息
示例值:success

BrokerTopicData

主题占用Broker磁盘大小

被如下接口引用:DescribeTopicFlowRanking。

名称 类型 描述
TopicName String 主题名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
TopicId String 主题Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
DataSize Integer 主题占用Broker 容量大小
注意:此字段可能返回 null,表示取不到有效值。
示例值:200

BrokerTopicFlowData

broker维度topic 流量排行指标

被如下接口引用:DescribeTopicFlowRanking。

名称 类型 必选 描述
TopicName String 主题名
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
TopicId String 主题Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
TopicTraffic String Topic 流量(MB)
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.00

CdcClusterResponse

创建CDC 标准版共享集群出参

被如下接口引用:CreateCdcCluster。

名称 类型 描述
TaskId Integer 任务ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:105

ClickHouseConnectParam

ClickHouse连接源参数

被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

名称 类型 必选 描述
Port Integer ClickHouse的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
UserName String ClickHouse连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String ClickHouse连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Resource String ClickHouse连接源的实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
SelfBuilt Boolean ClickHouse连接源是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
ServiceVip String ClickHouse连接源的实例vip,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String ClickHouse连接源的vpcId,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

ClickHouseModifyConnectParam

ClickHouse修改连接源参数

被如下接口引用:ModifyConnectResource。

名称 类型 必选 描述
Resource String ClickHouse连接源的实例资源【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Port Integer ClickHouse的连接port【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
ServiceVip String ClickHouse连接源的实例vip【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String ClickHouse连接源的vpcId【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
UserName String ClickHouse连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String ClickHouse连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
SelfBuilt Boolean ClickHouse连接源是否为自建集群【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
IsUpdate Boolean 是否更新到关联的Datahub任务,默认为true
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

ClickHouseParam

ClickHouse类型入参

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Cluster String ClickHouse的集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:cluster-test
Database String ClickHouse的数据库名
注意:此字段可能返回 null,表示取不到有效值。
示例值:database-test
Table String ClickHouse的数据表名
注意:此字段可能返回 null,表示取不到有效值。
示例值:table-test
Schema Array of ClickHouseSchema ClickHouse的schema
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"ColumnName":"column_test","JsonKey":"column_test","Type":"String","AllowNull":false}]
Resource String 实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Ip String ClickHouse的连接ip
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.5
Port Integer ClickHouse的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8099
UserName String ClickHouse的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String ClickHouse的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
ServiceVip String 实例vip
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.5
UniqVpcId String 实例的vpcId
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
SelfBuilt Boolean 是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
DropInvalidMessage Boolean ClickHouse是否抛弃解析失败的消息,默认为true
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
Type String ClickHouse 类型,emr-clickhouse : "emr";cdw-clickhouse : "cdwch";自建 : ""
注意:此字段可能返回 null,表示取不到有效值。
示例值:emr
DropCls DropCls 当设置成员参数DropInvalidMessageToCls设置为true时,DropInvalidMessage参数失效
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"}
BatchSize Integer 每批次投递到 ClickHouse 表消息数量,默认为 1000 条。
提高该参数值,有利于减少往 ClickHouse 投递的次数,但在错误消息过多及网络不稳定等极端情况下时,可能导致频繁重试影响效率。
注意:此字段可能返回 null,表示取不到有效值。
示例值:1000
ConsumerFetchMinBytes Integer 每次从 topic 中拉取消息大小,默认为 1MB,即至少要从 topic 中批量拉取 1MB 消息,才进行数据投递到 ClickHouse 操作。
提高该参数值,有利于减少往 ClickHouse 投递的次数,但在错误消息过多及网络不稳定等极端情况下时,可能导致频繁重试影响效率。
注意:此字段可能返回 null,表示取不到有效值。
示例值:1000000
ConsumerFetchMaxWaitMs Integer 每次从 topic 拉取消息最大等待时间,当超过当前最大等待时间时,即使没有拉取到 ConsumerFetchMinBytes 大小,也将进行 ClickHouse 投递操作。
提高该参数值,有利于减少往 ClickHouse 投递的次数,但在错误消息过多及网络不稳定等极端情况下时,可能导致频繁重试影响效率。
注意:此字段可能返回 null,表示取不到有效值。
示例值:30000

ClickHouseSchema

ClickHouse的Schema

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
ColumnName String 表的列名
注意:此字段可能返回 null,表示取不到有效值。
示例值:column_test
JsonKey String 该列对应的jsonKey名
注意:此字段可能返回 null,表示取不到有效值。
示例值:column_test
Type String 表列项的类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:String
AllowNull Boolean 列项是否允许为空
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

ClsParam

Cls类型入参

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
DecodeJson Boolean 生产的信息是否为json格式
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
Resource String cls日志主题id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
LogSet String cls日志集id
注意:此字段可能返回 null,表示取不到有效值。
示例值:logset-test
ContentKey String 当DecodeJson为false时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:key-test
TimeField String 指定消息中的某字段内容作为cls日志的时间。
字段内容格式需要是秒级时间戳
注意:此字段可能返回 null,表示取不到有效值。
示例值:time

ClusterInfo

集群信息实体

被如下接口引用:DescribeCkafkaZone。

名称 类型 描述
ClusterId Integer 集群Id
示例值:6894
ClusterName String 集群名称
示例值:100003-ckafka-test
MaxDiskSize Integer 集群最大磁盘 单位GB
注意:此字段可能返回 null,表示取不到有效值。
示例值:198
MaxBandWidth Integer 集群最大带宽 单位MB/s
注意:此字段可能返回 null,表示取不到有效值。
示例值:19
AvailableDiskSize Integer 集群当前可用磁盘 单位GB
注意:此字段可能返回 null,表示取不到有效值。
示例值:198
AvailableBandWidth Integer 集群当前可用带宽 单位MB/s
注意:此字段可能返回 null,表示取不到有效值。
示例值:19
ZoneId Integer 集群所属可用区,表明集群归属的可用区
注意:此字段可能返回 null,表示取不到有效值。
示例值:100003
ZoneIds Array of Integer 集群节点所在的可用区,若该集群为跨可用区集群,则包含该集群节点所在的多个可用区。
注意:此字段可能返回 null,表示取不到有效值。
示例值:[100003,100002]

Config

高级配置对象

被如下接口引用:DescribeTopicAttributes, DescribeTopicDetail。

名称 类型 描述
Retention Integer 消息保留时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
MinInsyncReplicas Integer 最小同步复制数
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
CleanUpPolicy String 日志清理模式,默认 delete。
delete:日志按保存时间删除;compact:日志按 key 压缩;compact, delete:日志按 key 压缩且会保存时间删除。
注意:此字段可能返回 null,表示取不到有效值。
示例值:delete
SegmentMs Integer Segment 分片滚动的时长
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
UncleanLeaderElectionEnable Integer 0表示 false。 1表示 true。
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
SegmentBytes Integer Segment 分片滚动的字节数
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
MaxMessageBytes Integer 最大消息字节数
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
RetentionBytes Integer 消息保留文件大小
注意:此字段可能返回 null,表示取不到有效值。
示例值:107374
LogMsgTimestampType String 消息保存的时间类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:LogAppendTime

ConnectResourceResourceIdResp

返回连接源的Id

被如下接口引用:CreateConnectResource, DeleteConnectResource, ModifyConnectResource。

名称 类型 描述
ResourceId String 连接源的Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test

Connection

Connection信息

被如下接口引用:DescribeDatahubTask。

名称 类型 描述
TopicName String 主题名
示例值:topic-test
GroupId String 消费组ID
示例值:group-test
TopicId String 主题Id
示例值:topic-test

ConsumerGroup

用户组实体

被如下接口引用:DescribeConsumerGroup。

名称 类型 描述
ConsumerGroupName String 用户组名称
示例值:consumerGroup-test
SubscribedInfo Array of SubscribedInfo 订阅信息实体
示例值:[{"TopicName":"topic-test","PartitionOffset":[{"Partition":"0","Offset":966186803},{"Partition":"1","Offset":968552882},{"Partition":"2","Offset":957792934}]}]

ConsumerGroupResponse

消费组返回结果实体

被如下接口引用:DescribeConsumerGroup。

名称 类型 描述
TotalCount Integer 符合条件的消费组数量
示例值:1
TopicList Array of ConsumerGroupTopic 主题列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"topicId":"topic-test","topicName":"topic-test"}]
GroupList Array of ConsumerGroup 消费分组List
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"consumerGroupName":"consumerGroup-test","subscribedInfo":[{"topicName":"topic-test","topicId":"topic-test","partition":[0,1,2],"partitionOffset":[{"partition":"0","offset":0},{"partition":"1","offset":0},{"partition":"2","offset":9440149396}]}]}]
TotalPartition Integer 所有分区数量
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
PartitionListForMonitor Array of Partition 监控的分区列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"PartitionId":0}]
TotalTopic Integer 主题总数
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
TopicListForMonitor Array of ConsumerGroupTopic 监控的主题列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"topicName":"topic-test","topicId":"topic-test"}]
GroupListForMonitor Array of Group 监控的组列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"groupName":"groupName-test"}]

ConsumerGroupSpeed

消费者组消费速度排行

被如下接口引用:DescribeTopicFlowRanking。

名称 类型 描述
ConsumerGroupName String 消费者组名称
示例值:consumerGroup-test
Speed Integer 消费速度 Count/Minute
示例值:1235

ConsumerGroupTopic

消费组主题对象

被如下接口引用:DescribeConsumerGroup。

名称 类型 描述
TopicId String 主题ID
示例值:topic-test
TopicName String 主题名称
示例值:topic-test

ConsumerRecord

消息记录

被如下接口引用:FetchDatahubMessageByOffset, FetchLatestDatahubMessageList, FetchMessageByOffset, FetchMessageListByOffset, FetchMessageListByTimestamp。

名称 类型 描述
Topic String 主题名
示例值:topic-test
Partition Integer 分区id
示例值:0
Offset Integer 位点
示例值:0
Key String 消息key
注意:此字段可能返回 null,表示取不到有效值。
示例值:key-test
Value String 消息value
注意:此字段可能返回 null,表示取不到有效值。
示例值:value-test
Timestamp Integer 消息时间戳
注意:此字段可能返回 null,表示取不到有效值。
示例值:1657542315
Headers String 消息headers
注意:此字段可能返回 null,表示取不到有效值。
示例值:header-test

CosParam

Cos Datahub 任务接入参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
BucketName String cos 存储桶名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:bucket-name-test
Region String 地域代码
注意:此字段可能返回 null,表示取不到有效值。
示例值:ap-guangzhou
ObjectKey String 对象名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:key-test
AggregateBatchSize Integer 汇聚消息量的大小(单位:MB)
注意:此字段可能返回 null,表示取不到有效值。
示例值:100
AggregateInterval Integer 汇聚的时间间隔(单位:小时)
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
FormatOutputType String 消息汇聚后的文件格式(支持csv, json)
注意:此字段可能返回 null,表示取不到有效值。
示例值:json
ObjectKeyPrefix String 转储的对象目录前缀
注意:此字段可能返回 null,表示取不到有效值。
示例值:prefix-test
DirectoryTimeFormat String 根据strptime 时间格式化的分区格式
注意:此字段可能返回 null,表示取不到有效值。
示例值:/%Y/%m/%d/%H

CreateDatahubTaskRes

创建数据转储返回值

被如下接口引用:CreateDatahubTask。

名称 类型 描述
TaskId String 转储任务id
示例值:task-test
DatahubId String 数据转储Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:task-test

CreateInstancePostData

创建后付费接口返回的 Data 数据结构

被如下接口引用:CreatePostPaidInstance。

名称 类型 描述
FlowId Integer CreateInstancePre返回固定为0,不能作为CheckTaskStatus的查询条件。只是为了保证和后台数据结构对齐。
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
DealNames Array of String 订单号列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:["20230608002033882210000"]
InstanceId String ckafka集群实例Id,当购买多个实例时,默认返回购买的第一个实例 id
注意:此字段可能返回 null,表示取不到有效值。
示例值:ckafka-test
DealNameInstanceIdMapping Array of DealInstanceDTO 订单和购买实例对应映射列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"DealName":"20230608002033882210000","InstanceIdList":["ckafka-test"]}]

CreateInstancePostResp

后付费实例相关接口返回结构

被如下接口引用:CreatePostPaidInstance。

名称 类型 描述
ReturnCode String 返回的code,0为正常,非0为错误
示例值:0
ReturnMessage String 接口返回消息,当接口报错时提示错误信息
示例值:success
Data CreateInstancePostData 返回的Data数据
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"FlowId":0,"DealNames":["20230608002033882210000"],"InstanceId":"ckafka-test","DealNameInstanceIdMapping":[{"DealName":"20230608002033882210000","InstanceIdList":["ckafka-test"]}]}

CreateInstancePreData

创建预付费接口返回的Data

被如下接口引用:CreateInstancePre, DeleteInstancePre, ModifyInstancePre。

名称 类型 描述
FlowId Integer CreateInstancePre返回固定为0,不能作为CheckTaskStatus的查询条件。只是为了保证和后台数据结构对齐。
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
DealNames Array of String 订单号列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:["20230608002033882210000"]
InstanceId String ckafka集群实例Id,当购买多个实例时,默认返回购买的第一个实例 id
注意:此字段可能返回 null,表示取不到有效值。
示例值:ckafka-test
DealNameInstanceIdMapping Array of DealInstanceDTO 订单和购买实例对应映射列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"DealName":"20230608002033882210000","InstanceIdList":["ckafka-test"]}]

CreateInstancePreResp

预付费实例相关接口返回结构

被如下接口引用:CreateInstancePre, DeleteInstancePre, ModifyInstancePre。

名称 类型 描述
ReturnCode String 返回的code,0为正常,非0为错误
示例值:0
ReturnMessage String 成功消息
示例值:success
Data CreateInstancePreData 操作型返回的Data数据
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"FlowId":0,"DealNames":["20230608002033882210000"],"InstanceId":"ckafka-test","DealNameInstanceIdMapping":[{"DealName":"20230608002033882210000","InstanceIdList":["ckafka-test"]}]}

CreateTopicResp

创建主题返回

被如下接口引用:CreateTopic。

名称 类型 描述
TopicId String 主题Id
示例值:topic-test

CtsdbConnectParam

Ctsdb连接源参数

被如下接口引用:DescribeConnectResource, DescribeConnectResources。

名称 类型 必选 描述
Port Integer Ctsdb的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
ServiceVip String Ctsdb连接源的实例vip
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String Ctsdb连接源的vpcId
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
UserName String Ctsdb连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String Ctsdb连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Resource String Ctsdb连接源的实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test

CtsdbModifyConnectParam

Ctsdb连接源参数(更新)

被如下接口引用:ModifyConnectResource。

名称 类型 必选 描述
Port Integer Ctsdb的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
ServiceVip String Ctsdb连接源的实例vip
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String Ctsdb连接源的vpcId
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
UserName String Ctsdb连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String Ctsdb连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Resource String Ctsdb连接源的实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test

CtsdbParam

Ctsdb类型入参

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Resource String 连接管理实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
CtsdbMetric String Ctsdb的metric
注意:此字段可能返回 null,表示取不到有效值。
示例值:metric-test

DatahubResource

Datahub资源配置

被如下接口引用:CreateDatahubTask, DescribeDatahubTask, DescribeDatahubTasks。

名称 类型 必选 描述
Type String 资源类型
示例值:EB
KafkaParam KafkaParam ckafka配置,Type为KAFKA时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"SelfBuilt":false,"Resource":"ckafka-test","Topic":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"ResourceName":"ckafka测试","ZoneId":100003,"TopicId":"topic-test","PartitionNum":1,"EnableToleration":false,"QpsLimit":4000,"TableMappings":[{"Database":"db1","Table":"table1","Topic":"topic1","TopicId":"topic-id"}],"UseTableMapping":false,"UseAutoCreateTopic":false,"CompressionType":"none","MsgMultiple":1,"ConnectorSyncType":"DATA_SYNC_TYPE","KeepPartition":false}
EventBusParam EventBusParam EB配置,Type为EB时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Type":"COS","SelfBuilt":false,"Resource":"resource-test","Namespace":"namespace-test","FunctionName":"function-test","Qualifier":"qualifier-test"}
MongoDBParam MongoDBParam MongoDB配置,Type为MONGODB时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Database":"database-test","Collection":"collection-test","CopyExisting":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"UserName":"username-test","Password":"password-test","ListeningEvent":"insert,update","ReadPreference":"主节点","Pipeline":"pipeline-test","SelfBuilt":false}
EsParam EsParam Es配置,Type为ES时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8099,"UserName":"username-test","Password":"password-test","SelfBuilt":false,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","DropInvalidMessage":true,"Index":"index-test","DateFormat":"yyyy-MM-dd","ContentKey":"key-test","DropInvalidJsonMessage":true,"DocumentIdField":"$.payload.name","IndexType":"JSONPATH","DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"DatabasePrimaryKey":"pk_test","DropDlq":{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":2,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"},"RecordMappingList":[{"ColumnName":"column-test","JsonKey":"key-test"}],"DateField":"create_timestamp","RecordMappingMode":"EXIST_MAPPING"}
TdwParam TdwParam Tdw配置,Type为TDW时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Bid":"bid-test","Tid":"tid-test","IsDomestic":true,"TdwHost":"tl-tdbank-tdmanager.tencent-distribute.com","TdwPort":8099}
DtsParam DtsParam Dts配置,Type为DTS时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"Topic":"topic-test","GroupId":"group-test","GroupUser":"username-test","GroupPassword":"password-test","TranSql":true}
ClickHouseParam ClickHouseParam ClickHouse配置,Type为CLICKHOUSE时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Cluster":"cluster-test","Database":"database-test","Table":"table-test","Schema":[{"ColumnName":"column_test","JsonKey":"column_test","Type":"String","AllowNull":false}],"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"UserName":"username-test","Password":"password-test","ServiceVip":"10.0.0.5","UniqVpcId":"vpc-test","SelfBuilt":false,"DropInvalidMessage":true,"Type":"emr","DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"BatchSize":1000,"ConsumerFetchMinBytes":1000000,"ConsumerFetchMaxWaitMs":30000}
ClsParam ClsParam Cls配置,Type为CLS时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"DecodeJson":true,"Resource":"resource-test","LogSet":"logset-test","ContentKey":"key-test","TimeField":"time"}
CosParam CosParam Cos配置,Type为COS时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"BucketName":"bucket-name-test","Region":"ap-guangzhou","ObjectKey":"key-test","AggregateBatchSize":100,"AggregateInterval":1,"FormatOutputType":"json","ObjectKeyPrefix":"prefix-test","DirectoryTimeFormat":"/%Y/%m/%d/%H"}
MySQLParam MySQLParam MySQL配置,Type为MYSQL时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","DdlTopic":"topic-test","DataSourceMonitorMode":"TABLE","DataSourceMonitorResource":"table-test","DataSourceIncrementMode":"TIMESTAMP","DataSourceIncrementColumn":"column_test","DataSourceStartFrom":"HEAD","DataTargetInsertMode":"INSERT","DataTargetPrimaryKeyField":"id","DataTargetRecordMapping":[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}],"TopicRegex":"(.).db.(.)","TopicReplacement":"$1","KeyColumns":"db1.table2.k1,k2","DropInvalidMessage":true,"DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"OutputFormat":"DEFAULT","IsTablePrefix":false,"IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false,"SignalDatabase":"database-test","IsTableRegular":false,"SignalTable":"table-test","DateTimeZone":"UTC+8","SelfBuilt":false}
PostgreSQLParam PostgreSQLParam PostgreSQL配置,Type为POSTGRESQL或TDSQL_C_POSTGRESQL时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Database":"database-test","Table":"*","Resource":"resource-test","PluginName":"decoderbufs","SnapshotMode":"initial","DataFormat":"JSON","DataTargetInsertMode":"INSERT","DataTargetPrimaryKeyField":"id","DataTargetRecordMapping":[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}],"DropInvalidMessage":true,"IsTableRegular":false,"KeyColumns":"db1.table2.k1,k2","RecordWithSchema":false}
TopicParam TopicParam Topic配置,Type为Topic时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"TopicId":"topic-test","CompressionType":"none","UseAutoCreateTopic":false,"MsgMultiple":1}
MariaDBParam MariaDBParam MariaDB配置,Type为MARIADB时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","KeyColumns":"db1.table2.k1,k2","IsTablePrefix":false,"OutputFormat":"DEFAULT","IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false}
SQLServerParam SQLServerParam SQLServer配置,Type为SQLSERVER时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Database":"database-test","Table":"*","Resource":"resource-test","SnapshotMode":"initial"}
CtsdbParam CtsdbParam Ctsdb配置,Type为CTSDB时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","CtsdbMetric":"metric-test"}
ScfParam ScfParam Scf配置,Type为SCF时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"FunctionName":"function-test","Namespace":"default","Qualifier":"$DEFAULT","BatchSize":1000,"MaxRetries":5}
MqttParam MqttParam MQTT配置,Type为 MQTT 时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Topics":"topic-test","CleanSession":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":1883,"UserName":"username-test","Password":"password-test","Qos":1,"MaxTasks":1,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","SelfBuilt":false}

DatahubTaskIdRes

Datahub请求的taskid

被如下接口引用:DeleteDatahubTask, ModifyDatahubTask。

名称 类型 描述
TaskId String 任务id
注意:此字段可能返回 null,表示取不到有效值。
示例值:task-test

DatahubTaskInfo

Datahub任务信息

被如下接口引用:DescribeDatahubTasks。

名称 类型 描述
TaskId String 任务Id
示例值:task-test
TaskName String 任务名称
示例值:task测试
TaskType String 任务类型,SOURCE数据接入,SINK数据流出
示例值:SINK
Status Integer 状态,-1创建失败,0创建中,1运行中,2删除中,3已删除,4删除失败,5暂停中,6已暂停,7暂停失败,8恢复中,9恢复失败
示例值:1
SourceResource DatahubResource 数据源
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Type":"EB","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test","Topic":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"ResourceName":"ckafka测试","ZoneId":100003,"TopicId":"topic-test","PartitionNum":1,"EnableToleration":false,"QpsLimit":4000,"TableMappings":[{"Database":"db1","Table":"table1","Topic":"topic1","TopicId":"topic-id"}],"UseTableMapping":false,"UseAutoCreateTopic":false,"CompressionType":"none","MsgMultiple":1,"ConnectorSyncType":"DATA_SYNC_TYPE","KeepPartition":false},"EventBusParam":{"Type":"COS","SelfBuilt":false,"Resource":"resource-test","Namespace":"namespace-test","FunctionName":"function-test","Qualifier":"qualifier-test"},"MongoDBParam":{"Database":"database-test","Collection":"collection-test","CopyExisting":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"UserName":"username-test","Password":"password-test","ListeningEvent":"insert,update","ReadPreference":"主节点","Pipeline":"pipeline-test","SelfBuilt":false},"EsParam":{"Resource":"resource-test","Port":8099,"UserName":"username-test","Password":"password-test","SelfBuilt":false,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","DropInvalidMessage":true,"Index":"index-test","DateFormat":"yyyy-MM-dd","ContentKey":"key-test","DropInvalidJsonMessage":true,"DocumentIdField":"$.payload.name","IndexType":"JSONPATH","DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"DatabasePrimaryKey":"pk_test","DropDlq":{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":2,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"},"RecordMappingList":[{"ColumnName":"column-test","JsonKey":"key-test"}],"DateField":"create_timestamp","RecordMappingMode":"EXIST_MAPPING"},"TdwParam":{"Bid":"bid-test","Tid":"tid-test","IsDomestic":true,"TdwHost":"tl-tdbank-tdmanager.tencent-distribute.com","TdwPort":8099},"DtsParam":{"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"Topic":"topic-test","GroupId":"group-test","GroupUser":"username-test","GroupPassword":"password-test","TranSql":true},"ClickHouseParam":{"Cluster":"cluster-test","Database":"database-test","Table":"table-test","Schema":[{"ColumnName":"column_test","JsonKey":"column_test","Type":"String","AllowNull":false}],"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"UserName":"username-test","Password":"password-test","ServiceVip":"10.0.0.5","UniqVpcId":"vpc-test","SelfBuilt":false,"DropInvalidMessage":true,"Type":"emr","DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"BatchSize":1000,"ConsumerFetchMinBytes":1000000,"ConsumerFetchMaxWaitMs":30000},"ClsParam":{"DecodeJson":true,"Resource":"resource-test","LogSet":"logset-test","ContentKey":"key-test","TimeField":"time"},"CosParam":{"BucketName":"bucket-name-test","Region":"ap-guangzhou","ObjectKey":"key-test","AggregateBatchSize":100,"AggregateInterval":1,"FormatOutputType":"json","ObjectKeyPrefix":"prefix-test","DirectoryTimeFormat":"/%Y/%m/%d/%H"},"MySQLParam":{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","DdlTopic":"topic-test","DataSourceMonitorMode":"TABLE","DataSourceMonitorResource":"table-test","DataSourceIncrementMode":"TIMESTAMP","DataSourceIncrementColumn":"column_test","DataSourceStartFrom":"HEAD","DataTargetInsertMode":"INSERT","DataTargetPrimaryKeyField":"id","DataTargetRecordMapping":[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}],"TopicRegex":"(.).db.(.)","TopicReplacement":"$1","KeyColumns":"db1.table2.k1,k2","DropInvalidMessage":true,"DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"OutputFormat":"DEFAULT","IsTablePrefix":false,"IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false,"SignalDatabase":"database-test","IsTableRegular":false,"SignalTable":"table-test","DateTimeZone":"UTC+8","SelfBuilt":false},"PostgreSQLParam":{"Database":"database-test","Table":"*","Resource":"resource-test","PluginName":"decoderbufs","SnapshotMode":"initial","DataFormat":"JSON","DataTargetInsertMode":"INSERT","DataTargetPrimaryKeyField":"id","DataTargetRecordMapping":[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}],"DropInvalidMessage":true,"IsTableRegular":false,"KeyColumns":"db1.table2.k1,k2","RecordWithSchema":false},"TopicParam":{"Resource":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"TopicId":"topic-test","CompressionType":"none","UseAutoCreateTopic":false,"MsgMultiple":1},"MariaDBParam":{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","KeyColumns":"db1.table2.k1,k2","IsTablePrefix":false,"OutputFormat":"DEFAULT","IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false},"SQLServerParam":{"Database":"database-test","Table":"*","Resource":"resource-test","SnapshotMode":"initial"},"CtsdbParam":{"Resource":"resource-test","CtsdbMetric":"metric-test"},"ScfParam":{"FunctionName":"function-test","Namespace":"default","Qualifier":"$DEFAULT","BatchSize":1000,"MaxRetries":5},"MqttParam":{"Topics":"topic-test","CleanSession":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":1883,"UserName":"username-test","Password":"password-test","Qos":1,"MaxTasks":1,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","SelfBuilt":false}}
TargetResource DatahubResource 数据目标
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Type":"EB","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test","Topic":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"ResourceName":"ckafka测试","ZoneId":100003,"TopicId":"topic-test","PartitionNum":1,"EnableToleration":false,"QpsLimit":4000,"TableMappings":[{"Database":"db1","Table":"table1","Topic":"topic1","TopicId":"topic-id"}],"UseTableMapping":false,"UseAutoCreateTopic":false,"CompressionType":"none","MsgMultiple":1,"ConnectorSyncType":"DATA_SYNC_TYPE","KeepPartition":false},"EventBusParam":{"Type":"COS","SelfBuilt":false,"Resource":"resource-test","Namespace":"namespace-test","FunctionName":"function-test","Qualifier":"qualifier-test"},"MongoDBParam":{"Database":"database-test","Collection":"collection-test","CopyExisting":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"UserName":"username-test","Password":"password-test","ListeningEvent":"insert,update","ReadPreference":"主节点","Pipeline":"pipeline-test","SelfBuilt":false},"EsParam":{"Resource":"resource-test","Port":8099,"UserName":"username-test","Password":"password-test","SelfBuilt":false,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","DropInvalidMessage":true,"Index":"index-test","DateFormat":"yyyy-MM-dd","ContentKey":"key-test","DropInvalidJsonMessage":true,"DocumentIdField":"$.payload.name","IndexType":"JSONPATH","DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"DatabasePrimaryKey":"pk_test","DropDlq":{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":2,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"},"RecordMappingList":[{"ColumnName":"column-test","JsonKey":"key-test"}],"DateField":"create_timestamp","RecordMappingMode":"EXIST_MAPPING"},"TdwParam":{"Bid":"bid-test","Tid":"tid-test","IsDomestic":true,"TdwHost":"tl-tdbank-tdmanager.tencent-distribute.com","TdwPort":8099},"DtsParam":{"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"Topic":"topic-test","GroupId":"group-test","GroupUser":"username-test","GroupPassword":"password-test","TranSql":true},"ClickHouseParam":{"Cluster":"cluster-test","Database":"database-test","Table":"table-test","Schema":[{"ColumnName":"column_test","JsonKey":"column_test","Type":"String","AllowNull":false}],"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"UserName":"username-test","Password":"password-test","ServiceVip":"10.0.0.5","UniqVpcId":"vpc-test","SelfBuilt":false,"DropInvalidMessage":true,"Type":"emr","DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"BatchSize":1000,"ConsumerFetchMinBytes":1000000,"ConsumerFetchMaxWaitMs":30000},"ClsParam":{"DecodeJson":true,"Resource":"resource-test","LogSet":"logset-test","ContentKey":"key-test","TimeField":"time"},"CosParam":{"BucketName":"bucket-name-test","Region":"ap-guangzhou","ObjectKey":"key-test","AggregateBatchSize":100,"AggregateInterval":1,"FormatOutputType":"json","ObjectKeyPrefix":"prefix-test","DirectoryTimeFormat":"/%Y/%m/%d/%H"},"MySQLParam":{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","DdlTopic":"topic-test","DataSourceMonitorMode":"TABLE","DataSourceMonitorResource":"table-test","DataSourceIncrementMode":"TIMESTAMP","DataSourceIncrementColumn":"column_test","DataSourceStartFrom":"HEAD","DataTargetInsertMode":"INSERT","DataTargetPrimaryKeyField":"id","DataTargetRecordMapping":[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}],"TopicRegex":"(.).db.(.)","TopicReplacement":"$1","KeyColumns":"db1.table2.k1,k2","DropInvalidMessage":true,"DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"OutputFormat":"DEFAULT","IsTablePrefix":false,"IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false,"SignalDatabase":"database-test","IsTableRegular":false,"SignalTable":"table-test","DateTimeZone":"UTC+8","SelfBuilt":false},"PostgreSQLParam":{"Database":"database-test","Table":"*","Resource":"resource-test","PluginName":"decoderbufs","SnapshotMode":"initial","DataFormat":"JSON","DataTargetInsertMode":"INSERT","DataTargetPrimaryKeyField":"id","DataTargetRecordMapping":[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}],"DropInvalidMessage":true,"IsTableRegular":false,"KeyColumns":"db1.table2.k1,k2","RecordWithSchema":false},"TopicParam":{"Resource":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"TopicId":"topic-test","CompressionType":"none","UseAutoCreateTopic":false,"MsgMultiple":1},"MariaDBParam":{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","KeyColumns":"db1.table2.k1,k2","IsTablePrefix":false,"OutputFormat":"DEFAULT","IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false},"SQLServerParam":{"Database":"database-test","Table":"*","Resource":"resource-test","SnapshotMode":"initial"},"CtsdbParam":{"Resource":"resource-test","CtsdbMetric":"metric-test"},"ScfParam":{"FunctionName":"function-test","Namespace":"default","Qualifier":"$DEFAULT","BatchSize":1000,"MaxRetries":5},"MqttParam":{"Topics":"topic-test","CleanSession":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":1883,"UserName":"username-test","Password":"password-test","Qos":1,"MaxTasks":1,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","SelfBuilt":false}}
CreateTime String 任务创建时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:2019-08-19 00:00:00
ErrorMessage String 异常信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:message-test
TaskProgress Float 创建进度百分比
注意:此字段可能返回 null,表示取不到有效值。
示例值:90
TaskCurrentStep String 任务当前处于的步骤
注意:此字段可能返回 null,表示取不到有效值。
示例值:等待连接
DatahubId String Datahub转储Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:datahub-test
StepList Array of String 步骤列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:["step-test"]

DatahubTopicDTO

Datahub主题

被如下接口引用:DescribeDatahubTopics。

名称 类型 描述
Name String 名称
示例值:appId-test
TopicName String Topic名称
示例值:topic-test
TopicId String Topic Id
示例值:topic-test
PartitionNum Integer 分区数
示例值:1
RetentionMs Integer 过期时间
示例值:3600000
Note String 备注
示例值:note-test
Status Integer 状态,1使用中,2删除中
示例值:1

DatahubTopicResp

Datahub Topic 响应

被如下接口引用:CreateDatahubTopic。

名称 类型 描述
TopicName String 主题名称
示例值:topic-test
TopicId String 主题Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test

DateParam

数据处理——Value处理参数——转换时间格式参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Format String 时间格式
示例值:yyyy-MM-dd HH:mm:ss
TargetType String 输入类型,string,unix时间戳,默认string
注意:此字段可能返回 null,表示取不到有效值。
示例值:string
TimeZone String 时区,默认GMT+8
注意:此字段可能返回 null,表示取不到有效值。
示例值:GMT+8

DealInstanceDTO

预付费/后付费接口中,订单和 CKafka 实例映射数据结构

被如下接口引用:CreateInstancePre, CreatePostPaidInstance, DeleteInstancePre, ModifyInstancePre。

名称 类型 描述
DealName String 订单流水
注意:此字段可能返回 null,表示取不到有效值。
示例值:20230608002033882210000
InstanceIdList Array of String 订单流水对应购买的 CKafka 实例 id 列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:["ckafka-test"]

DescribeConnectInfoResultDTO

topic链接信息

被如下接口引用:DescribeTopicProduceConnection。

名称 类型 描述
IpAddr String ip地址
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.1
Time String 连结时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:2020-08-21 11:15:54
IsUnSupportVersion Boolean 是否支持的版本
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

DescribeConnectResource

查询连接源具体数据的返参

被如下接口引用:DescribeConnectResources。

名称 类型 描述
ResourceId String 连接源的Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
ResourceName String 连接源名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Description String 连接源描述
注意:此字段可能返回 null,表示取不到有效值。
示例值:description-test
Type String 连接源类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:KAFKA
Status Integer 连接源的状态
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
CreateTime String 连接源的创建时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:2019-08-19 00:00:00
ErrorMessage String 连接源的异常信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:message-test
DatahubTaskCount Integer 该连接源关联的Datahub任务数
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
CurrentStep String 连接源的当前所处步骤
注意:此字段可能返回 null,表示取不到有效值。
示例值:step-test
TaskProgress Float 创建进度百分比
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
StepList Array of String 步骤列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:["step-test"]
DtsConnectParam DtsConnectParam Dts配置,Type为DTS时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"GroupId":"group-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"Topic":"topic-test"}
MongoDBConnectParam MongoDBConnectParam MongoDB配置,Type为MONGODB时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true}
EsConnectParam EsConnectParam Es配置,Type为ES时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true}
ClickHouseConnectParam ClickHouseConnectParam ClickHouse配置,Type为CLICKHOUSE时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true}
MySQLConnectParam MySQLConnectParam MySQL配置,Type为MYSQL或TDSQL_C_MYSQL时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"ClusterId":"cynosdbmysql-test","SelfBuilt":false}
PostgreSQLConnectParam PostgreSQLConnectParam PostgreSQL配置,Type为POSTGRESQL或TDSQL_C_POSTGRESQL时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","ClusterId":"tdcpg-test","IsUpdate":true,"SelfBuilt":false}
MariaDBConnectParam MariaDBConnectParam MariaDB配置,Type为MARIADB时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true}
SQLServerConnectParam SQLServerConnectParam SQLServer配置,Type为SQLSERVER时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":1433,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true}
CtsdbConnectParam CtsdbConnectParam Ctsdb配置,Type为CTSDB时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","Resource":"resource-test"}
DorisConnectParam DorisConnectParam Doris 配置,Type 为 DORIS 时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":9030,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"SelfBuilt":false,"BePort":8040}
KafkaConnectParam KafkaConnectParam Kafka配置,Type 为 KAFKA 时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"ckafka-test","SelfBuilt":true,"IsUpdate":true,"BrokerAddress":"10.0.0.30:9092,10.0.0.31:9092","Region":"ap-guangzhou"}
MqttConnectParam MqttConnectParam MQTT配置,Type 为 MQTT 时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"UserName":"username-test","Password":"password-test","Resource":"resource-test","UniqVpcId":"vpc-test","SelfBuilt":true,"IsUpdate":true,"Region":"ap-guangzhou"}

DescribeConnectResourceResp

查询连接源具体数据的返参

被如下接口引用:DescribeConnectResource。

名称 类型 描述
ResourceId String 连接源的Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
ResourceName String 连接源名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Description String 连接源描述
注意:此字段可能返回 null,表示取不到有效值。
示例值:description-test
Type String 连接源类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:KAFKA
Status Integer 连接源的状态
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
CreateTime String 连接源的创建时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:2019-08-19 00:00:00
ErrorMessage String 连接源的异常信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:message-test
CurrentStep String 连接源的当前所处步骤
注意:此字段可能返回 null,表示取不到有效值。
示例值:step-test
StepList Array of String 步骤列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:["step-test"]
MySQLConnectParam MySQLConnectParam MySQL配置,Type为MYSQL或TDSQL_C_MYSQL时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"ClusterId":"cynosdbmysql-test","SelfBuilt":false}
PostgreSQLConnectParam PostgreSQLConnectParam PostgreSQL配置,Type为POSTGRESQL或TDSQL_C_POSTGRESQL时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","ClusterId":"tdcpg-test","IsUpdate":true,"SelfBuilt":false}
DtsConnectParam DtsConnectParam Dts配置,Type为DTS时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"GroupId":"group-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"Topic":"topic-test"}
MongoDBConnectParam MongoDBConnectParam MongoDB配置,Type为MONGODB时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true}
EsConnectParam EsConnectParam Es配置,Type为ES时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true}
ClickHouseConnectParam ClickHouseConnectParam ClickHouse配置,Type为CLICKHOUSE时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true}
MariaDBConnectParam MariaDBConnectParam MariaDB配置,Type为MARIADB时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true}
SQLServerConnectParam SQLServerConnectParam SQLServer配置,Type为SQLSERVER时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":1433,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true}
CtsdbConnectParam CtsdbConnectParam Ctsdb配置,Type为CTSDB时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","Resource":"resource-test"}
DorisConnectParam DorisConnectParam Doris 配置,Type 为 DORIS 时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"resource-test","Port":9030,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"SelfBuilt":false,"BePort":8040}
KafkaConnectParam KafkaConnectParam Kafka配置,Type 为 KAFKA 时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"ckafka-test","SelfBuilt":true,"IsUpdate":true,"BrokerAddress":"10.0.0.30:9092,10.0.0.31:9092","Region":"ap-guangzhou"}
MqttConnectParam MqttConnectParam MQTT配置,Type 为 MQTT 时返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"UserName":"username-test","Password":"password-test","Resource":"resource-test","UniqVpcId":"vpc-test","SelfBuilt":true,"IsUpdate":true,"Region":"ap-guangzhou"}

DescribeConnectResourcesResp

查询连接源列表的返参

被如下接口引用:DescribeConnectResources。

名称 类型 描述
TotalCount Integer 连接源个数
示例值:1
ConnectResourceList Array of DescribeConnectResource 连接源数据
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"ResourceId":"resource-test","ResourceName":"resource-test","Description":"description-test","Type":"ES","Status":1,"CreateTime":"2019/8/19 00:00:00","ErrorMessage":"message-error","DatahubTaskCount":0,"CurrentStep":"step-1","TaskProgress":10,"StepList":["Step-1"],"EsConnectParam":{"Ip":"10.0.0.30","Port":9200,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","Resource":"resource-test","SelfBuilt":false,"IsUpdate":true}}]

DescribeDatahubTaskRes

查询Datahub任务信息

被如下接口引用:DescribeDatahubTask。

名称 类型 描述
TaskId String 任务ID
示例值:task-test
TaskName String 任务名称
示例值:task-test
TaskType String 任务类型,SOURCE数据接入,SINK数据流出
示例值:SINK
Status Integer 状态,-1创建失败,0创建中,1运行中,2删除中,3已删除,4删除失败,5暂停中,6已暂停,7暂停失败,8恢复中,9恢复失败
示例值:1
SourceResource DatahubResource 数据源
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Type":"KAFKA","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"}}
TargetResource DatahubResource 数据目标
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Type":"KAFKA","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"}}
Connections Array of Connection Connection列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"TopicName":"topic-test","GroupId":"group-test","TopicId":"topic-test"}]
CreateTime String 任务创建时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:2019/8/19 00:00:00
TransformParam TransformParam 消息处理规则
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Content":"{"name":"value"}","AnalysisFormat":"JSON","OutputFormat":"JSON","FailureParam":{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":1,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"},"SourceType":"TOPIC","Regex":",","MapParam":[{"Key":"key-test","Type":"DEFAULT","Value":"value-test"}],"FilterParam":[{"Key":"key-test","Type":"REGULAR","MatchMode":"PREFIX","Value":"value-test"}]}
DatahubId String 数据接入ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:task-test
SchemaId String 绑定的SchemaId
注意:此字段可能返回 null,表示取不到有效值。
示例值:schema-test
SchemaName String 绑定的Schema名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:schema-test
TransformsParam TransformsParam 数据处理规则
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Content":"{"name":"value"}","FieldChain":{"Analyse":{"Format":"JSON"}}}
ErrorMessage String 异常信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:message-test
Tags Array of Tag 任务标签列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}]

DescribeDatahubTasksRes

查询Datahub任务列表

被如下接口引用:DescribeDatahubTasks。

名称 类型 描述
TotalCount Integer 任务总数
示例值:1
TaskList Array of DatahubTaskInfo Datahub任务信息列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Status":1,"TaskId":"task-test","TaskName":"task测试","TaskType":"SINK","SourceResource":{"Type":"KAFKA","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test","Topic":"topic-test","OffsetType":"timestamp","StartTime":1635339533,"ResourceName":"resourceName-test","ZoneId":100003}},"TargetResource":{"Type":"EB","EventBusParam":{"Type":"COS","SelfBuilt":false,"Resource":"resource-test","Namespace":"default","FunctionName":"functionName-test","Qualifier":"$LATEST"}}}]

DescribeDatahubTopicResp

Datahub Topic详情

被如下接口引用:DescribeDatahubTopic。

名称 类型 描述
Name String 名称
示例值:appId-test
TopicName String Topic名称
示例值:topic-test
TopicId String Topic Id
示例值:topic-test
PartitionNum Integer 分区数
示例值:1
RetentionMs Integer 过期时间
示例值:3600000
Note String 备注
注意:此字段可能返回 null,表示取不到有效值。
示例值:note-test
UserName String 用户名
示例值:username-test
Password String 密码
示例值:password-test
Status Integer 状态,1使用中,2删除中
示例值:1
Address String 服务路由地址
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.3

DescribeDatahubTopicsResp

Datahub主题列表

被如下接口引用:DescribeDatahubTopics。

名称 类型 描述
TotalCount Integer 总数
示例值:10
TopicList Array of DatahubTopicDTO Topic列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Name":"appId-test","TopicName":"topic-test","TopicId":"topic-test","PartitionNum":1,"RetentionMs":1,"Note":"note-test","Status":1}]

DescribeGroup

DescribeGroup返回实体

被如下接口引用:DescribeGroup。

名称 类型 描述
Group String 消费分组名称
示例值:group-test
Protocol String 该 group 使用的协议。
示例值:consumer

DorisConnectParam

Doris 连接源参数

被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

名称 类型 必选 描述
Port Integer Doris jdbc 负载均衡连接 port,通常映射到 fe 的 9030 端口
注意:此字段可能返回 null,表示取不到有效值。
示例值:9030
UserName String Doris 连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String Doris 连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Resource String Doris 连接源的实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
ServiceVip String Doris 连接源的实例vip,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String Doris 连接源的vpcId,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
SelfBuilt Boolean Doris 连接源是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
BePort Integer Doris 的 http 负载均衡连接 port,通常映射到 be 的 8040 端口
注意:此字段可能返回 null,表示取不到有效值。
示例值:8040

DorisModifyConnectParam

Doris 连接源修改参数

被如下接口引用:ModifyConnectResource。

名称 类型 必选 描述
Resource String Doris 连接源的实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Port Integer Doris jdbc 负载均衡连接 port,通常映射到 fe 的 9030 端口
注意:此字段可能返回 null,表示取不到有效值。
示例值:9030
ServiceVip String Doris 连接源的实例vip,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String Doris 连接源的vpcId,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
UserName String Doris 连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String Doris 连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
SelfBuilt Boolean Doris 连接源是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
BePort Integer Doris 的 http 负载均衡连接 port,通常映射到 be 的 8040 端口
注意:此字段可能返回 null,表示取不到有效值。
示例值:8040

DropCls

dip失败消息写入cls的配置

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
DropInvalidMessageToCls Boolean 是否投递到cls
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
DropClsRegion String 投递cls的地域
注意:此字段可能返回 null,表示取不到有效值。
示例值:ap-guangzhou
DropClsOwneruin String 投递cls的账号
注意:此字段可能返回 null,表示取不到有效值。
示例值:10003080064
DropClsTopicId String 投递cls的主题
注意:此字段可能返回 null,表示取不到有效值。
示例值:eafds-vfdfsdf-dbdfsdf
DropClsLogSet String 投递cls的日志集id
注意:此字段可能返回 null,表示取不到有效值。
示例值:wqead-bfdebv-sfds

DtsConnectParam

Dts连接源参数

被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

名称 类型 必选 描述
Port Integer Dts的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
GroupId String Dts消费分组的Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:group-test
UserName String Dts消费分组的账号
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String Dts消费分组的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Resource String Dts实例Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Topic String Dts订阅的topic
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

DtsModifyConnectParam

Dts修改连接源参数

被如下接口引用:ModifyConnectResource。

名称 类型 必选 描述
Resource String Dts实例Id【不支持修改】
示例值:resource-test
Port Integer Dts的连接port【不支持修改】
示例值:8080
GroupId String Dts消费分组的Id
示例值:group-test
UserName String Dts消费分组的账号
示例值:username-test
Password String Dts消费分组的密码
示例值:password-test
IsUpdate Boolean 是否更新到关联的Datahub任务,默认为true
示例值:true
Topic String Dts订阅的topic【不支持修改】
示例值:topic-test

DtsParam

Dts类型入参

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Resource String Dts实例Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Ip String Dts的连接ip
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.5
Port Integer Dts的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8099
Topic String Dts订阅的topic
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
GroupId String Dts消费分组的Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:group-test
GroupUser String Dts消费分组的账号
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
GroupPassword String Dts消费分组的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
TranSql Boolean false同步原始数据,true同步解析后的json格式数据,默认true
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

DynamicDiskConfig

动态硬盘扩容配置

被如下接口引用:DescribeInstanceAttributes。

名称 类型 必选 描述
Enable Integer 动态硬盘扩容配置开关(0: 关闭,1: 开启)
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
StepForwardPercentage Integer 每次磁盘动态扩容大小百分比
注意:此字段可能返回 null,表示取不到有效值。
示例值:15
DiskQuotaPercentage Integer 磁盘配额百分比触发条件,即消息达到此值触发硬盘自动扩容事件
注意:此字段可能返回 null,表示取不到有效值。
示例值:70
MaxDiskSpace Integer 最大扩容硬盘大小,以 GB 为单位
注意:此字段可能返回 null,表示取不到有效值。
示例值:1000

DynamicRetentionTime

动态消息保留时间配置

被如下接口引用:DescribeInstanceAttributes, ModifyInstanceAttributes。

名称 类型 必选 描述
Enable Integer 动态消息保留时间配置开关(0: 关闭,1: 开启)
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
DiskQuotaPercentage Integer 磁盘配额百分比触发条件,即消息达到此值触发消息保留时间变更事件
注意:此字段可能返回 null,表示取不到有效值。
示例值:75
StepForwardPercentage Integer 每次向前调整消息保留时间百分比
注意:此字段可能返回 null,表示取不到有效值。
示例值:10
BottomRetention Integer 保底时长,单位分钟
注意:此字段可能返回 null,表示取不到有效值。
示例值:360

EsConnectParam

Es连接源参数

被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

名称 类型 必选 描述
Port Integer Es的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
UserName String Es连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String Es连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Resource String Es连接源的实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
SelfBuilt Boolean Es连接源是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
ServiceVip String Es连接源的实例vip,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String Es连接源的vpcId,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

EsModifyConnectParam

Es修改连接源参数

被如下接口引用:ModifyConnectResource。

名称 类型 必选 描述
Resource String Es连接源的实例资源【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Port Integer Es的连接port【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
ServiceVip String Es连接源的实例vip【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String Es连接源的vpcId【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
UserName String Es连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String Es连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
SelfBuilt Boolean Es连接源是否为自建集群【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

EsParam

Es类型入参

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Resource String Es实例资源Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Port Integer Es的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8099
UserName String Es用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String Es密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
SelfBuilt Boolean 是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
ServiceVip String 实例vip
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.30
UniqVpcId String 实例的vpcId
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
DropInvalidMessage Boolean Es是否抛弃解析失败的消息
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
Index String Es自定义index名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:index-test
DateFormat String Es自定义日期后缀
注意:此字段可能返回 null,表示取不到有效值。
示例值:yyyy-MM-dd
ContentKey String 非json格式数据的自定义key
注意:此字段可能返回 null,表示取不到有效值。
示例值:key-test
DropInvalidJsonMessage Boolean Es是否抛弃非json格式的消息
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
DocumentIdField String 转储到Es中的文档ID取值字段名
注意:此字段可能返回 null,表示取不到有效值。
示例值:$.payload.name
IndexType String Es自定义index名称的类型,STRING,JSONPATH,默认为STRING
注意:此字段可能返回 null,表示取不到有效值。
示例值:JSONPATH
DropCls DropCls 当设置成员参数DropInvalidMessageToCls设置为true时,DropInvalidMessage参数失效
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"}
DatabasePrimaryKey String 转储到ES的消息为Database的binlog时,如果需要同步数据库操作,即增删改的操作到ES时填写数据库表主键
注意:此字段可能返回 null,表示取不到有效值。
示例值:pk_test
DropDlq FailureParam 死信队列
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":2,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"}
RecordMappingList Array of EsRecordMapping 使用数据订阅格式导入 es 时,消息与 es 索引字段映射关系。不填默认为默认字段匹配
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"ColumnName":"column-test","JsonKey":"key-test"}]
DateField String 消息要映射为 es 索引中 @timestamp 的字段,如果当前配置为空,则使用消息的时间戳进行映射
注意:此字段可能返回 null,表示取不到有效值。
示例值:create_timestamp
RecordMappingMode String 用来区分当前索引映射,属于新建索引还是存量索引。"EXIST_MAPPING":从存量索引中选择;"NEW_MAPPING":新建索引
注意:此字段可能返回 null,表示取不到有效值。
示例值:EXIST_MAPPING

EsRecordMapping

消息字段与 es 索引的映射关系

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
ColumnName String es 索引成员名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:column-test
JsonKey String 消息字段名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:key-test

EventBusParam

EventBus配置

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Type String 资源类型。COS/ES/CLS
示例值:COS
SelfBuilt Boolean 是否为自建集群
示例值:false
Resource String 实例资源
示例值:resource-test
Namespace String SCF云函数命名空间
示例值:namespace-test
FunctionName String SCF云函数函数名
示例值:function-test
Qualifier String SCF云函数版本及别名
示例值:qualifier-test

FailureParam

数据处理规则失败处理

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Type String 类型,DLQ死信队列,IGNORE_ERROR保留,DROP废弃
示例值:DLQ
KafkaParam KafkaParam Ckafka类型死信队列
示例值:{"SelfBuilt":false,"Resource":"ckafka-test"}
RetryInterval Integer 重试间隔
示例值:1
MaxRetryAttempts Integer 重试次数
示例值:2
TopicParam TopicParam DIP Topic类型死信队列
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Resource":"appId-test"}
DlqType String 死信队列类型,CKAFKA,TOPIC
注意:此字段可能返回 null,表示取不到有效值。
示例值:TOPIC

FieldParam

数据处理——处理链

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Analyse AnalyseParam 解析
示例值:{"Format":"JSON"}
SecondaryAnalyse SecondaryAnalyseParam 二次解析
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Regex":","}
SMT Array of SMTParam 数据处理
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Key":"key-test","Operate":"MAPPING","SchemeType":"ORIGINAL"}]
Result String 测试结果
注意:此字段可能返回 null,表示取不到有效值。
示例值:result-test
AnalyseResult Array of SMTParam 解析结果
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Key":"key-test","Operate":"MAPPING","SchemeType":"ORIGINAL"}]
SecondaryAnalyseResult Array of SMTParam 二次解析结果
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Key":"key-test","Operate":"MAPPING","SchemeType":"ORIGINAL"}]
AnalyseJsonResult String JSON格式解析结果
注意:此字段可能返回 null,表示取不到有效值。
示例值:result-test
SecondaryAnalyseJsonResult String JSON格式二次解析结果
注意:此字段可能返回 null,表示取不到有效值。
示例值:result-test

Filter

查询过滤器

描述键值对过滤器,用于条件过滤查询。例如过滤ID、名称、状态等

  • 若存在多个Filter时,Filter间的关系为逻辑与(AND)关系。
  • 若同一个Filter存在多个Values,同一FilterValues间的关系为逻辑或(OR)关系。

被如下接口引用:DescribeGroup, DescribeInstancesDetail, DescribeTopicDetail。

名称 类型 必选 描述
Name String 需要过滤的字段。
示例值:GroupState
Values Array of String 字段的过滤值。
示例值:["Empty"]

FilterMapParam

过滤器参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Key String Key值
示例值:key-test
MatchMode String 匹配模式,前缀匹配PREFIX,后缀匹配SUFFIX,包含匹配CONTAINS,EXCEPT除外匹配,数值匹配NUMBER,IP匹配IP
示例值:PREFIX
Value String Value值
示例值:value-test
Type String 固定REGULAR
示例值:REGULAR

Group

组实体

被如下接口引用:DescribeConsumerGroup。

名称 类型 描述
GroupName String 消费分组名称
示例值:group-test

GroupInfoMember

consumer信息

被如下接口引用:DescribeGroupInfo。

名称 类型 描述
MemberId String coordinator 为消费分组中的消费者生成的唯一 ID
示例值:consumer-test
ClientId String 客户消费者 SDK 自己设置的 client.id 信息
示例值:consumer-client-test
ClientHost String 一般存储客户的 IP 地址
示例值:10.0.0.30
Assignment Assignment 存储着分配给该消费者的 partition 信息
示例值:{"Version":0,"Topics":[{"Topic":"topic-test","Partitions":[0]}]}

GroupInfoResponse

GroupInfo返回数据的实体

被如下接口引用:DescribeGroupInfo, DescribeTopicSubscribeGroup。

名称 类型 描述
ErrorCode String 错误码,正常为0
示例值:0
State String group 状态描述(常见的为 Empty、Stable、Dead 三种状态):
Dead:消费分组不存在
Empty:消费分组,当前没有任何消费者订阅
PreparingRebalance:消费分组处于 rebalance 状态
CompletingRebalance:消费分组处于 rebalance 状态
Stable:消费分组中各个消费者已经加入,处于稳定状态
示例值:Stable
ProtocolType String 消费分组选择的协议类型正常的消费者一般为 consumer 但有些系统采用了自己的协议如 kafka-connect 用的就是 connect。只有标准的 consumer 协议,本接口才知道具体的分配方式的格式,才能解析到具体的 partition 的分配情况
示例值:consumer
Protocol String 消费者 partition 分配算法常见的有如下几种(Kafka 消费者 SDK 默认的选择项为 range):range、 roundrobin、 sticky
示例值:range
Members Array of GroupInfoMember 仅当 state 为 Stable 且 protocol_type 为 consumer 时, 该数组才包含信息
示例值:[{"MemberId":"member-test","ClientId":"client-test","ClientHost":"10.0.0.5","Assignment":{"Version":1,"Topics":[{"Topic":"topic-test","Partitions":[0,1,2]}]}}]
Group String 消费分组名称
示例值:group-test

GroupInfoTopics

GroupInfo内部topic对象

被如下接口引用:DescribeGroupInfo。

名称 类型 描述
Topic String 分配的 topic 名称
示例值:topic-test
Partitions Array of Integer 分配的 partition 信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:[0]

GroupOffsetPartition

组偏移量分区对象

被如下接口引用:DescribeDatahubGroupOffsets, DescribeGroupOffsets。

名称 类型 描述
Partition Integer topic 的 partitionId
示例值:0
Offset Integer consumer 提交的 offset 位置
示例值:0
Metadata String 支持消费者提交消息时,传入 metadata 作为它用,当前一般为空字符串
注意:此字段可能返回 null,表示取不到有效值。
示例值:Metadata-test
ErrorCode Integer 错误码
示例值:502
LogEndOffset Integer 当前 partition 最新的 offset
示例值:118
Lag Integer 未消费的消息个数
示例值:1

GroupOffsetResponse

消费组偏移量返回结果

被如下接口引用:DescribeDatahubGroupOffsets, DescribeGroupOffsets。

名称 类型 描述
TotalCount Integer 符合调节的总结果数
示例值:1
TopicList Array of GroupOffsetTopic 该主题分区数组,其中每个元素为一个 json object
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Partitions":[{"ErrorCode":0,"Lag":1,"LogEndOffset":1,"Metadata":"","Offset":0,"Partition":0}],"Topic":"topic-test"}]

GroupOffsetTopic

消费分组主题对象

被如下接口引用:DescribeDatahubGroupOffsets, DescribeGroupOffsets。

名称 类型 描述
Topic String 主题名称
示例值:topic-test
Partitions Array of GroupOffsetPartition 该主题分区数组,其中每个元素为一个 json object
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"partition":0,"offset":0,"logEndOffset":0,"lag":1,"errorCode":0,"metadata":"test"}]

GroupResponse

DescribeGroup的返回

被如下接口引用:DescribeGroup。

名称 类型 描述
TotalCount Integer 计数
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
GroupList Array of DescribeGroup GroupList
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Group":"group-test","Protocol":"consumer"}]
GroupCountQuota Integer 消费分组配额
注意:此字段可能返回 null,表示取不到有效值。
示例值:300

InquireCkafkaPriceResp

InquireCkafkaPrice接口询价返回值

被如下接口引用:InquireCkafkaPrice。

名称 类型 描述
InstancePrice InquiryPrice 实例价格
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"DetailPrices":null,"UnitPrice":190,"UnitPriceDiscount":57.56,"OriginalPrice":190,"DiscountPrice":7.56,"Discount":30.3,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":1}
PublicNetworkBandwidthPrice InquiryPrice 公网带宽价格
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0}

InquiryBasePrice

询价返回参数

被如下接口引用:InquireCkafkaPrice。

名称 类型 描述
UnitPrice Float 单位原价
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.0
UnitPriceDiscount Float 折扣单位价格
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.0
OriginalPrice Float 合计原价
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.0
DiscountPrice Float 折扣合计价格
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.0
Discount Float 折扣(单位是%)
注意:此字段可能返回 null,表示取不到有效值。
示例值:100.0
GoodsNum Integer 商品数量
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
Currency String 付费货币
注意:此字段可能返回 null,表示取不到有效值。
示例值:CNY
DiskType String 硬盘专用返回参数
注意:此字段可能返回 null,表示取不到有效值。
示例值:SSD
TimeSpan Integer 购买时长
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
TimeUnit String 购买时长单位("m"按月, "h"按小时)
注意:此字段可能返回 null,表示取不到有效值。
示例值:m
Value Integer 购买数量
注意:此字段可能返回 null,表示取不到有效值。
示例值:100

InquiryDetailPrice

详细类别的价格

被如下接口引用:InquireCkafkaPrice。

名称 类型 描述
BandwidthPrice InquiryBasePrice 额外内网带宽价格
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0}
DiskPrice InquiryBasePrice 硬盘价格
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"UnitPrice":175,"UnitPriceDiscount":50.1,"OriginalPrice":175,"DiscountPrice":50.1,"Discount":28.3,"GoodsNum":null,"Currency":null,"DiskType":"CLOUD_BASIC","TimeSpan":null,"TimeUnit":null,"Value":500}
PartitionPrice InquiryBasePrice 额外分区价格
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0}
TopicPrice InquiryBasePrice 额外Topic价格
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"DetailPrices":null,"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0}
InstanceTypePrice InquiryBasePrice 实例套餐价格
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"DetailPrices":null,"UnitPrice":190,"UnitPriceDiscount":57.56,"OriginalPrice":190,"DiscountPrice":7.56,"Discount":30.3,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":1}

InquiryDiskParam

购买硬盘参数

被如下接口引用:InquireCkafkaPrice。

名称 类型 必选 描述
DiskType String 购买硬盘类型: SSD(SSD), CLOUD_SSD(SSD云硬盘), CLOUD_PREMIUM(高性能云硬盘), CLOUD_BASIC(云盘)
示例值:SSD
DiskSize Integer 购买硬盘大小: 单位GB
示例值:1

InquiryPrice

询价返回参数

被如下接口引用:InquireCkafkaPrice。

名称 类型 描述
UnitPrice Float 单位原价
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.0
UnitPriceDiscount Float 折扣单位价格
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.0
OriginalPrice Float 合计原价
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.0
DiscountPrice Float 折扣合计价格
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.0
Discount Float 折扣(单位是%)
注意:此字段可能返回 null,表示取不到有效值。
示例值:100.0
GoodsNum Integer 商品数量
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
Currency String 付费货币
注意:此字段可能返回 null,表示取不到有效值。
示例值:CNY
DiskType String 硬盘专用返回参数
注意:此字段可能返回 null,表示取不到有效值。
示例值:SSD
TimeSpan Integer 购买时长
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
TimeUnit String 购买时长单位("m"按月, "h"按小时)
注意:此字段可能返回 null,表示取不到有效值。
示例值:m
Value Integer 购买数量
注意:此字段可能返回 null,表示取不到有效值。
示例值:100
DetailPrices InquiryDetailPrice 详细类别的价格
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"BandwidthPrice":{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0},"DiskPrice":{"UnitPrice":175,"UnitPriceDiscount":50.1,"OriginalPrice":175,"DiscountPrice":50.1,"Discount":28.3,"GoodsNum":null,"Currency":null,"DiskType":"CLOUD_BASIC","TimeSpan":null,"TimeUnit":null,"Value":500},"PartitionPrice":{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0},"TopicPrice":{"DetailPrices":null,"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0},"InstanceTypePrice":{"DetailPrices":null,"UnitPrice":190,"UnitPriceDiscount":57.56,"OriginalPrice":190,"DiscountPrice":7.56,"Discount":30.3,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":1}}

InquiryPublicNetworkParam

公网带宽参数

被如下接口引用:InquireCkafkaPrice。

名称 类型 必选 描述
PublicNetworkChargeType String 公网计费模式: BANDWIDTH_PREPAID(包年包月), BANDWIDTH_POSTPAID_BY_HOUR(带宽按小时计费)
示例值:BANDWIDTH_PREPAID
PublicNetworkMonthly Integer 公网带宽, 单位MB
示例值:0

Instance

实例对象

被如下接口引用:DescribeInstances。

名称 类型 描述
InstanceId String ckafka集群实例Id
示例值:ckafka-test
InstanceName String ckafka集群实例Name
示例值:ckafka测试
Status Integer 实例的状态。0: 创建中,1: 运行中,2: 删除中, 3: 已删除, 5: 隔离中, 7: 升级中, -1: 创建失败
示例值:1
IfCommunity Boolean 是否开源实例。开源:true,不开源:false
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

InstanceAttributesResponse

实例属性返回结果对象

被如下接口引用:DescribeInstanceAttributes。

名称 类型 描述
InstanceId String ckafka集群实例Id
示例值:ckafka-test
InstanceName String ckafka集群实例Name
示例值:ckafka测试
VipList Array of VipEntity 接入点 VIP 列表信息
示例值:[{"Vip":"10.0.0.5","Vport":"9092"}]
Vip String 虚拟IP
示例值:10.0.0.5
Vport String 虚拟端口
示例值:9092
Status Integer 实例的状态。0: 创建中,1: 运行中,2: 删除中, 3: 已删除, 5: 隔离中, 7: 升级中, -1: 创建失败
示例值:1
Bandwidth Integer 实例带宽,单位:Mbps
示例值:100
DiskSize Integer 实例的存储大小,单位:GB
示例值:200
ZoneId Integer 可用区
示例值:100003
VpcId String VPC 的 ID,为空表示是基础网络
示例值:vpc-test
SubnetId String 子网 ID, 为空表示基础网络
示例值:subnet-test
Healthy Integer 实例健康状态, 1:健康,2:告警,3:异常
示例值:1
HealthyMessage String 实例健康信息,当前会展示磁盘利用率,最大长度为256
示例值:healthy
CreateTime Integer 创建时间
示例值:2019-08-19 00:00:00
MsgRetentionTime Integer 消息保存时间,单位为分钟
示例值:4320
Config InstanceConfigDO 自动创建 Topic 配置, 若该字段为空,则表示未开启自动创建
示例值:{"AutoCreateTopicsEnable":false,"DefaultNumPartitions":0,"DefaultReplicationFactor":0}
RemainderPartitions Integer 剩余创建分区数
示例值:310
RemainderTopics Integer 剩余创建主题数
示例值:190
CreatedPartitions Integer 当前创建分区数
示例值:90
CreatedTopics Integer 当前创建主题数
示例值:10
Tags Array of Tag 标签数组
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}]
ExpireTime Integer 过期时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:1566144000
ZoneIds Array of Integer 可用区列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[100003,100004]
Version String ckafka集群实例版本
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.1.1
MaxGroupNum Integer 最大分组数
注意:此字段可能返回 null,表示取不到有效值。
示例值:500
Cvm Integer 售卖类型,0:标准版,1:专业版
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
InstanceType String 类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:profession
Features Array of String 表示该实例支持的特性。FEATURE_SUBNET_ACL:表示acl策略支持设置子网。
注意:此字段可能返回 null,表示取不到有效值。
示例值:["FEATURE_TOPIC_QUOTA","CLOUD_EKS_TSE","CLOUD_EKS_CROS_ZONE","FEATURE_SASL_SCRAM"]
RetentionTimeConfig DynamicRetentionTime 动态消息保留策略
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"BottomRetention":360,"DiskQuotaPercentage":75,"Enable":1,"StepForwardPercentage":10}
MaxConnection Integer 最大连接数
注意:此字段可能返回 null,表示取不到有效值。
示例值:50000
PublicNetwork Integer 公网带宽
注意:此字段可能返回 null,表示取不到有效值。
示例值:3
DeleteRouteTimestamp String 时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:1566144000
RemainingPartitions Integer 剩余创建分区数
注意:此字段可能返回 null,表示取不到有效值。
示例值:310
RemainingTopics Integer 剩余创建主题数
注意:此字段可能返回 null,表示取不到有效值。
示例值:190
DynamicDiskConfig DynamicDiskConfig 动态硬盘扩容策略
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"DiskQuotaPercentage":75,"Enable":1,"MaxDiskSpace":500000,"StepForwardPercentage":10}
InstanceChargeType String 实例计费类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:PREPAID
ClusterType String 集群类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:CLOUD_CVM
FreePartitionNumber Integer 免费分区数量
示例值:400
ElasticFloatBandwidth Integer 弹性带宽上浮值
注意:此字段可能返回 null,表示取不到有效值。
示例值:240
CustomCertId String ssl自定义证书id
示例值:cert-test
UncleanLeaderElectionEnable Integer 集群topic默认 unclean.leader.election.enable配置: 1 开启 0 关闭
示例值:1

InstanceChargeParam

实例购买付费参数

被如下接口引用:InquireCkafkaPrice。

名称 类型 必选 描述
InstanceChargeType String 实例付费类型: PREPAID(包年包月), POSTPAID_BY_HOUR(按量付费)
示例值:PREPAID
InstanceChargePeriod Integer 购买时长: 包年包月时需要填写, 按量计费无需填写
示例值:1

InstanceConfigDO

实例配置实体

被如下接口引用:DescribeInstanceAttributes。

名称 类型 描述
AutoCreateTopicsEnable Boolean 是否自动创建主题
示例值:false
DefaultNumPartitions Integer 分区数
示例值:0
DefaultReplicationFactor Integer 默认的复制Factor
示例值:0

InstanceDeleteResponse

删除实例返回任务

被如下接口引用:DeleteInstancePost。

名称 类型 描述
FlowId Integer 删除实例返回的任务Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:6970

InstanceDetail

实例详情

被如下接口引用:DescribeInstancesDetail。

名称 类型 描述
InstanceId String ckafka集群实例Id
示例值:ckafka-test
InstanceName String ckafka集群实例名称
示例值:ckafka测试
Vip String 访问实例的vip 信息
示例值:10.0.0.5
Vport String 访问实例的端口信息
示例值:9092
VipList Array of VipEntity 虚拟IP列表
示例值:[{"Vip":"10.0.0.5","Vport":"9092"}]
Status Integer 实例的状态。0: 创建中,1: 运行中,2: 删除中, 3: 已删除, 5: 隔离中, 7: 升级中, -1: 创建失败
示例值:1
Bandwidth Integer 实例带宽,单位Mbps
示例值:300
DiskSize Integer ckafka集群实例磁盘大小,单位G
示例值:800
ZoneId Integer 可用区域ID
示例值:100003
VpcId String vpcId,如果为空,说明是基础网络
示例值:vpc-test
SubnetId String 子网id
示例值:subnet-test
RenewFlag Integer 实例是否续费,int 枚举值:1表示自动续费,2表示明确不自动续费
示例值:1
Healthy Integer 实例状态 int:1表示健康,2表示告警,3 表示实例状态异常
示例值:1
HealthyMessage String 实例状态信息
示例值:"健康"
CreateTime Integer 实例创建时间
示例值:1566144000
ExpireTime Integer 实例过期时间
示例值:1566144000
IsInternal Integer 是否为内部客户。值为1 表示内部客户
示例值:1
TopicNum Integer Topic个数
示例值:10
Tags Array of Tag 标识tag
示例值:[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}]
Version String kafka版本信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.1.1
ZoneIds Array of Integer 跨可用区
注意:此字段可能返回 null,表示取不到有效值。
示例值:[100003,100004]
Cvm Integer ckafka售卖类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
InstanceType String ckafka集群实例类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:profession
DiskType String ckafka集群实例磁盘类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:CLOUD_SSD
MaxTopicNumber Integer 当前规格最大Topic数
注意:此字段可能返回 null,表示取不到有效值。
示例值:400
MaxPartitionNumber Integer 当前规格最大Partition数
注意:此字段可能返回 null,表示取不到有效值。
示例值:800
RebalanceTime String 计划升级配置时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:0000-00-00 00:00:00
PartitionNumber Integer 实例当前partition数量
注意:此字段可能返回 null,表示取不到有效值。
示例值:30
PublicNetworkChargeType String ckafka集群实例公网带宽类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:BANDWIDTH_PREPAID
PublicNetwork Integer 公网带宽 最小3Mbps 最大999Mbps 仅专业版支持填写
注意:此字段可能返回 null,表示取不到有效值。
示例值:3
ClusterType String ckafka集群实例底层集群类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:CLOUD_CVM
Features Array of String 实例功能列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:["FEATURE_UPDATE_PROFESSION"]

InstanceDetailResponse

实例详情返回结果

被如下接口引用:DescribeInstancesDetail。

名称 类型 描述
TotalCount Integer 符合条件的实例总数
示例值:1
InstanceList Array of InstanceDetail 符合条件的实例详情列表
示例值:[{"InstanceId":"ckafka-test","InstanceName":"ckafka测试","Vip":"10.0.0.5","Vport":"9092","VipList":[{"Vip":"10.0.0.5","Vport":"9092"}],"Status":1,"Bandwidth":800,"DiskSize":1000,"ZoneId":100003,"VpcId":"vpc-test","SubnetId":"subnet-test","RenewFlag":1,"Healthy":1,"HealthyMessage":"","CreateTime":1698981881,"ExpireTime":1730604281,"IsInternal":0,"TopicNum":24,"PartitionNumber":86,"Version":"1.1.1","Tags":[],"ZoneIds":[100003,100004],"Cvm":1,"InstanceType":"profession","DiskType":"CLOUD_BASIC","MaxTopicNumber":450,"MaxPartitionNumber":900,"RebalanceTime":"0000-00-00 00:00:00","PublicNetworkChargeType":"BANDWIDTH_PREPAID","PublicNetwork":3,"ClusterType":"CLOUD_CVM","Features":["FEATURE_SASL_SCRAM"],"AllowDowngrade":true,"StorageBillingType":"BILL_BY_MONTH_OR_YEAR","FreePartitionNumber":900}]

InstanceQuotaConfigResp

实例 / topic 维度限流策略

被如下接口引用:DescribeTopicAttributes。

名称 类型 描述
QuotaProducerByteRate Integer 生产限流大小,单位 MB/s
注意:此字段可能返回 null,表示取不到有效值。
示例值:30
QuotaConsumerByteRate Integer 消费限流大小,单位 MB/s
注意:此字段可能返回 null,表示取不到有效值。
示例值:30

InstanceResponse

聚合的实例状态返回结果

被如下接口引用:DescribeInstances。

名称 类型 描述
InstanceList Array of Instance 符合条件的实例列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"InstanceId":"ckafka-test","InstanceName":"ckafka测试","IfCommunity":true,"Status":1}]
TotalCount Integer 符合条件的结果总数
注意:此字段可能返回 null,表示取不到有效值。
示例值:1

JgwOperateResponse

操作型结果返回值

被如下接口引用:BatchModifyGroupOffsets, CreateAcl, CreateConsumer, CreateInstancePost, CreatePartition, CreateRoute, CreateTopicIpWhiteList, CreateUser, DeleteAcl, DeleteDatahubTopic, DeleteGroup, DeleteRoute, DeleteTopic, DeleteTopicIpWhiteList, DeleteUser, ModifyDatahubTopic, ModifyGroupOffsets, ModifyInstanceAttributes, ModifyPassword, ModifyRoutineMaintenanceTask, ModifyTopicAttributes。

名称 类型 描述
ReturnCode String 返回的code,0为正常,非0为错误
示例值:0
ReturnMessage String 成功消息
示例值:success
Data OperateResponseData 操作型返回的Data数据,可能有flowId等
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"FlowId": 500201,"RouteDTO":{"RouteId":301}}

JsonPathReplaceParam

数据处理——Value处理参数——Jsonpath替换参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
OldValue String 被替换值,Jsonpath表达式
示例值:$.old
NewValue String 替换值,Jsonpath表达式或字符串
示例值:$.new

KVParam

key-value二次解析

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Delimiter String 分隔符
示例值:;
Regex String key-value二次解析分隔符
示例值:=
KeepOriginalKey String 保留源Key,默认为false不保留
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

KafkaConnectParam

Kafka连接源参数

被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources, ModifyConnectResource。

名称 类型 必选 描述
Resource String Kafka连接源的实例资源, 非自建时必填,NetworkType=VPC时传clb实例id
注意:此字段可能返回 null,表示取不到有效值。
示例值:ckafka-test
SelfBuilt Boolean 是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
IsUpdate Boolean 是否更新到关联的Dip任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
BrokerAddress String Kafka连接的broker地址, NetworkType=PUBLIC公网时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.30:9092,10.0.0.31:9092
Region String CKafka连接源的实例资源地域, 跨地域时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:ap-guangzhou

KafkaParam

Ckafka配置

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
SelfBuilt Boolean 是否为自建集群
示例值:false
Resource String ckafka集群实例Id
示例值:ckafka-test
Topic String 主题名,多个以“,”分隔
示例值:topic-test
OffsetType String Offset类型,最开始位置earliest,最新位置latest,时间点位置timestamp
注意:此字段可能返回 null,表示取不到有效值。
示例值:timestamp
StartTime Integer Offset类型为timestamp时必传,传时间戳,精确到秒
注意:此字段可能返回 null,表示取不到有效值。
示例值:1566144000
ResourceName String 实例资源名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:ckafka测试
ZoneId Integer 可用区
注意:此字段可能返回 null,表示取不到有效值。
示例值:100003
TopicId String 主题Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
PartitionNum Integer Topic的分区数
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
EnableToleration Boolean 启用容错实例/开启死信队列
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
QpsLimit Integer Qps 限制
注意:此字段可能返回 null,表示取不到有效值。
示例值:4000
TableMappings Array of TableMapping Table到Topic的路由,「分发到多个topic」开关打开时必传
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Database":"db1","Table":"table1","Topic":"topic1","TopicId":"topic-id"}]
UseTableMapping Boolean 「分发到多个topic」开关,默认为false
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
UseAutoCreateTopic Boolean 使用的Topic是否需要自动创建(目前只支持SOURCE流入任务,如果不使用分发到多个topic,需要在Topic字段填写需要自动创建的topic名)
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
CompressionType String 写入Topic时是否进行压缩,不开启填"none",开启的话,填写"open"。
注意:此字段可能返回 null,表示取不到有效值。
示例值:none
MsgMultiple Integer 源topic消息1条扩增成msgMultiple条写入目标topic(该参数目前只有ckafka流入ckafka适用)
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
ConnectorSyncType String 数据同步专用参数, 正常数据处理可为空, 实例级别同步: 仅同步元数据填写"META_SYNC_INSTANCE_TYPE", 同步元数据及全部topic内消息的填写"META_AND_DATA_SYNC_INSTANCE_TYPE"; topic级别同步: 选中的源和目标topic中的消息(需要目标实例也包含该topic)填写"DATA_SYNC_TYPE"
注意:此字段可能返回 null,表示取不到有效值。
示例值:DATA_SYNC_TYPE
KeepPartition Boolean 数据同步专用参数, 当通过时,希望下游的消息写入分区与上游的一致,则填true,但下游分区小于上游时,会报错; 不需要一致则为false, 默认为false
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
TopicRegularExpression String 正则匹配Topic列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:mytest

LowercaseParam

小写字符解析

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述

MapParam

Map参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Key String key值
示例值:key-test
Type String 类型,DEFAULT默认,DATE系统预设-时间戳,CUSTOMIZE自定义,MAPPING映射
示例值:DEFAULT
Value String
示例值:value-test

MariaDBConnectParam

MariaDB连接源参数

被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

名称 类型 必选 描述
Port Integer MariaDB的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
UserName String MariaDB连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String MariaDB连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Resource String MariaDB连接源的实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
ServiceVip String MariaDB连接源的实例vip,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String MariaDB连接源的vpcId,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

MariaDBModifyConnectParam

MariaDB连接源参数

被如下接口引用:ModifyConnectResource。

名称 类型 必选 描述
Resource String MariaDB连接源的实例资源【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Port Integer MariaDB的连接port【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
ServiceVip String MariaDB连接源的实例vip【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String MariaDB连接源的vpcId【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
UserName String MariaDB连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String MariaDB连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

MariaDBParam

MariaDB类型入参

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Database String MariaDB的数据库名称,"*"为全数据库
注意:此字段可能返回 null,表示取不到有效值。
示例值:database-test
Table String MariaDB的数据表名称,"*"为所监听的所有数据库中的非系统表,可以","间隔,监听多个数据表,但数据表需要以"数据库名.数据表名"的格式进行填写
注意:此字段可能返回 null,表示取不到有效值。
示例值:table-test
Resource String 该MariaDB在连接管理内的Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
SnapshotMode String 复制存量信息(schema_only不复制, initial全量),默认值initial
注意:此字段可能返回 null,表示取不到有效值。
示例值:initial
KeyColumns String 格式:库1.表1:字段1,字段2;库2.表2:字段2,表之间;(分号)隔开,字段之间,(逗号)隔开。不指定的表默认取表的主键
注意:此字段可能返回 null,表示取不到有效值。
示例值:db1.table2.k1,k2
IsTablePrefix Boolean 当Table输入的是前缀时,该项值为true,否则为false
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
OutputFormat String 输出格式,DEFAULT、CANAL_1、CANAL_2
注意:此字段可能返回 null,表示取不到有效值。
示例值:DEFAULT
IncludeContentChanges String 如果该值为all,则DDL数据以及DML数据也会写入到选中的topic;若该值为dml,则只有DML数据写入到选中的topic
注意:此字段可能返回 null,表示取不到有效值。
示例值:all
IncludeQuery Boolean 如果该值为true,且MySQL中"binlog_rows_query_log_events"配置项的值为"ON",则流入到topic的数据包含原SQL语句;若该值为false,流入到topic的数据不包含原SQL语句
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
RecordWithSchema Boolean 如果该值为 true,则消息中会携带消息结构体对应的schema,如果该值为false则不会携带
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

ModifyInstanceAttributesConfig

修改实例属性的配置对象

被如下接口引用:ModifyInstanceAttributes。

名称 类型 必选 描述
AutoCreateTopicEnable Boolean 自动创建 true 表示开启,false 表示不开启
示例值:true
DefaultNumPartitions Integer 可选,如果auto.create.topic.enable设置为true没有设置该值时,默认设置为3
示例值:3
DefaultReplicationFactor Integer 如果auto.create.topic.enable设置为true没有指定该值时默认设置为2
示例值:2

MongoDBConnectParam

MongoDB连接源参数

被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

名称 类型 必选 描述
Port Integer MongoDB的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
UserName String MongoDB连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String MongoDB连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Resource String MongoDB连接源的实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
SelfBuilt Boolean MongoDB连接源是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
ServiceVip String MongoDB连接源的实例vip,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String MongoDB连接源的vpcId,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

MongoDBModifyConnectParam

MongoDB修改连接源参数

被如下接口引用:ModifyConnectResource。

名称 类型 必选 描述
Resource String MongoDB连接源的实例资源【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Port Integer MongoDB的连接port【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
ServiceVip String MongoDB连接源的实例vip【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String MongoDB连接源的vpcId【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
UserName String MongoDB连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String MongoDB连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
SelfBuilt Boolean MongoDB连接源是否为自建集群【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

MongoDBParam

MongoDB类型入参

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Database String MongoDB的数据库名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:database-test
Collection String MongoDB的集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:collection-test
CopyExisting Boolean 是否复制存量数据,默认传参true
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
Resource String 实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Ip String MongoDB的连接ip
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.5
Port Integer MongoDB的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8099
UserName String MongoDB数据库用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String MongoDB数据库密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
ListeningEvent String 监听事件类型,为空时表示全选。取值包括insert,update,replace,delete,invalidate,drop,dropdatabase,rename,多个类型间使用,逗号分隔
注意:此字段可能返回 null,表示取不到有效值。
示例值:insert,update
ReadPreference String 主从优先级,默认主节点
注意:此字段可能返回 null,表示取不到有效值。
示例值:主节点
Pipeline String 聚合管道
注意:此字段可能返回 null,表示取不到有效值。
示例值:pipeline-test
SelfBuilt Boolean 是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

MqttConnectParam

MQTT连接源参数

被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources, ModifyConnectResource。

名称 类型 必选 描述
UserName String MQTT连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String MQTT连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Resource String MQTT连接源的实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
UniqVpcId String MQTT Instance vpc-id
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
SelfBuilt Boolean 是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
IsUpdate Boolean 是否更新到关联的Dip任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
Region String MQTT连接源的实例资源地域, 跨地域时必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:ap-guangzhou

MqttParam

创建MQTT 为Source的Data Hub Task参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Topics String 需要同步的MQTT Topic列表, CSV格式
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
CleanSession Boolean MQTT clean-session
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
Resource String MQTT instance-id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Ip String MQTT实例VIP
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.5
Port Integer MQTT VIP 端口
注意:此字段可能返回 null,表示取不到有效值。
示例值:1883
UserName String MQTT实例用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String MQTT实例内账户密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Qos Integer QoS
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
MaxTasks Integer tasks.max 订阅Topic的并发Task个数, 默认为1; 当设置大于1时, 使用Shared Subscription
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
ServiceVip String MQTT 实例的Service VIP
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.30
UniqVpcId String MQTT实例的VPC ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
SelfBuilt Boolean 是否为自建集群, MQTT只支持非自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

MySQLConnectParam

MySQL连接源参数

被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

名称 类型 必选 描述
Port Integer MySQL的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
UserName String MySQL连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String MySQL连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Resource String MySQL连接源的实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
ServiceVip String MySQL连接源的实例vip,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String MySQL连接源的vpcId,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
ClusterId String 当type为TDSQL_C_MYSQL时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:cynosdbmysql-test
SelfBuilt Boolean Mysql 连接源是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

MySQLModifyConnectParam

MySQL修改连接源参数

被如下接口引用:ModifyConnectResource。

名称 类型 必选 描述
Resource String MySQL连接源的实例资源【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Port Integer MySQL的连接port【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
ServiceVip String MySQL连接源的实例vip【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String MySQL连接源的vpcId【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
UserName String MySQL连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String MySQL连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
ClusterId String 当type为TDSQL_C_MYSQL时
注意:此字段可能返回 null,表示取不到有效值。
示例值:cynosdbmysql-test
SelfBuilt Boolean 是否是自建的集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

MySQLParam

MySQL类型入参

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Database String MySQL的数据库名称,"*"为全数据库
注意:此字段可能返回 null,表示取不到有效值。
示例值:database-test
Table String MySQL的数据表名称,"*"为所监听的所有数据库中的非系统表,可以","间隔,监听多个数据表,但数据表需要以"数据库名.数据表名"的格式进行填写,需要填入正则表达式时,格式为"数据库名\.数据表名"
注意:此字段可能返回 null,表示取不到有效值。
示例值:table-test
Resource String 该MySQL在连接管理内的Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
SnapshotMode String 复制存量信息(schema_only不复制, initial全量),默认值initial
注意:此字段可能返回 null,表示取不到有效值。
示例值:initial
DdlTopic String 存放MySQL的Ddl信息的Topic,为空则默认不存放
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
DataSourceMonitorMode String "TABLE" 表示读取项为 table,"QUERY" 表示读取项为 query
注意:此字段可能返回 null,表示取不到有效值。
示例值:TABLE
DataSourceMonitorResource String 当 "DataMonitorMode"="TABLE" 时,传入需要读取的 Table;当 "DataMonitorMode"="QUERY" 时,传入需要读取的查询 sql 语句
注意:此字段可能返回 null,表示取不到有效值。
示例值:table-test
DataSourceIncrementMode String "TIMESTAMP" 表示增量列为时间戳类型,"INCREMENT" 表示增量列为自增 id 类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:TIMESTAMP
DataSourceIncrementColumn String 传入需要监听的列名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:column_test
DataSourceStartFrom String "HEAD" 表示复制存量 + 增量数据,"TAIL" 表示只复制增量数据
注意:此字段可能返回 null,表示取不到有效值。
示例值:HEAD
DataTargetInsertMode String "INSERT" 表示使用 Insert 模式插入,"UPSERT" 表示使用 Upsert 模式插入
注意:此字段可能返回 null,表示取不到有效值。
示例值:INSERT
DataTargetPrimaryKeyField String 当 "DataInsertMode"="UPSERT" 时,传入当前 upsert 时依赖的主键
注意:此字段可能返回 null,表示取不到有效值。
示例值:id
DataTargetRecordMapping Array of RecordMapping 表与消息间的映射关系
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}]
TopicRegex String 事件路由到特定主题的正则表达式,默认为(.)
注意:此字段可能返回 null,表示取不到有效值。
示例值:(.
).db.(.*)
TopicReplacement String TopicRegex的引用组,指定$1、$2等
注意:此字段可能返回 null,表示取不到有效值。
示例值:$1
KeyColumns String 格式:库1.表1:字段1,字段2;库2.表2:字段2,表之间;(分号)隔开,字段之间,(逗号)隔开。不指定的表默认取表的主键
注意:此字段可能返回 null,表示取不到有效值。
示例值:db1.table2.k1,k2
DropInvalidMessage Boolean Mysql 是否抛弃解析失败的消息,默认为true
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
DropCls DropCls 当设置成员参数DropInvalidMessageToCls设置为true时,DropInvalidMessage参数失效
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"}
OutputFormat String 输出格式,DEFAULT、CANAL_1、CANAL_2
注意:此字段可能返回 null,表示取不到有效值。
示例值:DEFAULT
IsTablePrefix Boolean 当Table输入的是前缀时,该项值为true,否则为false
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
IncludeContentChanges String 如果该值为all,则DDL数据以及DML数据也会写入到选中的topic;若该值为dml,则只有DML数据写入到选中的topic
注意:此字段可能返回 null,表示取不到有效值。
示例值:all
IncludeQuery Boolean 如果该值为true,且MySQL中"binlog_rows_query_log_events"配置项的值为"ON",则流入到topic的数据包含原SQL语句;若该值为false,流入到topic的数据不包含原SQL语句
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
RecordWithSchema Boolean 如果该值为 true,则消息中会携带消息结构体对应的schema,如果该值为false则不会携带
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
SignalDatabase String 存放信令表的数据库名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:database-test
IsTableRegular Boolean 输入的table是否为正则表达式,如果该选项以及IsTablePrefix同时为true,该选项的判断优先级高于IsTablePrefix
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
SignalTable String 信号表
注意:此字段可能返回 null,表示取不到有效值。
示例值:table-test
DateTimeZone String datetime 类型字段转换为时间戳的时区
注意:此字段可能返回 null,表示取不到有效值。
示例值:UTC+8
SelfBuilt Boolean 自建
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

OperateResponseData

操作类型返回的Data结构

被如下接口引用:BatchModifyGroupOffsets, CreateAcl, CreateConsumer, CreateInstancePost, CreatePartition, CreatePrometheus, CreateRoute, CreateTopicIpWhiteList, CreateUser, DeleteAcl, DeleteDatahubTopic, DeleteGroup, DeleteRoute, DeleteTopic, DeleteTopicIpWhiteList, DeleteUser, ModifyDatahubTopic, ModifyGroupOffsets, ModifyInstanceAttributes, ModifyPassword, ModifyRoutineMaintenanceTask, ModifyTopicAttributes。

名称 类型 描述
FlowId Integer 流程Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:500201
RouteDTO RouteDTO RouteIdDto
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"RouteId":301}

Partition

分区实体

被如下接口引用:DescribeConsumerGroup。

名称 类型 描述
PartitionId Integer 分区ID
示例值:0

PartitionOffset

分区和位移

被如下接口引用:DescribeConsumerGroup。

名称 类型 描述
Partition String 分区
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
Offset Integer 位点偏移量
注意:此字段可能返回 null,表示取不到有效值。
示例值:20

Partitions

partition信息

被如下接口引用:BatchModifyGroupOffsets。

名称 类型 必选 描述
Partition Integer 分区
示例值:0
Offset Integer partition 消费位移
示例值:1

PostgreSQLConnectParam

PostgreSQL连接源参数

被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

名称 类型 必选 描述
Port Integer PostgreSQL的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
UserName String PostgreSQL连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String PostgreSQL连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Resource String PostgreSQL连接源的实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
ServiceVip String PostgreSQL连接源的实例vip,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String PostgreSQL连接源的vpcId,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
ClusterId String 当type为TDSQL_C_POSTGRESQL时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:tdcpg-test
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
SelfBuilt Boolean PostgreSQL连接源是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

PostgreSQLModifyConnectParam

PostgreSQL修改连接源参数

被如下接口引用:ModifyConnectResource。

名称 类型 必选 描述
Resource String PostgreSQL连接源的实例资源【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Port Integer PostgreSQL的连接port【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080
ServiceVip String PostgreSQL连接源的实例vip【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String PostgreSQL连接源的vpcId【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
UserName String PostgreSQL连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String PostgreSQL连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
ClusterId String 当type为TDSQL_C_POSTGRESQL时,该参数才有值【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:tdcpg-xxx
IsUpdate Boolean 是否更新到关联的Datahub任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
SelfBuilt Boolean 是否为自建集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

PostgreSQLParam

PostgreSQL类型入参

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Database String PostgreSQL的数据库名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:database-test
Table String PostgreSQL的数据表名称,"*"为所监听的所有数据库中的非系统表,可以","间隔,监听多个数据表,但数据表需要以"Schema名.数据表名"的格式进行填写,需要填入正则表达式时,格式为"Schema名\.数据表名"
注意:此字段可能返回 null,表示取不到有效值。
示例值:SchemaName.Tabletest
Resource String 该PostgreSQL在连接管理内的Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
PluginName String 插件名(decoderbufs/pgoutput),默认为decoderbufs
注意:此字段可能返回 null,表示取不到有效值。
示例值:decoderbufs
SnapshotMode String 复制存量信息(never增量, initial全量),默认为initial
注意:此字段可能返回 null,表示取不到有效值。
示例值:initial
DataFormat String 上游数据格式(JSON/Debezium), 当数据库同步模式为默认字段匹配时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:JSON
DataTargetInsertMode String "INSERT" 表示使用 Insert 模式插入,"UPSERT" 表示使用 Upsert 模式插入
注意:此字段可能返回 null,表示取不到有效值。
示例值:INSERT
DataTargetPrimaryKeyField String 当 "DataInsertMode"="UPSERT" 时,传入当前 upsert 时依赖的主键
注意:此字段可能返回 null,表示取不到有效值。
示例值:id
DataTargetRecordMapping Array of RecordMapping 表与消息间的映射关系
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}]
DropInvalidMessage Boolean 是否抛弃解析失败的消息,默认为true
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
IsTableRegular Boolean 输入的table是否为正则表达式
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
KeyColumns String 格式:库1.表1:字段1,字段2;库2.表2:字段2,表之间;(分号)隔开,字段之间,(逗号)隔开。不指定的表默认取表的主键
注意:此字段可能返回 null,表示取不到有效值。
示例值:db1.table2.k1,k2
RecordWithSchema Boolean 如果该值为 true,则消息中会携带消息结构体对应的schema,如果该值为false则不会携带
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

Price

消息价格实体

被如下接口引用:DescribeCkafkaZone。

名称 类型 描述
RealTotalCost Float 折扣价
示例值:0
TotalCost Float 原价
示例值:0

PrivateLinkParam

建立私有连接的参数

被如下接口引用:CreateDatahubTask。

名称 类型 必选 描述
ServiceVip String 客户实例的vip
示例值:10.0.0.30
UniqVpcId String 客户实例的vpcId
示例值:vpc-test

PrometheusDTO

普罗米修斯打通的vipVport

被如下接口引用:DescribePrometheus。

名称 类型 描述
Type String export类型(jmx_export\node_export)
示例值:jmx_export
SourceIp String vip
示例值:10.0.0.5
SourcePort Integer vport
示例值:9090
BrokerIp String broker地址
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.30
VpcId String VPC ID信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
SubnetId String 子网ID信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:subnet-test

PrometheusResult

Prometheus 监控返回

被如下接口引用:CreatePrometheus。

名称 类型 描述
ReturnCode String 返回的code,0为正常,非0为错误
示例值:0
ReturnMessage String 成功消息
示例值:success
Data OperateResponseData 操作型返回的Data数据,可能有flowId等
示例值:{"FlowId":0}

RecordMapping

record 与数据库表的映射关系

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
JsonKey String 消息的 key 名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:test-key
Type String 消息类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:Integer
AllowNull Boolean 消息是否允许为空
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
ColumnName String 对应映射列名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:column_test
ExtraInfo String 数据库表额外字段
注意:此字段可能返回 null,表示取不到有效值。
示例值:AUTO_INCREMENT COMMENT 'ID'
ColumnSize String 当前列大小
注意:此字段可能返回 null,表示取不到有效值。
示例值:32
DecimalDigits String 当前列精度
注意:此字段可能返回 null,表示取不到有效值。
示例值:10
AutoIncrement Boolean 是否为自增列
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
DefaultValue String 数据库表默认参数
注意:此字段可能返回 null,表示取不到有效值。
示例值:0

RegexReplaceParam

数据处理——Value处理参数——正则替换参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Regex String 正则表达式
示例值:^[0-9]*$
NewValue String 替换新值
示例值:newValue-test

Region

地域实体对象

被如下接口引用:DescribeRegion。

名称 类型 描述
RegionId Integer 地域ID
示例值:1
RegionName String 地域名称
示例值:广州
AreaName String 区域名称
示例值:华南地区
RegionCode String 地域代码
注意:此字段可能返回 null,表示取不到有效值。
示例值:gz
RegionCodeV3 String 地域代码(V3版本)
注意:此字段可能返回 null,表示取不到有效值。
示例值:ap-guangzhou
Support String NONE:默认值不支持任何特殊类型 实例类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:profession
Ipv6 Integer 是否支持ipv6, 0:表示不支持,1:表示支持
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
MultiZone Integer 是否支持跨可用区, 0:表示不支持,1:表示支持
注意:此字段可能返回 null,表示取不到有效值。
示例值:0

RenewCkafkaInstanceResp

RenewCkafkaInstance接口出参bigDealIds

被如下接口引用:RenewCkafkaInstance。

名称 类型 描述
BigDealId String 订单号
注意:此字段可能返回 null,表示取不到有效值。
示例值:20190819000001
DealName String 子订单号
注意:此字段可能返回 null,表示取不到有效值。
示例值:20190819000002

ReplaceParam

数据处理——Value处理参数——替换参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
OldValue String 被替换值
示例值:value-old
NewValue String 替换值
示例值:value-new

Route

路由实体对象

被如下接口引用:DescribeRoute。

名称 类型 描述
AccessType Integer 实例接入方式
0:PLAINTEXT (明文方式,没有带用户信息老版本及社区版本都支持)
1:SASL_PLAINTEXT(明文方式,不过在数据开始时,会通过SASL方式登录鉴权,仅社区版本支持)
2:SSL(SSL加密通信,没有带用户信息,老版本及社区版本都支持)
3:SASL_SSL(SSL加密通信,在数据开始时,会通过SASL方式登录鉴权,仅社区版本支持)
示例值:1
RouteId Integer 路由Id
示例值:301
VipType Integer vip网络类型(1:外网TGW 2:基础网络 3:VPC网络 4:支撑网络(idc 环境) 5:SSL外网访问方式访问 6:黑石环境vpc 7:支撑网络(cvm 环境)
示例值:1
VipList Array of VipEntity 虚拟IP列表
示例值:[{"Vip":"10.0.0.5","Vport":"9092"}]
Domain String 域名
注意:此字段可能返回 null,表示取不到有效值。
示例值:tencent.com
DomainPort Integer 域名port
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
DeleteTimestamp String 时间戳
注意:此字段可能返回 null,表示取不到有效值。
示例值:2019-08-19 00:00:00
Subnet String 子网Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:subnet-test
BrokerVipList Array of VipEntity 虚拟IP列表(1对1 broker节点)
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Vip":"10.0.0.5","Vport":"9092"}]
VpcId String 私有网络Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test

RouteDTO

RouteDTO

被如下接口引用:BatchModifyGroupOffsets, CreateAcl, CreateConsumer, CreateInstancePost, CreatePartition, CreatePrometheus, CreateRoute, CreateTopicIpWhiteList, CreateUser, DeleteAcl, DeleteDatahubTopic, DeleteGroup, DeleteRoute, DeleteTopic, DeleteTopicIpWhiteList, DeleteUser, ModifyDatahubTopic, ModifyGroupOffsets, ModifyInstanceAttributes, ModifyPassword, ModifyRoutineMaintenanceTask, ModifyTopicAttributes。

名称 类型 描述
RouteId Integer 路由Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:301

RouteResponse

路由信息返回对象

被如下接口引用:DescribeRoute。

名称 类型 描述
Routers Array of Route 路由信息列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"AccessType":0,"RouteId":301,"VipType":3,"VipList":[{"Vip":"1.0.0.5","Vport":"9092"}],"Domain":"","DomainPort":0,"DeleteTimestamp":1566144000,"InternalFlag":0,"UsedFor":"","Subnet":"subnet-test","BrokerVipList":[{"Vip":"1.0.0.5","Vport":"9093"},{"Vip":"1.0.0.5","Vport":"9094"},{"Vip":"1.0.0.5","Vport":"9095"}],"Processing":1,"VpcId":"vpc-test"}]

RowParam

数据处理ROW输出格式配置

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
RowContent String 行内容,KEY_VALUE,VALUE
示例值:KEY_VALUE
KeyValueDelimiter String key和value间的分隔符
注意:此字段可能返回 null,表示取不到有效值。
示例值:=
EntryDelimiter String 元素建的分隔符
注意:此字段可能返回 null,表示取不到有效值。
示例值:&

SMTParam

数据处理——数据处理参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Key String 数据处理KEY
示例值:key-test
Operate String 操作,DATE系统预设-时间戳,CUSTOMIZE自定义,MAPPING映射,JSONPATH
示例值:MAPPING
SchemeType String 数据类型,ORIGINAL原始,STRING,INT64,FLOAT64,BOOLEAN,MAP,ARRAY
示例值:ORIGINAL
Value String 数据处理VALUE
注意:此字段可能返回 null,表示取不到有效值。
示例值:value-test
ValueOperate ValueParam VALUE处理
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Date":{"Format":"yyyy-MM-dd HH:mm:ss"},"Substr":{"Start":0,"End":1},"Type":"type-test","Replace":{"NewValue":"value-new","OldValue":"value-old"}}
OriginalValue String 原始VALUE
注意:此字段可能返回 null,表示取不到有效值。
示例值:value-test
ValueOperates Array of ValueParam VALUE处理链
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Date":{"Format":"yyyy-MM-dd HH:mm:ss"},"Substr":{"Start":0,"End":1},"Type":"type-test","Replace":{"NewValue":"value-new","OldValue":"value-old"}}]

SQLServerConnectParam

SQLServer连接源参数

被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

名称 类型 必选 描述
Port Integer SQLServer的连接port
注意:此字段可能返回 null,表示取不到有效值。
示例值:1433
UserName String SQLServer连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String SQLServer连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
Resource String SQLServer连接源的实例资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
ServiceVip String SQLServer连接源的实例vip,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String SQLServer连接源的vpcId,当为腾讯云实例时,必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
IsUpdate Boolean 是否更新到关联的Dip任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

SQLServerModifyConnectParam

SQLServer修改连接源参数

被如下接口引用:ModifyConnectResource。

名称 类型 必选 描述
Resource String SQLServer连接源的实例资源【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
Port Integer SQLServer的连接port【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:1433
ServiceVip String SQLServer连接源的实例vip【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.0.0.31
UniqVpcId String SQLServer连接源的vpcId【不支持修改】
注意:此字段可能返回 null,表示取不到有效值。
示例值:vpc-test
UserName String SQLServer连接源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username-test
Password String SQLServer连接源的密码
注意:此字段可能返回 null,表示取不到有效值。
示例值:password-test
IsUpdate Boolean 是否更新到关联的Dip任务
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

SQLServerParam

SQLServer类型入参

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Database String SQLServer的数据库名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:database-test
Table String SQLServer的数据表名称,"*"为所监听的所有数据库中的非系统表,可以","间隔,监听多个数据表,但数据表需要以"数据库名.数据表名"的格式进行填写
注意:此字段可能返回 null,表示取不到有效值。
示例值: DatabaseName.Tabletest
Resource String 该SQLServer在连接管理内的Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-test
SnapshotMode String 复制存量信息(schema_only增量, initial全量),默认为initial
注意:此字段可能返回 null,表示取不到有效值。
示例值:initial

SaleInfo

标准版销售信息

被如下接口引用:DescribeCkafkaZone。

名称 类型 描述
Flag Boolean 手动设置的flag标志
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
Version String ckakfa版本号(1.1.1/2.4.2/0.10.2)
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.1.1
Platform String 专业版、标准版标志
注意:此字段可能返回 null,表示取不到有效值。
示例值:standard
SoldOut Boolean 售罄标志:true售罄
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

ScalingDownResp

实例缩容应答

被如下接口引用:InstanceScalingDown。

名称 类型 描述
DealNames Array of String 订单号列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:["20190819000001"]

ScfParam

Scf类型入参

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
FunctionName String SCF云函数函数名
注意:此字段可能返回 null,表示取不到有效值。
示例值:function-test
Namespace String SCF云函数命名空间, 默认为default
注意:此字段可能返回 null,表示取不到有效值。
示例值:default
Qualifier String SCF云函数版本及别名, 默认为$DEFAULT
注意:此字段可能返回 null,表示取不到有效值。
示例值:$DEFAULT
BatchSize Integer 每批最大发送消息数, 默认为1000
注意:此字段可能返回 null,表示取不到有效值。
示例值:1000
MaxRetries Integer SCF调用失败后重试次数, 默认为5
注意:此字段可能返回 null,表示取不到有效值。
示例值:5

SecondaryAnalyseParam

数据处理——二次解析参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Regex String 分隔符
示例值:,

SplitParam

值支持一拆多,即将一个值拆为一个数组

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Regex String 分隔符
示例值:,

SubscribedInfo

订阅信息实体

被如下接口引用:DescribeConsumerGroup。

名称 类型 描述
TopicName String 订阅的主题名
示例值:topic-test
Partition Array of Integer 订阅的分区
注意:此字段可能返回 null,表示取不到有效值。
示例值:[0]
PartitionOffset Array of PartitionOffset 分区offset信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Partition":"0","Offset":966186803}]
TopicId String 订阅的主题ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test

SubstrParam

数据处理——Value处理参数——截取参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Start Integer 截取起始位置
示例值:0
End Integer 截取截止位置
示例值:7

TableMapping

Table、Topic路由

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Database String 库名
示例值:db1
Table String 表名,多个表,(逗号)隔开
示例值:table1
Topic String Topic名称
示例值:topic1
TopicId String Topic ID
示例值:topic-id

Tag

实例详情中的标签对象

被如下接口引用:CreateDatahubTask, CreateDatahubTopic, CreateInstancePost, CreateInstancePre, CreatePostPaidInstance, CreateTopic, DescribeDatahubTask, DescribeInstanceAttributes, DescribeInstancesDetail, DescribeTopicDetail, ModifyDatahubTopic, ModifyTopicAttributes。

名称 类型 必选 描述
TagKey String 标签的key
示例值:tagkey-test
TagValue String 标签的值
示例值:tagvalue-test

TaskStatusResponse

任务状态返回对象

被如下接口引用:DescribeTaskStatus。

名称 类型 描述
Status Integer 任务状态:
0 成功
1 失败
2 进行中
示例值:1
Output String 输出信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:任务异常失败

TdwParam

Tdw类型入参

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Bid String Tdw的bid
注意:此字段可能返回 null,表示取不到有效值。
示例值:bid-test
Tid String Tdw的tid
注意:此字段可能返回 null,表示取不到有效值。
示例值:tid-test
IsDomestic Boolean 默认true
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
TdwHost String TDW地址,默认tl-tdbank-tdmanager.tencent-distribute.com
注意:此字段可能返回 null,表示取不到有效值。
示例值:tl-tdbank-tdmanager.tencent-distribute.com
TdwPort Integer TDW端口,默认8099
注意:此字段可能返回 null,表示取不到有效值。
示例值:8099

Topic

返回的topic对象

被如下接口引用:DescribeTopic。

名称 类型 描述
TopicId String 主题的ID
示例值:topic-test
TopicName String 主题的名称
示例值:topic-test
Note String 备注
注意:此字段可能返回 null,表示取不到有效值。
示例值:note-test

TopicAttributesResponse

主题属性返回结果实体

被如下接口引用:DescribeTopicAttributes。

名称 类型 描述
TopicId String 主题 ID
示例值:topic-test
CreateTime Integer 创建时间
示例值:2021-7-26 4:16:58
Note String 主题备注
注意:此字段可能返回 null,表示取不到有效值。
示例值:note-test
PartitionNum Integer 分区个数
示例值:1
EnableWhiteList Integer IP 白名单开关,1:打开; 0:关闭
示例值:1
IpWhiteList Array of String IP 白名单列表
示例值:["10.0.0.50"]
Config Config topic 配置数组
示例值:{"Retention":86400000,"MinInsyncReplicas":1,"CleanUpPolicy":"delete","SegmentMs":null,"UncleanLeaderElectionEnable":1,"SegmentBytes":null,"MaxMessageBytes":8388608,"RetentionBytes":null}
Partitions Array of TopicPartitionDO 分区详情
示例值:[{"Partition":0,"LeaderStatus":0,"IsrNum":2,"ReplicaNum":2}]
EnableAclRule Integer ACL预设策略开关,1:打开; 0:关闭
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
AclRuleList Array of AclRule 预设策略列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"RuleName":"rulename-test","InstanceId":"ckafka-test","Pattern":"","PatternType":"PRESET","ResourceType":"Topic","AclList":"[{"host":"","operation":"Write","permissionType":"Deny","principal":"User:"}]","CreateTimeStamp":"Sat Apr 03 20:13:03 CST 2021","IsApplied":1,"UpdateTimeStamp":"Sat Apr 03 20:13:03 CST 2021","Comment":"comment-test","TopicName":"topic-test","TopicCount":1,"PatternTypeTitle":"预设策略"}]
QuotaConfig InstanceQuotaConfigResp topic 限流策略
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"QuotaProducerByteRate":30,"QuotaConsumerByteRate":30}
ReplicaNum Integer 副本数
注意:此字段可能返回 null,表示取不到有效值。
示例值:2

TopicDetail

主题详情

被如下接口引用:DescribeTopicDetail。

名称 类型 描述
TopicName String 主题名
示例值:topic-test
TopicId String 主题Id
示例值:topic-test
PartitionNum Integer 分区数
示例值:6
ReplicaNum Integer topic副本数 最小值 1,最大值 3
示例值:2
Note String 备注
注意:此字段可能返回 null,表示取不到有效值。
示例值:note-test
CreateTime Integer 创建时间
示例值:1566144000
EnableWhiteList Boolean 是否开启ip鉴权白名单,true表示开启,false表示不开启
示例值:false
IpWhiteListCount Integer ip白名单中ip个数
示例值:0
ForwardCosBucket String 数据备份cos bucket: 转存到cos 的bucket地址
注意:此字段可能返回 null,表示取不到有效值。
示例值:cos-bucket-test
ForwardStatus Integer 数据备份cos 状态: 1 不开启数据备份,0 开启数据备份
示例值:1
ForwardInterval Integer 数据备份到cos的周期频率
示例值:0
Config Config 高级配置
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Retention":86400000,"MinInsyncReplicas":1,"CleanUpPolicy":"delete"}
RetentionTimeConfig TopicRetentionTimeConfigRsp 消息保留时间配置(用于动态配置变更记录)
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Expect":1440,"Current":1440,"ModTimeStamp":1566144000}
Status Integer 0:正常,1:已删除,2:删除中
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
Tags Array of Tag 标签列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}]

TopicDetailResponse

主题详情返回实体

被如下接口引用:DescribeTopicDetail。

名称 类型 描述
TopicList Array of TopicDetail 返回的主题详情列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"TopicName":"topic-test","TopicId":"topic-test","PartitionNum":1,"ReplicaNum":2,"Note":"note-test","CreateTime":1566144000,"EnableWhiteList":true,"IpWhiteListCount":0,"ForwardCosBucket":"","ForwardStatus":0,"ForwardInterval":0,"Config":{"Retention":60000,"MinInsyncReplicas":0,"CleanUpPolicy":"delete","SegmentMs":3600000,"UncleanLeaderElectionEnable":0,"SegmentBytes":1048576,"MaxMessageBytes":1048576,"RetentionBytes":1048576},"Status":0,"Tags":[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}]}]
TotalCount Integer 符合条件的所有主题详情数量
示例值:1

TopicFlowRanking

topic 流量排行

被如下接口引用:DescribeTopicFlowRanking。

名称 类型 描述
TopicId String 主题Id
示例值:topic-test
TopicName String 主题名称
示例值:topic-test
PartitionNum Integer 分区数
示例值:3
ReplicaNum Integer 副本数
示例值:2
TopicTraffic String Topic 流量,单位MB(设置date时以sum方式聚合)
示例值:35.23
MessageHeap Integer Topic 消息堆积
示例值:9235266

TopicFlowRankingResult

topic 生产消息数据,消费者数据

被如下接口引用:DescribeTopicFlowRanking。

名称 类型 描述
TopicFlow Array of TopicFlowRanking Topic 流量数组
示例值:[{"MessageHeap":0,"PartitionNum":3,"ReplicaNum":2,"TopicId":"topic-test","TopicName":"topic-test","TopicTraffic":"0.00"}]
ConsumeSpeed Array of ConsumerGroupSpeed 消费者组消费速度排行速度
示例值:[{"ConsumerGroupName":"group-test","Speed":100}]
TopicMessageHeap Array of TopicMessageHeapRanking Topic 消息堆积/占用磁盘排行
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"MessageHeap":0,"PartitionNum":3,"ReplicaNum":2,"TopicId":"topic-test","TopicName":"topic-test","TopicTraffic":"0.00"}]
BrokerIp Array of String Broker Ip 列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:["10.0.0.5"]
BrokerTopicData Array of BrokerTopicData 单个broker 节点 Topic占用的数据大小
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"TopicName":"topic-test","TopicId":"topic-test","DataSize":200}]
BrokerTopicFlowData Array of BrokerTopicFlowData 单个Broker 节点Topic 流量的大小(单位MB)
示例值:[{"TopicName":"topic-test","TopicId":"topic-test","TopicTraffic":"1.00"}]

TopicInSyncReplicaInfo

topic副本及详细信息

被如下接口引用:DescribeTopicSyncReplica。

名称 类型 描述
Partition String 分区名称
示例值:partition-1
Leader Integer Leader Id
示例值:0
Replica String 副本集
示例值:1,3,2
InSyncReplica String ISR
示例值:1,2,3
BeginOffset Integer 起始Offset
注意:此字段可能返回 null,表示取不到有效值。
示例值:12055
EndOffset Integer 末端Offset
注意:此字段可能返回 null,表示取不到有效值。
示例值:13353
MessageCount Integer 消息数
注意:此字段可能返回 null,表示取不到有效值。
示例值:120045
OutOfSyncReplica String 未同步副本集
注意:此字段可能返回 null,表示取不到有效值。
示例值:1,2

TopicInSyncReplicaResult

Topic 副本及详情数据集合

被如下接口引用:DescribeTopicSyncReplica。

名称 类型 描述
TopicInSyncReplicaList Array of TopicInSyncReplicaInfo Topic详情及副本合集
示例值:[{"BeginOffset":0,"EndOffset":1,"InSyncReplica":"1","Leader":1,"MessageCount":0,"OutOfSyncReplica":"2","Partition":"0","Replica":"2,1"}]
TotalCount Integer 总计个数
示例值:1

TopicMessageHeapRanking

topic消息堆积、占用磁盘排行

被如下接口引用:DescribeTopicFlowRanking。

名称 类型 描述
TopicId String 主题ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
TopicName String 主题名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
PartitionNum Integer 分区数
注意:此字段可能返回 null,表示取不到有效值。
示例值:2
ReplicaNum Integer 副本数
注意:此字段可能返回 null,表示取不到有效值。
示例值:2
TopicTraffic String Topic 流量
注意:此字段可能返回 null,表示取不到有效值。
示例值:35.12
MessageHeap Integer topic消息堆积/占用磁盘
注意:此字段可能返回 null,表示取不到有效值。
示例值:949006

TopicParam

Topic配置

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Resource String 单独售卖Topic的Topic名称
示例值:topic-test
OffsetType String Offset类型,最开始位置earliest,最新位置latest,时间点位置timestamp
注意:此字段可能返回 null,表示取不到有效值。
示例值:timestamp
StartTime Integer Offset类型为timestamp时必传,传时间戳,精确到秒
注意:此字段可能返回 null,表示取不到有效值。
示例值:1566144000
TopicId String Topic的TopicId【出参】
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-test
CompressionType String 写入Topic时是否进行压缩,不开启填"none",开启的话,可选择"gzip", "snappy", "lz4"中的一个进行填写。
注意:此字段可能返回 null,表示取不到有效值。
示例值:none
UseAutoCreateTopic Boolean 使用的Topic是否需要自动创建(目前只支持SOURCE流入任务)
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
MsgMultiple Integer 源topic消息1条扩增成msgMultiple条写入目标topic(该参数目前只有ckafka流入ckafka适用)
注意:此字段可能返回 null,表示取不到有效值。
示例值:1

TopicPartitionDO

分区详情

被如下接口引用:DescribeTopicAttributes。

名称 类型 描述
Partition Integer Partition 分区ID
示例值:0
LeaderStatus Integer Leader 运行状态
示例值:0
IsrNum Integer ISR 个数
示例值:2
ReplicaNum Integer 副本个数
示例值:2

TopicResult

统一返回的TopicResponse

被如下接口引用:DescribeTopic。

名称 类型 描述
TopicList Array of Topic 返回的主题信息列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"TopicId":"topic-test","TopicName":"topic-test","Note":"note-test"}]
TotalCount Integer 符合条件的 topic 数量
注意:此字段可能返回 null,表示取不到有效值。
示例值:1

TopicRetentionTimeConfigRsp

Topic消息保留时间配置返回信息

被如下接口引用:DescribeTopicDetail。

名称 类型 描述
Expect Integer 期望值,即用户配置的Topic消息保留时间(单位分钟)
注意:此字段可能返回 null,表示取不到有效值。
示例值:30
Current Integer 当前值,即当前生效值(可能存在动态调整,单位分钟)
注意:此字段可能返回 null,表示取不到有效值。
示例值:2
ModTimeStamp Integer 最近变更时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:1566144000

TopicSubscribeGroup

DescribeTopicSubscribeGroup接口出参

被如下接口引用:DescribeTopicSubscribeGroup。

名称 类型 描述
TotalCount Integer 总数
示例值:1
StatusCountInfo String 消费分组状态数量信息
示例值:1 Empty
GroupsInfo Array of GroupInfoResponse 消费分组信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"ErrorCode":"0","Group":"group-test","Members":[{"MemberId":"member-test","ClientId":"client-test","ClientHost":"10.0.0.5","Assignment":{"Version":1,"Topics":[{"Topic":"topic-test","Partitions":[0,1,2]}]}}],"Protocol":"","ProtocolType":"consumer","State":"Empty"}]
Status Integer 此次请求是否异步的状态。实例里分组较少的会直接返回结果,Status为1。当分组较多时,会异步更新缓存,Status为0时不会返回分组信息,直至Status为1更新完毕返回结果。
注意:此字段可能返回 null,表示取不到有效值。
示例值:1

TransformParam

数据处理参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
AnalysisFormat String 解析格式,JSON,DELIMITER分隔符,REGULAR正则提取
示例值:DELIMITER
OutputFormat String 输出格式
示例值:JSON
FailureParam FailureParam 是否保留解析失败数据
示例值:{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":1,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"}
Content String 原始数据
示例值:content-test
SourceType String 数据来源,TOPIC从源topic拉取,CUSTOMIZE自定义
示例值:TOPIC
Regex String 分隔符、正则表达式
示例值:,
MapParam Array of MapParam Map
示例值:[{"Key":"key-test","Type":"DEFAULT","Value":"value-test"}]
FilterParam Array of FilterMapParam 过滤器
示例值:[{"Key":"key-test","Type":"REGULAR","MatchMode":"PREFIX","Value":"value-test"}]
Result String 测试结果
注意:此字段可能返回 null,表示取不到有效值。
示例值:result-test
AnalyseResult Array of MapParam 解析结果
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Type":"DEFAULT","Key":"1"},{"Type":"DEFAULT","Key":"2"}]
UseEventBus Boolean 底层引擎是否使用eb
注意:此字段可能返回 null,表示取不到有效值。
示例值:true

TransformsParam

数据处理参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Content String 原始数据
示例值:{"name":"abc"}
FieldChain Array of FieldParam 处理链
示例值:{"Analyse":{"Format":"JSON"}}
FilterParam Array of FilterMapParam 过滤器
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Key":"key-test","Type":"REGULAR","MatchMode":"PREFIX","Value":"value-test"}]
FailureParam FailureParam 失败处理
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Type":"DROP"}
Result String 测试结果
注意:此字段可能返回 null,表示取不到有效值。
示例值:result-test
SourceType String 数据来源
注意:此字段可能返回 null,表示取不到有效值。
示例值:CKAFKA
OutputFormat String 输出格式,JSON,ROW,默认为JSON
注意:此字段可能返回 null,表示取不到有效值。
示例值:JSON
RowParam RowParam 输出格式为ROW必填
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"RowContent":"KEY_VALUE","KeyValueDelimiter":"=","EntryDelimiter":"&"}
KeepMetadata Boolean 是否保留数据源Topic元数据信息(源Topic、Partition、Offset),默认为false
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
BatchAnalyse BatchAnalyseParam 数组解析
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Format":"ONE_BY_ONE"}

UrlDecodeParam

Url解析

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
CharsetName String 编码
注意:此字段可能返回 null,表示取不到有效值。
示例值:UTF-8

User

用户实体

被如下接口引用:DescribeUser。

名称 类型 描述
UserId Integer 用户id
示例值:1
Name String 用户名称
示例值:name-test
CreateTime Timestamp 创建时间
示例值:2019-08-19 00:00:00
UpdateTime Timestamp 最后更新时间
示例值:2019-08-19 00:00:00

UserResponse

用户返回实体

被如下接口引用:DescribeUser。

名称 类型 描述
Users Array of User 符合条件的用户列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"CreateTime":"2019-08-19 00:00:00","Name":"name-test","UpdateTime":"2019-08-19 00:00:00","UserId":101}]
TotalCount Integer 符合条件的总用户数
示例值:1

ValueParam

数据处理——Value处理参数

被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

名称 类型 必选 描述
Type String 处理模式,REPLACE替换,SUBSTR截取,DATE日期转换,TRIM去除前后空格,REGEX_REPLACE正则替换,URL_DECODE,LOWERCASE转换为小写
示例值:TRIM
Replace ReplaceParam 替换,TYPE=REPLACE时必传
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"OldValue":"old","NewValue":"new"}
Substr SubstrParam 截取,TYPE=SUBSTR时必传
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Start":0,"End":7}
Date DateParam 时间转换,TYPE=DATE时必传
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Format":"yyyy-MM-dd HH:mm:ss","TargetType":"string","TimeZone":"GMT+8"}
RegexReplace RegexReplaceParam 正则替换,TYPE=REGEX_REPLACE时必传
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Regex":"^[0-9]*$","NewValue":"newValue-test"}
Split SplitParam 值支持一拆多,TYPE=SPLIT时必传
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Regex":","}
KV KVParam key-value二次解析,TYPE=KV时必传
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Delimiter":";","Regex":"=","KeepOriginalKey":"false"}
Result String 处理结果
注意:此字段可能返回 null,表示取不到有效值。
示例值:result-test
JsonPathReplace JsonPathReplaceParam JsonPath替换,TYPE=JSON_PATH_REPLACE时必传
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"OldValue":"$.old","NewValue":"$.new"}
UrlDecode UrlDecodeParam Url解析
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"CharsetName":"UTF-8"}
Lowercase LowercaseParam 小写字符解析
注意:此字段可能返回 null,表示取不到有效值。
示例值:{}

VipEntity

虚拟IP实体

被如下接口引用:DescribeInstanceAttributes, DescribeInstancesDetail, DescribeRoute。

名称 类型 描述
Vip String 虚拟IP
示例值:1.0.0.5
Vport String 虚拟端口
示例值:9092

ZoneInfo

zone信息实体

被如下接口引用:DescribeCkafkaZone。

名称 类型 描述
ZoneId String 可用区
示例值:100003
IsInternalApp Integer 是否内部APP
示例值:1
AppId Integer 应用标识
示例值:1000000001
Flag Boolean 标识
示例值:false
ZoneName String 可用区名称
示例值:广州三区
ZoneStatus Integer 可用区状态
示例值:3
SoldOut String true为售罄,false为未售罄
示例值:true
SalesInfo Array of SaleInfo 标准版售罄信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Flag":false,"Version":"1.1.1","Platform":"standard","SoldOut":true}]
ExtraFlag String 额外标识
示例值:0

ZoneResponse

查询kafka的zone信息返回的实体

被如下接口引用:DescribeCkafkaZone。

名称 类型 描述
ZoneList Array of ZoneInfo zone列表
示例值:[{"ZoneId":"100003","IsInternalApp":1,"AppId":1000000001,"Flag":false,"ZoneName":"广州三区","ZoneStatus":3,"SoldOut":"true","SalesInfo":[{"Flag":false,"Version":"1.1.1","Platform":"standard","SoldOut":true}],"ExtraFlag":"0"}]
MaxBuyInstanceNum Integer 最大购买实例个数
示例值:100
MaxBandwidth Integer 最大购买带宽 单位Mb/s
示例值:9600
UnitPrice Price 后付费单位价格
示例值:{"RealTotalCost":0,"TotalCost":0}
MessagePrice Price 后付费消息单价
示例值:{"RealTotalCost":0,"TotalCost":0}
ClusterInfo Array of ClusterInfo 用户独占集群信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"ClusterId":6894,"ClusterName":"100003-ckafka-test","MaxDiskSize":198,"MaxBandWidth":19,"AvailableDiskSize":198,"AvailableBandWidth":19,"ZoneId":100003,"ZoneIds":[100003,100002]}]
Standard String 购买标准版配置
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"standard":{"bandwidth":{"maximum":200,"minimal":3,"step":3}}}
StandardS2 String 购买标准版S2配置
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"InstanceTypeConfigSet":[{"Type":"sv_ckafka_instance_s2_1","Desc":"入门型","DescEn":"Small","Bandwidth":320,"MinDiskSize":300,"MaxDiskSize":1000,"DiskSize":500,"Pid":1004034,"MaximumInstancePartition":60,"MaximumInstanceTopic":25},{"Type":"sv_ckafka_instance_s2_2","Desc":"标准型","DescEn":"Standard","Bandwidth":800,"DiskSize":1500,"MinDiskSize":500,"MaxDiskSize":2500,"Pid":1004037,"MaximumInstancePartition":100,"MaximumInstanceTopic":40},{"Type":"sv_ckafka_instance_s2_3","Desc":"进阶型","DescEn":"Advanced","Bandwidth":1200,"DiskSize":3000,"MinDiskSize":1000,"MaxDiskSize":4000,"Pid":1004038,"MaximumInstancePartition":150,"MaximumInstanceTopic":50}],"maximumTopicPartition":2500,"maximumInstanceConsumerGroup":0}
Profession String 购买专业版配置
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"BasicEdition":{"Bandwidth":{"Maximum":1200,"Minimal":20,"Step":20},"DiskCapacity":{"20":{"Maximum":500000,"Minimal":200,"Step":100},"40":{"Maximum":500000,"Minimal":500,"Step":100},"120":{"Maximum":500000,"Minimal":1000,"Step":100},"320":{"Maximum":500000,"Minimal":3000,"Step":100},"800":{"Maximum":500000,"Minimal":5400,"Step":100},"1000":{"Maximum":500000,"Minimal":7500,"Step":100}},"DiskTypes":["SSD","CLOUD_BASIC"],"MessageRetention":{"Maximum":2160,"Minimal":24,"Step":1},"Partition":{"20":{"Maximum":40000,"Minimal":400,"Step":100},"40":{"Maximum":40000,"Minimal":800,"Step":100},"60":{"Maximum":40000,"Minimal":900,"Step":100},"120":{"Maximum":40000,"Minimal":1200,"Step":100},"180":{"Maximum":40000,"Minimal":1400,"Step":100},"240":{"Maximum":40000,"Minimal":1600,"Step":100},"320":{"Maximum":40000,"Minimal":1800,"Step":100},"400":{"Maximum":40000,"Minimal":2000,"Step":100},"500":{"Maximum":40000,"Minimal":2200,"Step":100},"600":{"Maximum":40000,"Minimal":2400,"Step":100},"800":{"Maximum":40000,"Minimal":2600,"Step":100},"1000":{"Maximum":40000,"Minimal":2800,"Step":100},"1200":{"Maximum":40000,"Minimal":3200,"Step":100}}},"HighPerformanceEdition":{"Bandwidth":{"Maximum":100000,"Minimal":1600,"Step":200},"DiskCapacity":{"1600":{"Maximum":500000,"Minimal":10000,"Step":100},"2000":{"Maximum":500000,"Minimal":10000,"Step":100},"2400":{"Maximum":500000,"Minimal":10000,"Step":100},"2800":{"Maximum":500000,"Minimal":10000,"Step":100},"3200":{"Maximum":500000,"Minimal":10000,"Step":100}},"DiskTypes":["SSD","CLOUD_BASIC"],"MessageRetention":{"Maximum":2160,"Minimal":24,"Step":1},"Partition":{"1600":{"Maximum":40000,"Minimal":4000,"Step":100},"2000":{"Maximum":40000,"Minimal":4500,"Step":100},"2400":{"Maximum":40000,"Minimal":5000,"Step":100},"2800":{"Maximum":40000,"Minimal":5500,"Step":100},"3200":{"Maximum":40000,"Minimal":6000,"Step":100}}}}
Physical String 购买物理独占版配置
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"physicallyExclusive":{"bandwidth":{"maximum":200,"minimal":3,"step":3}}}
PublicNetwork String 公网带宽 最小3Mbps 最大999Mbps 仅专业版支持填写
注意:此字段可能返回 null,表示取不到有效值。
示例值:3
PublicNetworkLimit String 公网带宽配置
注意:此字段可能返回 null,表示取不到有效值。
示例值:999
RequestId String 请求Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:a85846f2-95bd-454d-8edf-f4cfe618282f
Version String 版本
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.1.1
Offset Integer 分页offset
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
Limit Integer 分页limit
注意:此字段可能返回 null,表示取不到有效值。
示例值:20
ForceCheckTag Boolean 是否必须录入tag
注意:此字段可能返回 null,表示取不到有效值。
示例值:false