Acl
ACL对象实体
被如下接口引用:DescribeACL。
名称 | 类型 | 描述 |
---|---|---|
ResourceType | Integer | Acl资源类型,(0:UNKNOWN,1:ANY,2:TOPIC,3:GROUP,4:CLUSTER,5:TRANSACTIONAL_ID)当前只有TOPIC, 示例值:2 |
ResourceName | String | 资源名称,和resourceType相关如当resourceType为TOPIC时,则该字段表示topic名称,当resourceType为GROUP时,该字段表示group名称 示例值:topic-test |
Principal | String | 用户列表,默认为User:,表示任何user都可以访问,当前用户只能是用户列表中包含的用户 注意:此字段可能返回 null,表示取不到有效值。 示例值:User: |
Host | String | 默认*,表示任何host都可以访问,当前ckafka不支持host为*,但是后面开源kafka的产品化会直接支持 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.1 |
Operation | Integer | Acl操作方式(0:UNKNOWN,1:ANY,2:ALL,3:READ,4:WRITE,5:CREATE,6:DELETE,7:ALTER,8:DESCRIBE,9:CLUSTER_ACTION,10:DESCRIBE_CONFIGS,11:ALTER_CONFIGS,12:IDEMPOTEN_WRITE) 示例值:3 |
PermissionType | Integer | 权限类型(0:UNKNOWN,1:ANY,2:DENY,3:ALLOW) 示例值:3 |
AclResponse
ACL返回结果集
被如下接口引用:DescribeACL。
名称 | 类型 | 描述 |
---|---|---|
TotalCount | Integer | 符合条件的总数据条数 示例值:1 |
AclList | Array of Acl | ACL列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"ResourceType":2,"ResourceName":"topic-test","Principal":"User:user-test","Host":"*","Operation":3,"PermissionType":3}] |
AclRule
AclRule列表接口出参
被如下接口引用:DescribeAclRule, DescribeTopicAttributes。
名称 | 类型 | 描述 |
---|---|---|
RuleName | String | ACL规则名 注意:此字段可能返回 null,表示取不到有效值。 示例值:rulename-test |
InstanceId | String | ckafka集群实例Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:ckafka-test |
PatternType | String | ACL规则匹配类型,目前只支持前缀匹配,枚举值列表:PREFIXED 注意:此字段可能返回 null,表示取不到有效值。 示例值:PREFIXED |
Pattern | String | 表示前缀匹配的前缀的值 注意:此字段可能返回 null,表示取不到有效值。 示例值:aclPatt |
ResourceType | String | Acl资源类型,目前只支持Topic,枚举值列表:Topic 注意:此字段可能返回 null,表示取不到有效值。 示例值:Topic |
AclList | String | 该规则所包含的ACL信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"host":"*","operation":"Write","permissionType":"Deny","principal":"User:*"}] |
CreateTimeStamp | String | 规则所创建的时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:Sat Apr 03 20:13:03 CST 2021 |
IsApplied | Integer | 预设ACL规则是否应用到新增的topic中 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
UpdateTimeStamp | String | 规则更新时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:Sat Apr 03 20:13:03 CST 2021 |
Comment | String | 规则的备注 注意:此字段可能返回 null,表示取不到有效值。 示例值:comment-test |
TopicName | String | 其中一个显示的对应的TopicName 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
TopicCount | Integer | 应用该ACL规则的Topic数 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
PatternTypeTitle | String | patternType的中文显示 注意:此字段可能返回 null,表示取不到有效值。 示例值:预设策略 |
AclRuleInfo
表示ACL 规则的四元组信息
被如下接口引用:BatchCreateAcl, CreateAclRule。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Operation | String | 是 | Acl操作方式,枚举值(所有操作: All, 读:Read,写:Write) 示例值:Read |
PermissionType | String | 是 | 权限类型,(Deny,Allow) 示例值:Allow |
Host | String | 是 | 默认为*,表示任何host都可以访问,当前ckafka不支持host为* 和 ip网段 示例值:10.0.0.6 |
Principal | String | 是 | 用户列表,默认为User:,表示任何user都可以访问,当前用户只能是用户列表中包含的用户。传入格式需要带【User:】前缀。例如用户A,传入为User:A。 示例值:User: |
AclRuleResp
AclRule列表接口返回结果
被如下接口引用:DescribeAclRule。
名称 | 类型 | 描述 |
---|---|---|
TotalCount | Integer | 总数据条数 示例值:1 |
AclRuleList | Array of AclRule | AclRule列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"RuleName":"rulename-test","InstanceId":"ckafka-test","PatternType":"PREFIXED","Pattern":"test","ResourceType":"Topic","AclList":"[{"host":"*","operation":"Write","permissionType":"Deny","principal":"User:*"}]","CreateTimeStamp":"Sat Apr 03 20:13:03 CST 2021","IsApplied":1,"UpdateTimeStamp":"Sat Apr 03 20:13:03 CST 2021","Comment":"comment-test","TopicName":"topic-test","TopicCount":1,"PatternTypeTitle":"预设策略","Id":1,"RuleList":["{"host":"*","operation":"Write","permissionType":"Deny","principal":"User:*"}"]}] |
AnalyseParam
数据处理-解析参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Format | String | 是 | 解析格式,JSON,DELIMITER分隔符,REGULAR正则提取,SOURCE处理上层所有结果 示例值:JSON |
Regex | String | 否 | 分隔符、正则表达式 注意:此字段可能返回 null,表示取不到有效值。 示例值:, |
InputValueType | String | 否 | 需再次处理的KEY——模式 注意:此字段可能返回 null,表示取不到有效值。 示例值:JSONPATH |
InputValue | String | 否 | 需再次处理的KEY——KEY表达式 注意:此字段可能返回 null,表示取不到有效值。 示例值:$.log |
AppIdResponse
AppId的查询结果
被如下接口引用:DescribeAppInfo。
名称 | 类型 | 描述 |
---|---|---|
TotalCount | Integer | 符合要求的所有AppId数量 示例值:1 |
AppIdList | Array of Integer | 符合要求的App Id列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[1000000001] |
Assignment
存储着分配给该消费者的 partition 信息
被如下接口引用:DescribeGroupInfo。
名称 | 类型 | 描述 |
---|---|---|
Version | Integer | assingment版本信息 示例值:0 |
Topics | Array of GroupInfoTopics | topic信息列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Topic":"topic-test","Partitions":[0]}] |
BatchAnalyseParam
批量解析
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Format | String | 是 | ONE_BY_ONE单条输出,MERGE合并输出 注意:此字段可能返回 null,表示取不到有效值。 示例值:ONE_BY_ONE |
BatchContent
批量发送消息内容
被如下接口引用:SendMessage。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Body | String | 是 | 发送的消息体 示例值:body-test |
Key | String | 否 | 发送消息的键名 示例值:key-test |
BatchModifyTopicInfo
批量修改topic参数
被如下接口引用:BatchModifyTopicAttributes。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
TopicName | String | 是 | 主题名 示例值:topic-test |
PartitionNum | Integer | 否 | 分区数 示例值:1 |
Note | String | 否 | 备注 示例值:note-test |
ReplicaNum | Integer | 否 | 副本数 示例值:2 |
CleanUpPolicy | String | 否 | 消息删除策略,可以选择delete 或者compact 示例值:compact |
MinInsyncReplicas | Integer | 否 | 当producer设置request.required.acks为-1时,min.insync.replicas指定replicas的最小数目 示例值:1 |
UncleanLeaderElectionEnable | Boolean | 否 | 是否允许非ISR的副本成为Leader 示例值:false |
RetentionMs | Integer | 否 | topic维度的消息保留时间(毫秒)范围1 分钟到90 天 示例值:3600000 |
RetentionBytes | Integer | 否 | topic维度的消息保留大小,范围1 MB到1024 GB 示例值:1048576 |
SegmentMs | Integer | 否 | Segment分片滚动的时长(毫秒),范围1 到90 天 示例值:86400000 |
MaxMessageBytes | Integer | 否 | 批次的消息大小,范围1 KB到12 MB 示例值:1024 |
LogMsgTimestampType | String | 否 | 消息保存的时间类型:CreateTime/LogAppendTime 示例值:LogAppendTime |
BatchModifyTopicResultDTO
批量修改topic属性结果
被如下接口引用:BatchModifyTopicAttributes。
名称 | 类型 | 描述 |
---|---|---|
InstanceId | String | ckafka集群实例Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:ckafka-test |
TopicName | String | 主题名 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
ReturnCode | String | 操作返回码 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
Message | String | 操作返回信息 示例值:success |
BrokerTopicData
主题占用Broker磁盘大小
被如下接口引用:DescribeTopicFlowRanking。
名称 | 类型 | 描述 |
---|---|---|
TopicName | String | 主题名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
TopicId | String | 主题Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
DataSize | Integer | 主题占用Broker 容量大小 注意:此字段可能返回 null,表示取不到有效值。 示例值:200 |
BrokerTopicFlowData
broker维度topic 流量排行指标
被如下接口引用:DescribeTopicFlowRanking。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
TopicName | String | 否 | 主题名 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
TopicId | String | 否 | 主题Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
TopicTraffic | String | 否 | Topic 流量(MB) 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.00 |
CdcClusterResponse
创建CDC 标准版共享集群出参
被如下接口引用:CreateCdcCluster。
名称 | 类型 | 描述 |
---|---|---|
TaskId | Integer | 任务ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:105 |
ClickHouseConnectParam
ClickHouse连接源参数
被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Port | Integer | 是 | ClickHouse的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
UserName | String | 是 | ClickHouse连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 是 | ClickHouse连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Resource | String | 是 | ClickHouse连接源的实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
SelfBuilt | Boolean | 是 | ClickHouse连接源是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
ServiceVip | String | 否 | ClickHouse连接源的实例vip,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | ClickHouse连接源的vpcId,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
ClickHouseModifyConnectParam
ClickHouse修改连接源参数
被如下接口引用:ModifyConnectResource。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 是 | ClickHouse连接源的实例资源【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Port | Integer | 否 | ClickHouse的连接port【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
ServiceVip | String | 否 | ClickHouse连接源的实例vip【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | ClickHouse连接源的vpcId【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
UserName | String | 否 | ClickHouse连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | ClickHouse连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
SelfBuilt | Boolean | 否 | ClickHouse连接源是否为自建集群【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务,默认为true 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
ClickHouseParam
ClickHouse类型入参
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Cluster | String | 是 | ClickHouse的集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:cluster-test |
Database | String | 是 | ClickHouse的数据库名 注意:此字段可能返回 null,表示取不到有效值。 示例值:database-test |
Table | String | 是 | ClickHouse的数据表名 注意:此字段可能返回 null,表示取不到有效值。 示例值:table-test |
Schema | Array of ClickHouseSchema | 是 | ClickHouse的schema 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"ColumnName":"column_test","JsonKey":"column_test","Type":"String","AllowNull":false}] |
Resource | String | 是 | 实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Ip | String | 否 | ClickHouse的连接ip 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.5 |
Port | Integer | 否 | ClickHouse的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8099 |
UserName | String | 否 | ClickHouse的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | ClickHouse的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
ServiceVip | String | 否 | 实例vip 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.5 |
UniqVpcId | String | 否 | 实例的vpcId 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
SelfBuilt | Boolean | 否 | 是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
DropInvalidMessage | Boolean | 否 | ClickHouse是否抛弃解析失败的消息,默认为true 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
Type | String | 否 | ClickHouse 类型,emr-clickhouse : "emr";cdw-clickhouse : "cdwch";自建 : "" 注意:此字段可能返回 null,表示取不到有效值。 示例值:emr |
DropCls | DropCls | 否 | 当设置成员参数DropInvalidMessageToCls设置为true时,DropInvalidMessage参数失效 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"} |
BatchSize | Integer | 否 | 每批次投递到 ClickHouse 表消息数量,默认为 1000 条。 提高该参数值,有利于减少往 ClickHouse 投递的次数,但在错误消息过多及网络不稳定等极端情况下时,可能导致频繁重试影响效率。 注意:此字段可能返回 null,表示取不到有效值。 示例值:1000 |
ConsumerFetchMinBytes | Integer | 否 | 每次从 topic 中拉取消息大小,默认为 1MB,即至少要从 topic 中批量拉取 1MB 消息,才进行数据投递到 ClickHouse 操作。 提高该参数值,有利于减少往 ClickHouse 投递的次数,但在错误消息过多及网络不稳定等极端情况下时,可能导致频繁重试影响效率。 注意:此字段可能返回 null,表示取不到有效值。 示例值:1000000 |
ConsumerFetchMaxWaitMs | Integer | 否 | 每次从 topic 拉取消息最大等待时间,当超过当前最大等待时间时,即使没有拉取到 ConsumerFetchMinBytes 大小,也将进行 ClickHouse 投递操作。 提高该参数值,有利于减少往 ClickHouse 投递的次数,但在错误消息过多及网络不稳定等极端情况下时,可能导致频繁重试影响效率。 注意:此字段可能返回 null,表示取不到有效值。 示例值:30000 |
ClickHouseSchema
ClickHouse的Schema
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
ColumnName | String | 是 | 表的列名 注意:此字段可能返回 null,表示取不到有效值。 示例值:column_test |
JsonKey | String | 是 | 该列对应的jsonKey名 注意:此字段可能返回 null,表示取不到有效值。 示例值:column_test |
Type | String | 是 | 表列项的类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:String |
AllowNull | Boolean | 是 | 列项是否允许为空 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
ClsParam
Cls类型入参
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
DecodeJson | Boolean | 是 | 生产的信息是否为json格式 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
Resource | String | 是 | cls日志主题id 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
LogSet | String | 否 | cls日志集id 注意:此字段可能返回 null,表示取不到有效值。 示例值:logset-test |
ContentKey | String | 否 | 当DecodeJson为false时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:key-test |
TimeField | String | 否 | 指定消息中的某字段内容作为cls日志的时间。 字段内容格式需要是秒级时间戳 注意:此字段可能返回 null,表示取不到有效值。 示例值:time |
ClusterInfo
集群信息实体
被如下接口引用:DescribeCkafkaZone。
名称 | 类型 | 描述 |
---|---|---|
ClusterId | Integer | 集群Id 示例值:6894 |
ClusterName | String | 集群名称 示例值:100003-ckafka-test |
MaxDiskSize | Integer | 集群最大磁盘 单位GB 注意:此字段可能返回 null,表示取不到有效值。 示例值:198 |
MaxBandWidth | Integer | 集群最大带宽 单位MB/s 注意:此字段可能返回 null,表示取不到有效值。 示例值:19 |
AvailableDiskSize | Integer | 集群当前可用磁盘 单位GB 注意:此字段可能返回 null,表示取不到有效值。 示例值:198 |
AvailableBandWidth | Integer | 集群当前可用带宽 单位MB/s 注意:此字段可能返回 null,表示取不到有效值。 示例值:19 |
ZoneId | Integer | 集群所属可用区,表明集群归属的可用区 注意:此字段可能返回 null,表示取不到有效值。 示例值:100003 |
ZoneIds | Array of Integer | 集群节点所在的可用区,若该集群为跨可用区集群,则包含该集群节点所在的多个可用区。 注意:此字段可能返回 null,表示取不到有效值。 示例值:[100003,100002] |
Config
高级配置对象
被如下接口引用:DescribeTopicAttributes, DescribeTopicDetail。
名称 | 类型 | 描述 |
---|---|---|
Retention | Integer | 消息保留时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
MinInsyncReplicas | Integer | 最小同步复制数 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
CleanUpPolicy | String | 日志清理模式,默认 delete。 delete:日志按保存时间删除;compact:日志按 key 压缩;compact, delete:日志按 key 压缩且会保存时间删除。 注意:此字段可能返回 null,表示取不到有效值。 示例值:delete |
SegmentMs | Integer | Segment 分片滚动的时长 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
UncleanLeaderElectionEnable | Integer | 0表示 false。 1表示 true。 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
SegmentBytes | Integer | Segment 分片滚动的字节数 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
MaxMessageBytes | Integer | 最大消息字节数 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
RetentionBytes | Integer | 消息保留文件大小 注意:此字段可能返回 null,表示取不到有效值。 示例值:107374 |
LogMsgTimestampType | String | 消息保存的时间类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:LogAppendTime |
ConnectResourceResourceIdResp
返回连接源的Id
被如下接口引用:CreateConnectResource, DeleteConnectResource, ModifyConnectResource。
名称 | 类型 | 描述 |
---|---|---|
ResourceId | String | 连接源的Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Connection
Connection信息
被如下接口引用:DescribeDatahubTask。
名称 | 类型 | 描述 |
---|---|---|
TopicName | String | 主题名 示例值:topic-test |
GroupId | String | 消费组ID 示例值:group-test |
TopicId | String | 主题Id 示例值:topic-test |
ConsumerGroup
用户组实体
被如下接口引用:DescribeConsumerGroup。
名称 | 类型 | 描述 |
---|---|---|
ConsumerGroupName | String | 用户组名称 示例值:consumerGroup-test |
SubscribedInfo | Array of SubscribedInfo | 订阅信息实体 示例值:[{"TopicName":"topic-test","PartitionOffset":[{"Partition":"0","Offset":966186803},{"Partition":"1","Offset":968552882},{"Partition":"2","Offset":957792934}]}] |
ConsumerGroupResponse
消费组返回结果实体
被如下接口引用:DescribeConsumerGroup。
名称 | 类型 | 描述 |
---|---|---|
TotalCount | Integer | 符合条件的消费组数量 示例值:1 |
TopicList | Array of ConsumerGroupTopic | 主题列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"topicId":"topic-test","topicName":"topic-test"}] |
GroupList | Array of ConsumerGroup | 消费分组List 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"consumerGroupName":"consumerGroup-test","subscribedInfo":[{"topicName":"topic-test","topicId":"topic-test","partition":[0,1,2],"partitionOffset":[{"partition":"0","offset":0},{"partition":"1","offset":0},{"partition":"2","offset":9440149396}]}]}] |
TotalPartition | Integer | 所有分区数量 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
PartitionListForMonitor | Array of Partition | 监控的分区列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"PartitionId":0}] |
TotalTopic | Integer | 主题总数 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
TopicListForMonitor | Array of ConsumerGroupTopic | 监控的主题列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"topicName":"topic-test","topicId":"topic-test"}] |
GroupListForMonitor | Array of Group | 监控的组列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"groupName":"groupName-test"}] |
ConsumerGroupSpeed
消费者组消费速度排行
被如下接口引用:DescribeTopicFlowRanking。
名称 | 类型 | 描述 |
---|---|---|
ConsumerGroupName | String | 消费者组名称 示例值:consumerGroup-test |
Speed | Integer | 消费速度 Count/Minute 示例值:1235 |
ConsumerGroupTopic
消费组主题对象
被如下接口引用:DescribeConsumerGroup。
名称 | 类型 | 描述 |
---|---|---|
TopicId | String | 主题ID 示例值:topic-test |
TopicName | String | 主题名称 示例值:topic-test |
ConsumerRecord
消息记录
被如下接口引用:FetchDatahubMessageByOffset, FetchLatestDatahubMessageList, FetchMessageByOffset, FetchMessageListByOffset, FetchMessageListByTimestamp。
名称 | 类型 | 描述 |
---|---|---|
Topic | String | 主题名 示例值:topic-test |
Partition | Integer | 分区id 示例值:0 |
Offset | Integer | 位点 示例值:0 |
Key | String | 消息key 注意:此字段可能返回 null,表示取不到有效值。 示例值:key-test |
Value | String | 消息value 注意:此字段可能返回 null,表示取不到有效值。 示例值:value-test |
Timestamp | Integer | 消息时间戳 注意:此字段可能返回 null,表示取不到有效值。 示例值:1657542315 |
Headers | String | 消息headers 注意:此字段可能返回 null,表示取不到有效值。 示例值:header-test |
CosParam
Cos Datahub 任务接入参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
BucketName | String | 是 | cos 存储桶名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:bucket-name-test |
Region | String | 是 | 地域代码 注意:此字段可能返回 null,表示取不到有效值。 示例值:ap-guangzhou |
ObjectKey | String | 否 | 对象名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:key-test |
AggregateBatchSize | Integer | 否 | 汇聚消息量的大小(单位:MB) 注意:此字段可能返回 null,表示取不到有效值。 示例值:100 |
AggregateInterval | Integer | 否 | 汇聚的时间间隔(单位:小时) 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
FormatOutputType | String | 否 | 消息汇聚后的文件格式(支持csv, json) 注意:此字段可能返回 null,表示取不到有效值。 示例值:json |
ObjectKeyPrefix | String | 否 | 转储的对象目录前缀 注意:此字段可能返回 null,表示取不到有效值。 示例值:prefix-test |
DirectoryTimeFormat | String | 否 | 根据strptime 时间格式化的分区格式 注意:此字段可能返回 null,表示取不到有效值。 示例值:/%Y/%m/%d/%H |
CreateDatahubTaskRes
创建数据转储返回值
被如下接口引用:CreateDatahubTask。
名称 | 类型 | 描述 |
---|---|---|
TaskId | String | 转储任务id 示例值:task-test |
DatahubId | String | 数据转储Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:task-test |
CreateInstancePostData
创建后付费接口返回的 Data 数据结构
被如下接口引用:CreatePostPaidInstance。
名称 | 类型 | 描述 |
---|---|---|
FlowId | Integer | CreateInstancePre返回固定为0,不能作为CheckTaskStatus的查询条件。只是为了保证和后台数据结构对齐。 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
DealNames | Array of String | 订单号列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:["20230608002033882210000"] |
InstanceId | String | ckafka集群实例Id,当购买多个实例时,默认返回购买的第一个实例 id 注意:此字段可能返回 null,表示取不到有效值。 示例值:ckafka-test |
DealNameInstanceIdMapping | Array of DealInstanceDTO | 订单和购买实例对应映射列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"DealName":"20230608002033882210000","InstanceIdList":["ckafka-test"]}] |
CreateInstancePostResp
后付费实例相关接口返回结构
被如下接口引用:CreatePostPaidInstance。
名称 | 类型 | 描述 |
---|---|---|
ReturnCode | String | 返回的code,0为正常,非0为错误 示例值:0 |
ReturnMessage | String | 接口返回消息,当接口报错时提示错误信息 示例值:success |
Data | CreateInstancePostData | 返回的Data数据 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"FlowId":0,"DealNames":["20230608002033882210000"],"InstanceId":"ckafka-test","DealNameInstanceIdMapping":[{"DealName":"20230608002033882210000","InstanceIdList":["ckafka-test"]}]} |
CreateInstancePreData
创建预付费接口返回的Data
被如下接口引用:CreateInstancePre, DeleteInstancePre, ModifyInstancePre。
名称 | 类型 | 描述 |
---|---|---|
FlowId | Integer | CreateInstancePre返回固定为0,不能作为CheckTaskStatus的查询条件。只是为了保证和后台数据结构对齐。 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
DealNames | Array of String | 订单号列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:["20230608002033882210000"] |
InstanceId | String | ckafka集群实例Id,当购买多个实例时,默认返回购买的第一个实例 id 注意:此字段可能返回 null,表示取不到有效值。 示例值:ckafka-test |
DealNameInstanceIdMapping | Array of DealInstanceDTO | 订单和购买实例对应映射列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"DealName":"20230608002033882210000","InstanceIdList":["ckafka-test"]}] |
CreateInstancePreResp
预付费实例相关接口返回结构
被如下接口引用:CreateInstancePre, DeleteInstancePre, ModifyInstancePre。
名称 | 类型 | 描述 |
---|---|---|
ReturnCode | String | 返回的code,0为正常,非0为错误 示例值:0 |
ReturnMessage | String | 成功消息 示例值:success |
Data | CreateInstancePreData | 操作型返回的Data数据 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"FlowId":0,"DealNames":["20230608002033882210000"],"InstanceId":"ckafka-test","DealNameInstanceIdMapping":[{"DealName":"20230608002033882210000","InstanceIdList":["ckafka-test"]}]} |
CreateTopicResp
创建主题返回
被如下接口引用:CreateTopic。
名称 | 类型 | 描述 |
---|---|---|
TopicId | String | 主题Id 示例值:topic-test |
CtsdbConnectParam
Ctsdb连接源参数
被如下接口引用:DescribeConnectResource, DescribeConnectResources。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Port | Integer | 否 | Ctsdb的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
ServiceVip | String | 否 | Ctsdb连接源的实例vip 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | Ctsdb连接源的vpcId 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
UserName | String | 否 | Ctsdb连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | Ctsdb连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Resource | String | 否 | Ctsdb连接源的实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
CtsdbModifyConnectParam
Ctsdb连接源参数(更新)
被如下接口引用:ModifyConnectResource。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Port | Integer | 否 | Ctsdb的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
ServiceVip | String | 否 | Ctsdb连接源的实例vip 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | Ctsdb连接源的vpcId 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
UserName | String | 否 | Ctsdb连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | Ctsdb连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Resource | String | 否 | Ctsdb连接源的实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
CtsdbParam
Ctsdb类型入参
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 否 | 连接管理实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
CtsdbMetric | String | 否 | Ctsdb的metric 注意:此字段可能返回 null,表示取不到有效值。 示例值:metric-test |
DatahubResource
Datahub资源配置
被如下接口引用:CreateDatahubTask, DescribeDatahubTask, DescribeDatahubTasks。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Type | String | 是 | 资源类型 示例值:EB |
KafkaParam | KafkaParam | 否 | ckafka配置,Type为KAFKA时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"SelfBuilt":false,"Resource":"ckafka-test","Topic":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"ResourceName":"ckafka测试","ZoneId":100003,"TopicId":"topic-test","PartitionNum":1,"EnableToleration":false,"QpsLimit":4000,"TableMappings":[{"Database":"db1","Table":"table1","Topic":"topic1","TopicId":"topic-id"}],"UseTableMapping":false,"UseAutoCreateTopic":false,"CompressionType":"none","MsgMultiple":1,"ConnectorSyncType":"DATA_SYNC_TYPE","KeepPartition":false} |
EventBusParam | EventBusParam | 否 | EB配置,Type为EB时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Type":"COS","SelfBuilt":false,"Resource":"resource-test","Namespace":"namespace-test","FunctionName":"function-test","Qualifier":"qualifier-test"} |
MongoDBParam | MongoDBParam | 否 | MongoDB配置,Type为MONGODB时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Database":"database-test","Collection":"collection-test","CopyExisting":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"UserName":"username-test","Password":"password-test","ListeningEvent":"insert,update","ReadPreference":"主节点","Pipeline":"pipeline-test","SelfBuilt":false} |
EsParam | EsParam | 否 | Es配置,Type为ES时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8099,"UserName":"username-test","Password":"password-test","SelfBuilt":false,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","DropInvalidMessage":true,"Index":"index-test","DateFormat":"yyyy-MM-dd","ContentKey":"key-test","DropInvalidJsonMessage":true,"DocumentIdField":"$.payload.name","IndexType":"JSONPATH","DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"DatabasePrimaryKey":"pk_test","DropDlq":{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":2,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"},"RecordMappingList":[{"ColumnName":"column-test","JsonKey":"key-test"}],"DateField":"create_timestamp","RecordMappingMode":"EXIST_MAPPING"} |
TdwParam | TdwParam | 否 | Tdw配置,Type为TDW时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Bid":"bid-test","Tid":"tid-test","IsDomestic":true,"TdwHost":"tl-tdbank-tdmanager.tencent-distribute.com","TdwPort":8099} |
DtsParam | DtsParam | 否 | Dts配置,Type为DTS时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"Topic":"topic-test","GroupId":"group-test","GroupUser":"username-test","GroupPassword":"password-test","TranSql":true} |
ClickHouseParam | ClickHouseParam | 否 | ClickHouse配置,Type为CLICKHOUSE时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Cluster":"cluster-test","Database":"database-test","Table":"table-test","Schema":[{"ColumnName":"column_test","JsonKey":"column_test","Type":"String","AllowNull":false}],"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"UserName":"username-test","Password":"password-test","ServiceVip":"10.0.0.5","UniqVpcId":"vpc-test","SelfBuilt":false,"DropInvalidMessage":true,"Type":"emr","DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"BatchSize":1000,"ConsumerFetchMinBytes":1000000,"ConsumerFetchMaxWaitMs":30000} |
ClsParam | ClsParam | 否 | Cls配置,Type为CLS时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"DecodeJson":true,"Resource":"resource-test","LogSet":"logset-test","ContentKey":"key-test","TimeField":"time"} |
CosParam | CosParam | 否 | Cos配置,Type为COS时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"BucketName":"bucket-name-test","Region":"ap-guangzhou","ObjectKey":"key-test","AggregateBatchSize":100,"AggregateInterval":1,"FormatOutputType":"json","ObjectKeyPrefix":"prefix-test","DirectoryTimeFormat":"/%Y/%m/%d/%H"} |
MySQLParam | MySQLParam | 否 | MySQL配置,Type为MYSQL时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","DdlTopic":"topic-test","DataSourceMonitorMode":"TABLE","DataSourceMonitorResource":"table-test","DataSourceIncrementMode":"TIMESTAMP","DataSourceIncrementColumn":"column_test","DataSourceStartFrom":"HEAD","DataTargetInsertMode":"INSERT","DataTargetPrimaryKeyField":"id","DataTargetRecordMapping":[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}],"TopicRegex":"(.).db.(.)","TopicReplacement":"$1","KeyColumns":"db1.table2.k1,k2","DropInvalidMessage":true,"DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"OutputFormat":"DEFAULT","IsTablePrefix":false,"IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false,"SignalDatabase":"database-test","IsTableRegular":false,"SignalTable":"table-test","DateTimeZone":"UTC+8","SelfBuilt":false} |
PostgreSQLParam | PostgreSQLParam | 否 | PostgreSQL配置,Type为POSTGRESQL或TDSQL_C_POSTGRESQL时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Database":"database-test","Table":"*","Resource":"resource-test","PluginName":"decoderbufs","SnapshotMode":"initial","DataFormat":"JSON","DataTargetInsertMode":"INSERT","DataTargetPrimaryKeyField":"id","DataTargetRecordMapping":[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}],"DropInvalidMessage":true,"IsTableRegular":false,"KeyColumns":"db1.table2.k1,k2","RecordWithSchema":false} |
TopicParam | TopicParam | 否 | Topic配置,Type为Topic时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"TopicId":"topic-test","CompressionType":"none","UseAutoCreateTopic":false,"MsgMultiple":1} |
MariaDBParam | MariaDBParam | 否 | MariaDB配置,Type为MARIADB时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","KeyColumns":"db1.table2.k1,k2","IsTablePrefix":false,"OutputFormat":"DEFAULT","IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false} |
SQLServerParam | SQLServerParam | 否 | SQLServer配置,Type为SQLSERVER时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Database":"database-test","Table":"*","Resource":"resource-test","SnapshotMode":"initial"} |
CtsdbParam | CtsdbParam | 否 | Ctsdb配置,Type为CTSDB时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","CtsdbMetric":"metric-test"} |
ScfParam | ScfParam | 否 | Scf配置,Type为SCF时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"FunctionName":"function-test","Namespace":"default","Qualifier":"$DEFAULT","BatchSize":1000,"MaxRetries":5} |
MqttParam | MqttParam | 否 | MQTT配置,Type为 MQTT 时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Topics":"topic-test","CleanSession":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":1883,"UserName":"username-test","Password":"password-test","Qos":1,"MaxTasks":1,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","SelfBuilt":false} |
DatahubTaskIdRes
Datahub请求的taskid
被如下接口引用:DeleteDatahubTask, ModifyDatahubTask。
名称 | 类型 | 描述 |
---|---|---|
TaskId | String | 任务id 注意:此字段可能返回 null,表示取不到有效值。 示例值:task-test |
DatahubTaskInfo
Datahub任务信息
被如下接口引用:DescribeDatahubTasks。
名称 | 类型 | 描述 |
---|---|---|
TaskId | String | 任务Id 示例值:task-test |
TaskName | String | 任务名称 示例值:task测试 |
TaskType | String | 任务类型,SOURCE数据接入,SINK数据流出 示例值:SINK |
Status | Integer | 状态,-1创建失败,0创建中,1运行中,2删除中,3已删除,4删除失败,5暂停中,6已暂停,7暂停失败,8恢复中,9恢复失败 示例值:1 |
SourceResource | DatahubResource | 数据源 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Type":"EB","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test","Topic":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"ResourceName":"ckafka测试","ZoneId":100003,"TopicId":"topic-test","PartitionNum":1,"EnableToleration":false,"QpsLimit":4000,"TableMappings":[{"Database":"db1","Table":"table1","Topic":"topic1","TopicId":"topic-id"}],"UseTableMapping":false,"UseAutoCreateTopic":false,"CompressionType":"none","MsgMultiple":1,"ConnectorSyncType":"DATA_SYNC_TYPE","KeepPartition":false},"EventBusParam":{"Type":"COS","SelfBuilt":false,"Resource":"resource-test","Namespace":"namespace-test","FunctionName":"function-test","Qualifier":"qualifier-test"},"MongoDBParam":{"Database":"database-test","Collection":"collection-test","CopyExisting":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"UserName":"username-test","Password":"password-test","ListeningEvent":"insert,update","ReadPreference":"主节点","Pipeline":"pipeline-test","SelfBuilt":false},"EsParam":{"Resource":"resource-test","Port":8099,"UserName":"username-test","Password":"password-test","SelfBuilt":false,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","DropInvalidMessage":true,"Index":"index-test","DateFormat":"yyyy-MM-dd","ContentKey":"key-test","DropInvalidJsonMessage":true,"DocumentIdField":"$.payload.name","IndexType":"JSONPATH","DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"DatabasePrimaryKey":"pk_test","DropDlq":{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":2,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"},"RecordMappingList":[{"ColumnName":"column-test","JsonKey":"key-test"}],"DateField":"create_timestamp","RecordMappingMode":"EXIST_MAPPING"},"TdwParam":{"Bid":"bid-test","Tid":"tid-test","IsDomestic":true,"TdwHost":"tl-tdbank-tdmanager.tencent-distribute.com","TdwPort":8099},"DtsParam":{"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"Topic":"topic-test","GroupId":"group-test","GroupUser":"username-test","GroupPassword":"password-test","TranSql":true},"ClickHouseParam":{"Cluster":"cluster-test","Database":"database-test","Table":"table-test","Schema":[{"ColumnName":"column_test","JsonKey":"column_test","Type":"String","AllowNull":false}],"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"UserName":"username-test","Password":"password-test","ServiceVip":"10.0.0.5","UniqVpcId":"vpc-test","SelfBuilt":false,"DropInvalidMessage":true,"Type":"emr","DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"BatchSize":1000,"ConsumerFetchMinBytes":1000000,"ConsumerFetchMaxWaitMs":30000},"ClsParam":{"DecodeJson":true,"Resource":"resource-test","LogSet":"logset-test","ContentKey":"key-test","TimeField":"time"},"CosParam":{"BucketName":"bucket-name-test","Region":"ap-guangzhou","ObjectKey":"key-test","AggregateBatchSize":100,"AggregateInterval":1,"FormatOutputType":"json","ObjectKeyPrefix":"prefix-test","DirectoryTimeFormat":"/%Y/%m/%d/%H"},"MySQLParam":{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","DdlTopic":"topic-test","DataSourceMonitorMode":"TABLE","DataSourceMonitorResource":"table-test","DataSourceIncrementMode":"TIMESTAMP","DataSourceIncrementColumn":"column_test","DataSourceStartFrom":"HEAD","DataTargetInsertMode":"INSERT","DataTargetPrimaryKeyField":"id","DataTargetRecordMapping":[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}],"TopicRegex":"(.).db.(.)","TopicReplacement":"$1","KeyColumns":"db1.table2.k1,k2","DropInvalidMessage":true,"DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"OutputFormat":"DEFAULT","IsTablePrefix":false,"IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false,"SignalDatabase":"database-test","IsTableRegular":false,"SignalTable":"table-test","DateTimeZone":"UTC+8","SelfBuilt":false},"PostgreSQLParam":{"Database":"database-test","Table":"*","Resource":"resource-test","PluginName":"decoderbufs","SnapshotMode":"initial","DataFormat":"JSON","DataTargetInsertMode":"INSERT","DataTargetPrimaryKeyField":"id","DataTargetRecordMapping":[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}],"DropInvalidMessage":true,"IsTableRegular":false,"KeyColumns":"db1.table2.k1,k2","RecordWithSchema":false},"TopicParam":{"Resource":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"TopicId":"topic-test","CompressionType":"none","UseAutoCreateTopic":false,"MsgMultiple":1},"MariaDBParam":{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","KeyColumns":"db1.table2.k1,k2","IsTablePrefix":false,"OutputFormat":"DEFAULT","IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false},"SQLServerParam":{"Database":"database-test","Table":"*","Resource":"resource-test","SnapshotMode":"initial"},"CtsdbParam":{"Resource":"resource-test","CtsdbMetric":"metric-test"},"ScfParam":{"FunctionName":"function-test","Namespace":"default","Qualifier":"$DEFAULT","BatchSize":1000,"MaxRetries":5},"MqttParam":{"Topics":"topic-test","CleanSession":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":1883,"UserName":"username-test","Password":"password-test","Qos":1,"MaxTasks":1,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","SelfBuilt":false}} |
TargetResource | DatahubResource | 数据目标 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Type":"EB","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test","Topic":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"ResourceName":"ckafka测试","ZoneId":100003,"TopicId":"topic-test","PartitionNum":1,"EnableToleration":false,"QpsLimit":4000,"TableMappings":[{"Database":"db1","Table":"table1","Topic":"topic1","TopicId":"topic-id"}],"UseTableMapping":false,"UseAutoCreateTopic":false,"CompressionType":"none","MsgMultiple":1,"ConnectorSyncType":"DATA_SYNC_TYPE","KeepPartition":false},"EventBusParam":{"Type":"COS","SelfBuilt":false,"Resource":"resource-test","Namespace":"namespace-test","FunctionName":"function-test","Qualifier":"qualifier-test"},"MongoDBParam":{"Database":"database-test","Collection":"collection-test","CopyExisting":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"UserName":"username-test","Password":"password-test","ListeningEvent":"insert,update","ReadPreference":"主节点","Pipeline":"pipeline-test","SelfBuilt":false},"EsParam":{"Resource":"resource-test","Port":8099,"UserName":"username-test","Password":"password-test","SelfBuilt":false,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","DropInvalidMessage":true,"Index":"index-test","DateFormat":"yyyy-MM-dd","ContentKey":"key-test","DropInvalidJsonMessage":true,"DocumentIdField":"$.payload.name","IndexType":"JSONPATH","DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"DatabasePrimaryKey":"pk_test","DropDlq":{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":2,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"},"RecordMappingList":[{"ColumnName":"column-test","JsonKey":"key-test"}],"DateField":"create_timestamp","RecordMappingMode":"EXIST_MAPPING"},"TdwParam":{"Bid":"bid-test","Tid":"tid-test","IsDomestic":true,"TdwHost":"tl-tdbank-tdmanager.tencent-distribute.com","TdwPort":8099},"DtsParam":{"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"Topic":"topic-test","GroupId":"group-test","GroupUser":"username-test","GroupPassword":"password-test","TranSql":true},"ClickHouseParam":{"Cluster":"cluster-test","Database":"database-test","Table":"table-test","Schema":[{"ColumnName":"column_test","JsonKey":"column_test","Type":"String","AllowNull":false}],"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"UserName":"username-test","Password":"password-test","ServiceVip":"10.0.0.5","UniqVpcId":"vpc-test","SelfBuilt":false,"DropInvalidMessage":true,"Type":"emr","DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"BatchSize":1000,"ConsumerFetchMinBytes":1000000,"ConsumerFetchMaxWaitMs":30000},"ClsParam":{"DecodeJson":true,"Resource":"resource-test","LogSet":"logset-test","ContentKey":"key-test","TimeField":"time"},"CosParam":{"BucketName":"bucket-name-test","Region":"ap-guangzhou","ObjectKey":"key-test","AggregateBatchSize":100,"AggregateInterval":1,"FormatOutputType":"json","ObjectKeyPrefix":"prefix-test","DirectoryTimeFormat":"/%Y/%m/%d/%H"},"MySQLParam":{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","DdlTopic":"topic-test","DataSourceMonitorMode":"TABLE","DataSourceMonitorResource":"table-test","DataSourceIncrementMode":"TIMESTAMP","DataSourceIncrementColumn":"column_test","DataSourceStartFrom":"HEAD","DataTargetInsertMode":"INSERT","DataTargetPrimaryKeyField":"id","DataTargetRecordMapping":[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}],"TopicRegex":"(.).db.(.)","TopicReplacement":"$1","KeyColumns":"db1.table2.k1,k2","DropInvalidMessage":true,"DropCls":{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"},"OutputFormat":"DEFAULT","IsTablePrefix":false,"IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false,"SignalDatabase":"database-test","IsTableRegular":false,"SignalTable":"table-test","DateTimeZone":"UTC+8","SelfBuilt":false},"PostgreSQLParam":{"Database":"database-test","Table":"*","Resource":"resource-test","PluginName":"decoderbufs","SnapshotMode":"initial","DataFormat":"JSON","DataTargetInsertMode":"INSERT","DataTargetPrimaryKeyField":"id","DataTargetRecordMapping":[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}],"DropInvalidMessage":true,"IsTableRegular":false,"KeyColumns":"db1.table2.k1,k2","RecordWithSchema":false},"TopicParam":{"Resource":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"TopicId":"topic-test","CompressionType":"none","UseAutoCreateTopic":false,"MsgMultiple":1},"MariaDBParam":{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","KeyColumns":"db1.table2.k1,k2","IsTablePrefix":false,"OutputFormat":"DEFAULT","IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false},"SQLServerParam":{"Database":"database-test","Table":"*","Resource":"resource-test","SnapshotMode":"initial"},"CtsdbParam":{"Resource":"resource-test","CtsdbMetric":"metric-test"},"ScfParam":{"FunctionName":"function-test","Namespace":"default","Qualifier":"$DEFAULT","BatchSize":1000,"MaxRetries":5},"MqttParam":{"Topics":"topic-test","CleanSession":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":1883,"UserName":"username-test","Password":"password-test","Qos":1,"MaxTasks":1,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","SelfBuilt":false}} |
CreateTime | String | 任务创建时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:2019-08-19 00:00:00 |
ErrorMessage | String | 异常信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:message-test |
TaskProgress | Float | 创建进度百分比 注意:此字段可能返回 null,表示取不到有效值。 示例值:90 |
TaskCurrentStep | String | 任务当前处于的步骤 注意:此字段可能返回 null,表示取不到有效值。 示例值:等待连接 |
DatahubId | String | Datahub转储Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:datahub-test |
StepList | Array of String | 步骤列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:["step-test"] |
DatahubTopicDTO
Datahub主题
被如下接口引用:DescribeDatahubTopics。
名称 | 类型 | 描述 |
---|---|---|
Name | String | 名称 示例值:appId-test |
TopicName | String | Topic名称 示例值:topic-test |
TopicId | String | Topic Id 示例值:topic-test |
PartitionNum | Integer | 分区数 示例值:1 |
RetentionMs | Integer | 过期时间 示例值:3600000 |
Note | String | 备注 示例值:note-test |
Status | Integer | 状态,1使用中,2删除中 示例值:1 |
DatahubTopicResp
Datahub Topic 响应
被如下接口引用:CreateDatahubTopic。
名称 | 类型 | 描述 |
---|---|---|
TopicName | String | 主题名称 示例值:topic-test |
TopicId | String | 主题Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
DateParam
数据处理——Value处理参数——转换时间格式参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Format | String | 否 | 时间格式 示例值:yyyy-MM-dd HH:mm:ss |
TargetType | String | 否 | 输入类型,string,unix时间戳,默认string 注意:此字段可能返回 null,表示取不到有效值。 示例值:string |
TimeZone | String | 否 | 时区,默认GMT+8 注意:此字段可能返回 null,表示取不到有效值。 示例值:GMT+8 |
DealInstanceDTO
预付费/后付费接口中,订单和 CKafka 实例映射数据结构
被如下接口引用:CreateInstancePre, CreatePostPaidInstance, DeleteInstancePre, ModifyInstancePre。
名称 | 类型 | 描述 |
---|---|---|
DealName | String | 订单流水 注意:此字段可能返回 null,表示取不到有效值。 示例值:20230608002033882210000 |
InstanceIdList | Array of String | 订单流水对应购买的 CKafka 实例 id 列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:["ckafka-test"] |
DescribeConnectInfoResultDTO
topic链接信息
被如下接口引用:DescribeTopicProduceConnection。
名称 | 类型 | 描述 |
---|---|---|
IpAddr | String | ip地址 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.1 |
Time | String | 连结时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:2020-08-21 11:15:54 |
IsUnSupportVersion | Boolean | 是否支持的版本 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
DescribeConnectResource
查询连接源具体数据的返参
被如下接口引用:DescribeConnectResources。
名称 | 类型 | 描述 |
---|---|---|
ResourceId | String | 连接源的Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
ResourceName | String | 连接源名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Description | String | 连接源描述 注意:此字段可能返回 null,表示取不到有效值。 示例值:description-test |
Type | String | 连接源类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:KAFKA |
Status | Integer | 连接源的状态 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
CreateTime | String | 连接源的创建时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:2019-08-19 00:00:00 |
ErrorMessage | String | 连接源的异常信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:message-test |
DatahubTaskCount | Integer | 该连接源关联的Datahub任务数 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
CurrentStep | String | 连接源的当前所处步骤 注意:此字段可能返回 null,表示取不到有效值。 示例值:step-test |
TaskProgress | Float | 创建进度百分比 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
StepList | Array of String | 步骤列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:["step-test"] |
DtsConnectParam | DtsConnectParam | Dts配置,Type为DTS时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"GroupId":"group-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"Topic":"topic-test"} |
MongoDBConnectParam | MongoDBConnectParam | MongoDB配置,Type为MONGODB时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true} |
EsConnectParam | EsConnectParam | Es配置,Type为ES时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true} |
ClickHouseConnectParam | ClickHouseConnectParam | ClickHouse配置,Type为CLICKHOUSE时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true} |
MySQLConnectParam | MySQLConnectParam | MySQL配置,Type为MYSQL或TDSQL_C_MYSQL时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"ClusterId":"cynosdbmysql-test","SelfBuilt":false} |
PostgreSQLConnectParam | PostgreSQLConnectParam | PostgreSQL配置,Type为POSTGRESQL或TDSQL_C_POSTGRESQL时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","ClusterId":"tdcpg-test","IsUpdate":true,"SelfBuilt":false} |
MariaDBConnectParam | MariaDBConnectParam | MariaDB配置,Type为MARIADB时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true} |
SQLServerConnectParam | SQLServerConnectParam | SQLServer配置,Type为SQLSERVER时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":1433,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true} |
CtsdbConnectParam | CtsdbConnectParam | Ctsdb配置,Type为CTSDB时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","Resource":"resource-test"} |
DorisConnectParam | DorisConnectParam | Doris 配置,Type 为 DORIS 时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":9030,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"SelfBuilt":false,"BePort":8040} |
KafkaConnectParam | KafkaConnectParam | Kafka配置,Type 为 KAFKA 时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"ckafka-test","SelfBuilt":true,"IsUpdate":true,"BrokerAddress":"10.0.0.30:9092,10.0.0.31:9092","Region":"ap-guangzhou"} |
MqttConnectParam | MqttConnectParam | MQTT配置,Type 为 MQTT 时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"UserName":"username-test","Password":"password-test","Resource":"resource-test","UniqVpcId":"vpc-test","SelfBuilt":true,"IsUpdate":true,"Region":"ap-guangzhou"} |
DescribeConnectResourceResp
查询连接源具体数据的返参
被如下接口引用:DescribeConnectResource。
名称 | 类型 | 描述 |
---|---|---|
ResourceId | String | 连接源的Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
ResourceName | String | 连接源名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Description | String | 连接源描述 注意:此字段可能返回 null,表示取不到有效值。 示例值:description-test |
Type | String | 连接源类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:KAFKA |
Status | Integer | 连接源的状态 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
CreateTime | String | 连接源的创建时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:2019-08-19 00:00:00 |
ErrorMessage | String | 连接源的异常信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:message-test |
CurrentStep | String | 连接源的当前所处步骤 注意:此字段可能返回 null,表示取不到有效值。 示例值:step-test |
StepList | Array of String | 步骤列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:["step-test"] |
MySQLConnectParam | MySQLConnectParam | MySQL配置,Type为MYSQL或TDSQL_C_MYSQL时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"ClusterId":"cynosdbmysql-test","SelfBuilt":false} |
PostgreSQLConnectParam | PostgreSQLConnectParam | PostgreSQL配置,Type为POSTGRESQL或TDSQL_C_POSTGRESQL时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","ClusterId":"tdcpg-test","IsUpdate":true,"SelfBuilt":false} |
DtsConnectParam | DtsConnectParam | Dts配置,Type为DTS时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"GroupId":"group-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"Topic":"topic-test"} |
MongoDBConnectParam | MongoDBConnectParam | MongoDB配置,Type为MONGODB时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true} |
EsConnectParam | EsConnectParam | Es配置,Type为ES时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true} |
ClickHouseConnectParam | ClickHouseConnectParam | ClickHouse配置,Type为CLICKHOUSE时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true} |
MariaDBConnectParam | MariaDBConnectParam | MariaDB配置,Type为MARIADB时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true} |
SQLServerConnectParam | SQLServerConnectParam | SQLServer配置,Type为SQLSERVER时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":1433,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true} |
CtsdbConnectParam | CtsdbConnectParam | Ctsdb配置,Type为CTSDB时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","Resource":"resource-test"} |
DorisConnectParam | DorisConnectParam | Doris 配置,Type 为 DORIS 时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"resource-test","Port":9030,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"SelfBuilt":false,"BePort":8040} |
KafkaConnectParam | KafkaConnectParam | Kafka配置,Type 为 KAFKA 时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"ckafka-test","SelfBuilt":true,"IsUpdate":true,"BrokerAddress":"10.0.0.30:9092,10.0.0.31:9092","Region":"ap-guangzhou"} |
MqttConnectParam | MqttConnectParam | MQTT配置,Type 为 MQTT 时返回 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"UserName":"username-test","Password":"password-test","Resource":"resource-test","UniqVpcId":"vpc-test","SelfBuilt":true,"IsUpdate":true,"Region":"ap-guangzhou"} |
DescribeConnectResourcesResp
查询连接源列表的返参
被如下接口引用:DescribeConnectResources。
名称 | 类型 | 描述 |
---|---|---|
TotalCount | Integer | 连接源个数 示例值:1 |
ConnectResourceList | Array of DescribeConnectResource | 连接源数据 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"ResourceId":"resource-test","ResourceName":"resource-test","Description":"description-test","Type":"ES","Status":1,"CreateTime":"2019/8/19 00:00:00","ErrorMessage":"message-error","DatahubTaskCount":0,"CurrentStep":"step-1","TaskProgress":10,"StepList":["Step-1"],"EsConnectParam":{"Ip":"10.0.0.30","Port":9200,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","Resource":"resource-test","SelfBuilt":false,"IsUpdate":true}}] |
DescribeDatahubTaskRes
查询Datahub任务信息
被如下接口引用:DescribeDatahubTask。
名称 | 类型 | 描述 |
---|---|---|
TaskId | String | 任务ID 示例值:task-test |
TaskName | String | 任务名称 示例值:task-test |
TaskType | String | 任务类型,SOURCE数据接入,SINK数据流出 示例值:SINK |
Status | Integer | 状态,-1创建失败,0创建中,1运行中,2删除中,3已删除,4删除失败,5暂停中,6已暂停,7暂停失败,8恢复中,9恢复失败 示例值:1 |
SourceResource | DatahubResource | 数据源 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Type":"KAFKA","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"}} |
TargetResource | DatahubResource | 数据目标 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Type":"KAFKA","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"}} |
Connections | Array of Connection | Connection列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"TopicName":"topic-test","GroupId":"group-test","TopicId":"topic-test"}] |
CreateTime | String | 任务创建时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:2019/8/19 00:00:00 |
TransformParam | TransformParam | 消息处理规则 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Content":"{"name":"value"}","AnalysisFormat":"JSON","OutputFormat":"JSON","FailureParam":{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":1,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"},"SourceType":"TOPIC","Regex":",","MapParam":[{"Key":"key-test","Type":"DEFAULT","Value":"value-test"}],"FilterParam":[{"Key":"key-test","Type":"REGULAR","MatchMode":"PREFIX","Value":"value-test"}]} |
DatahubId | String | 数据接入ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:task-test |
SchemaId | String | 绑定的SchemaId 注意:此字段可能返回 null,表示取不到有效值。 示例值:schema-test |
SchemaName | String | 绑定的Schema名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:schema-test |
TransformsParam | TransformsParam | 数据处理规则 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Content":"{"name":"value"}","FieldChain":{"Analyse":{"Format":"JSON"}}} |
ErrorMessage | String | 异常信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:message-test |
Tags | Array of Tag | 任务标签列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}] |
DescribeDatahubTasksRes
查询Datahub任务列表
被如下接口引用:DescribeDatahubTasks。
名称 | 类型 | 描述 |
---|---|---|
TotalCount | Integer | 任务总数 示例值:1 |
TaskList | Array of DatahubTaskInfo | Datahub任务信息列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Status":1,"TaskId":"task-test","TaskName":"task测试","TaskType":"SINK","SourceResource":{"Type":"KAFKA","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test","Topic":"topic-test","OffsetType":"timestamp","StartTime":1635339533,"ResourceName":"resourceName-test","ZoneId":100003}},"TargetResource":{"Type":"EB","EventBusParam":{"Type":"COS","SelfBuilt":false,"Resource":"resource-test","Namespace":"default","FunctionName":"functionName-test","Qualifier":"$LATEST"}}}] |
DescribeDatahubTopicResp
Datahub Topic详情
被如下接口引用:DescribeDatahubTopic。
名称 | 类型 | 描述 |
---|---|---|
Name | String | 名称 示例值:appId-test |
TopicName | String | Topic名称 示例值:topic-test |
TopicId | String | Topic Id 示例值:topic-test |
PartitionNum | Integer | 分区数 示例值:1 |
RetentionMs | Integer | 过期时间 示例值:3600000 |
Note | String | 备注 注意:此字段可能返回 null,表示取不到有效值。 示例值:note-test |
UserName | String | 用户名 示例值:username-test |
Password | String | 密码 示例值:password-test |
Status | Integer | 状态,1使用中,2删除中 示例值:1 |
Address | String | 服务路由地址 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.3 |
DescribeDatahubTopicsResp
Datahub主题列表
被如下接口引用:DescribeDatahubTopics。
名称 | 类型 | 描述 |
---|---|---|
TotalCount | Integer | 总数 示例值:10 |
TopicList | Array of DatahubTopicDTO | Topic列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Name":"appId-test","TopicName":"topic-test","TopicId":"topic-test","PartitionNum":1,"RetentionMs":1,"Note":"note-test","Status":1}] |
DescribeGroup
DescribeGroup返回实体
被如下接口引用:DescribeGroup。
名称 | 类型 | 描述 |
---|---|---|
Group | String | 消费分组名称 示例值:group-test |
Protocol | String | 该 group 使用的协议。 示例值:consumer |
DorisConnectParam
Doris 连接源参数
被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Port | Integer | 是 | Doris jdbc 负载均衡连接 port,通常映射到 fe 的 9030 端口 注意:此字段可能返回 null,表示取不到有效值。 示例值:9030 |
UserName | String | 是 | Doris 连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 是 | Doris 连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Resource | String | 是 | Doris 连接源的实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
ServiceVip | String | 否 | Doris 连接源的实例vip,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | Doris 连接源的vpcId,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
SelfBuilt | Boolean | 否 | Doris 连接源是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
BePort | Integer | 否 | Doris 的 http 负载均衡连接 port,通常映射到 be 的 8040 端口 注意:此字段可能返回 null,表示取不到有效值。 示例值:8040 |
DorisModifyConnectParam
Doris 连接源修改参数
被如下接口引用:ModifyConnectResource。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 是 | Doris 连接源的实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Port | Integer | 否 | Doris jdbc 负载均衡连接 port,通常映射到 fe 的 9030 端口 注意:此字段可能返回 null,表示取不到有效值。 示例值:9030 |
ServiceVip | String | 否 | Doris 连接源的实例vip,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | Doris 连接源的vpcId,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
UserName | String | 否 | Doris 连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | Doris 连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
SelfBuilt | Boolean | 否 | Doris 连接源是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
BePort | Integer | 否 | Doris 的 http 负载均衡连接 port,通常映射到 be 的 8040 端口 注意:此字段可能返回 null,表示取不到有效值。 示例值:8040 |
DropCls
dip失败消息写入cls的配置
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
DropInvalidMessageToCls | Boolean | 否 | 是否投递到cls 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
DropClsRegion | String | 否 | 投递cls的地域 注意:此字段可能返回 null,表示取不到有效值。 示例值:ap-guangzhou |
DropClsOwneruin | String | 否 | 投递cls的账号 注意:此字段可能返回 null,表示取不到有效值。 示例值:10003080064 |
DropClsTopicId | String | 否 | 投递cls的主题 注意:此字段可能返回 null,表示取不到有效值。 示例值:eafds-vfdfsdf-dbdfsdf |
DropClsLogSet | String | 否 | 投递cls的日志集id 注意:此字段可能返回 null,表示取不到有效值。 示例值:wqead-bfdebv-sfds |
DtsConnectParam
Dts连接源参数
被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Port | Integer | 是 | Dts的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
GroupId | String | 是 | Dts消费分组的Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:group-test |
UserName | String | 是 | Dts消费分组的账号 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 是 | Dts消费分组的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Resource | String | 是 | Dts实例Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Topic | String | 是 | Dts订阅的topic 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
DtsModifyConnectParam
Dts修改连接源参数
被如下接口引用:ModifyConnectResource。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 是 | Dts实例Id【不支持修改】 示例值:resource-test |
Port | Integer | 否 | Dts的连接port【不支持修改】 示例值:8080 |
GroupId | String | 否 | Dts消费分组的Id 示例值:group-test |
UserName | String | 否 | Dts消费分组的账号 示例值:username-test |
Password | String | 否 | Dts消费分组的密码 示例值:password-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务,默认为true 示例值:true |
Topic | String | 否 | Dts订阅的topic【不支持修改】 示例值:topic-test |
DtsParam
Dts类型入参
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 是 | Dts实例Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Ip | String | 否 | Dts的连接ip 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.5 |
Port | Integer | 否 | Dts的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8099 |
Topic | String | 否 | Dts订阅的topic 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
GroupId | String | 否 | Dts消费分组的Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:group-test |
GroupUser | String | 否 | Dts消费分组的账号 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
GroupPassword | String | 否 | Dts消费分组的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
TranSql | Boolean | 否 | false同步原始数据,true同步解析后的json格式数据,默认true 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
DynamicDiskConfig
动态硬盘扩容配置
被如下接口引用:DescribeInstanceAttributes。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Enable | Integer | 否 | 动态硬盘扩容配置开关(0: 关闭,1: 开启) 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
StepForwardPercentage | Integer | 否 | 每次磁盘动态扩容大小百分比 注意:此字段可能返回 null,表示取不到有效值。 示例值:15 |
DiskQuotaPercentage | Integer | 否 | 磁盘配额百分比触发条件,即消息达到此值触发硬盘自动扩容事件 注意:此字段可能返回 null,表示取不到有效值。 示例值:70 |
MaxDiskSpace | Integer | 否 | 最大扩容硬盘大小,以 GB 为单位 注意:此字段可能返回 null,表示取不到有效值。 示例值:1000 |
DynamicRetentionTime
动态消息保留时间配置
被如下接口引用:DescribeInstanceAttributes, ModifyInstanceAttributes。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Enable | Integer | 否 | 动态消息保留时间配置开关(0: 关闭,1: 开启) 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
DiskQuotaPercentage | Integer | 否 | 磁盘配额百分比触发条件,即消息达到此值触发消息保留时间变更事件 注意:此字段可能返回 null,表示取不到有效值。 示例值:75 |
StepForwardPercentage | Integer | 否 | 每次向前调整消息保留时间百分比 注意:此字段可能返回 null,表示取不到有效值。 示例值:10 |
BottomRetention | Integer | 否 | 保底时长,单位分钟 注意:此字段可能返回 null,表示取不到有效值。 示例值:360 |
EsConnectParam
Es连接源参数
被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Port | Integer | 是 | Es的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
UserName | String | 是 | Es连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 是 | Es连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Resource | String | 是 | Es连接源的实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
SelfBuilt | Boolean | 是 | Es连接源是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
ServiceVip | String | 否 | Es连接源的实例vip,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | Es连接源的vpcId,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
EsModifyConnectParam
Es修改连接源参数
被如下接口引用:ModifyConnectResource。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 是 | Es连接源的实例资源【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Port | Integer | 否 | Es的连接port【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
ServiceVip | String | 否 | Es连接源的实例vip【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | Es连接源的vpcId【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
UserName | String | 否 | Es连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | Es连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
SelfBuilt | Boolean | 否 | Es连接源是否为自建集群【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
EsParam
Es类型入参
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 是 | Es实例资源Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Port | Integer | 否 | Es的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8099 |
UserName | String | 否 | Es用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | Es密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
SelfBuilt | Boolean | 否 | 是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
ServiceVip | String | 否 | 实例vip 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.30 |
UniqVpcId | String | 否 | 实例的vpcId 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
DropInvalidMessage | Boolean | 否 | Es是否抛弃解析失败的消息 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
Index | String | 否 | Es自定义index名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:index-test |
DateFormat | String | 否 | Es自定义日期后缀 注意:此字段可能返回 null,表示取不到有效值。 示例值:yyyy-MM-dd |
ContentKey | String | 否 | 非json格式数据的自定义key 注意:此字段可能返回 null,表示取不到有效值。 示例值:key-test |
DropInvalidJsonMessage | Boolean | 否 | Es是否抛弃非json格式的消息 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
DocumentIdField | String | 否 | 转储到Es中的文档ID取值字段名 注意:此字段可能返回 null,表示取不到有效值。 示例值:$.payload.name |
IndexType | String | 否 | Es自定义index名称的类型,STRING,JSONPATH,默认为STRING 注意:此字段可能返回 null,表示取不到有效值。 示例值:JSONPATH |
DropCls | DropCls | 否 | 当设置成员参数DropInvalidMessageToCls设置为true时,DropInvalidMessage参数失效 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"} |
DatabasePrimaryKey | String | 否 | 转储到ES的消息为Database的binlog时,如果需要同步数据库操作,即增删改的操作到ES时填写数据库表主键 注意:此字段可能返回 null,表示取不到有效值。 示例值:pk_test |
DropDlq | FailureParam | 否 | 死信队列 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":2,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"} |
RecordMappingList | Array of EsRecordMapping | 否 | 使用数据订阅格式导入 es 时,消息与 es 索引字段映射关系。不填默认为默认字段匹配 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"ColumnName":"column-test","JsonKey":"key-test"}] |
DateField | String | 否 | 消息要映射为 es 索引中 @timestamp 的字段,如果当前配置为空,则使用消息的时间戳进行映射 注意:此字段可能返回 null,表示取不到有效值。 示例值:create_timestamp |
RecordMappingMode | String | 否 | 用来区分当前索引映射,属于新建索引还是存量索引。"EXIST_MAPPING":从存量索引中选择;"NEW_MAPPING":新建索引 注意:此字段可能返回 null,表示取不到有效值。 示例值:EXIST_MAPPING |
EsRecordMapping
消息字段与 es 索引的映射关系
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
ColumnName | String | 否 | es 索引成员名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:column-test |
JsonKey | String | 否 | 消息字段名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:key-test |
EventBusParam
EventBus配置
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Type | String | 是 | 资源类型。COS/ES/CLS 示例值:COS |
SelfBuilt | Boolean | 是 | 是否为自建集群 示例值:false |
Resource | String | 是 | 实例资源 示例值:resource-test |
Namespace | String | 否 | SCF云函数命名空间 示例值:namespace-test |
FunctionName | String | 否 | SCF云函数函数名 示例值:function-test |
Qualifier | String | 否 | SCF云函数版本及别名 示例值:qualifier-test |
FailureParam
数据处理规则失败处理
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Type | String | 是 | 类型,DLQ死信队列,IGNORE_ERROR保留,DROP废弃 示例值:DLQ |
KafkaParam | KafkaParam | 否 | Ckafka类型死信队列 示例值:{"SelfBuilt":false,"Resource":"ckafka-test"} |
RetryInterval | Integer | 否 | 重试间隔 示例值:1 |
MaxRetryAttempts | Integer | 否 | 重试次数 示例值:2 |
TopicParam | TopicParam | 否 | DIP Topic类型死信队列 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Resource":"appId-test"} |
DlqType | String | 否 | 死信队列类型,CKAFKA,TOPIC 注意:此字段可能返回 null,表示取不到有效值。 示例值:TOPIC |
FieldParam
数据处理——处理链
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Analyse | AnalyseParam | 是 | 解析 示例值:{"Format":"JSON"} |
SecondaryAnalyse | SecondaryAnalyseParam | 否 | 二次解析 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Regex":","} |
SMT | Array of SMTParam | 否 | 数据处理 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Key":"key-test","Operate":"MAPPING","SchemeType":"ORIGINAL"}] |
Result | String | 否 | 测试结果 注意:此字段可能返回 null,表示取不到有效值。 示例值:result-test |
AnalyseResult | Array of SMTParam | 否 | 解析结果 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Key":"key-test","Operate":"MAPPING","SchemeType":"ORIGINAL"}] |
SecondaryAnalyseResult | Array of SMTParam | 否 | 二次解析结果 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Key":"key-test","Operate":"MAPPING","SchemeType":"ORIGINAL"}] |
AnalyseJsonResult | String | 否 | JSON格式解析结果 注意:此字段可能返回 null,表示取不到有效值。 示例值:result-test |
SecondaryAnalyseJsonResult | String | 否 | JSON格式二次解析结果 注意:此字段可能返回 null,表示取不到有效值。 示例值:result-test |
Filter
查询过滤器
描述键值对过滤器,用于条件过滤查询。例如过滤ID、名称、状态等
- 若存在多个
Filter
时,Filter
间的关系为逻辑与(AND
)关系。- 若同一个
Filter
存在多个Values
,同一Filter
下Values
间的关系为逻辑或(OR
)关系。
被如下接口引用:DescribeGroup, DescribeInstancesDetail, DescribeTopicDetail。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Name | String | 是 | 需要过滤的字段。 示例值:GroupState |
Values | Array of String | 是 | 字段的过滤值。 示例值:["Empty"] |
FilterMapParam
过滤器参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Key | String | 是 | Key值 示例值:key-test |
MatchMode | String | 是 | 匹配模式,前缀匹配PREFIX,后缀匹配SUFFIX,包含匹配CONTAINS,EXCEPT除外匹配,数值匹配NUMBER,IP匹配IP 示例值:PREFIX |
Value | String | 是 | Value值 示例值:value-test |
Type | String | 否 | 固定REGULAR 示例值:REGULAR |
Group
组实体
被如下接口引用:DescribeConsumerGroup。
名称 | 类型 | 描述 |
---|---|---|
GroupName | String | 消费分组名称 示例值:group-test |
GroupInfoMember
consumer信息
被如下接口引用:DescribeGroupInfo。
名称 | 类型 | 描述 |
---|---|---|
MemberId | String | coordinator 为消费分组中的消费者生成的唯一 ID 示例值:consumer-test |
ClientId | String | 客户消费者 SDK 自己设置的 client.id 信息 示例值:consumer-client-test |
ClientHost | String | 一般存储客户的 IP 地址 示例值:10.0.0.30 |
Assignment | Assignment | 存储着分配给该消费者的 partition 信息 示例值:{"Version":0,"Topics":[{"Topic":"topic-test","Partitions":[0]}]} |
GroupInfoResponse
GroupInfo返回数据的实体
被如下接口引用:DescribeGroupInfo, DescribeTopicSubscribeGroup。
名称 | 类型 | 描述 |
---|---|---|
ErrorCode | String | 错误码,正常为0 示例值:0 |
State | String | group 状态描述(常见的为 Empty、Stable、Dead 三种状态): Dead:消费分组不存在 Empty:消费分组,当前没有任何消费者订阅 PreparingRebalance:消费分组处于 rebalance 状态 CompletingRebalance:消费分组处于 rebalance 状态 Stable:消费分组中各个消费者已经加入,处于稳定状态 示例值:Stable |
ProtocolType | String | 消费分组选择的协议类型正常的消费者一般为 consumer 但有些系统采用了自己的协议如 kafka-connect 用的就是 connect。只有标准的 consumer 协议,本接口才知道具体的分配方式的格式,才能解析到具体的 partition 的分配情况 示例值:consumer |
Protocol | String | 消费者 partition 分配算法常见的有如下几种(Kafka 消费者 SDK 默认的选择项为 range):range、 roundrobin、 sticky 示例值:range |
Members | Array of GroupInfoMember | 仅当 state 为 Stable 且 protocol_type 为 consumer 时, 该数组才包含信息 示例值:[{"MemberId":"member-test","ClientId":"client-test","ClientHost":"10.0.0.5","Assignment":{"Version":1,"Topics":[{"Topic":"topic-test","Partitions":[0,1,2]}]}}] |
Group | String | 消费分组名称 示例值:group-test |
GroupInfoTopics
GroupInfo内部topic对象
被如下接口引用:DescribeGroupInfo。
名称 | 类型 | 描述 |
---|---|---|
Topic | String | 分配的 topic 名称 示例值:topic-test |
Partitions | Array of Integer | 分配的 partition 信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:[0] |
GroupOffsetPartition
组偏移量分区对象
被如下接口引用:DescribeDatahubGroupOffsets, DescribeGroupOffsets。
名称 | 类型 | 描述 |
---|---|---|
Partition | Integer | topic 的 partitionId 示例值:0 |
Offset | Integer | consumer 提交的 offset 位置 示例值:0 |
Metadata | String | 支持消费者提交消息时,传入 metadata 作为它用,当前一般为空字符串 注意:此字段可能返回 null,表示取不到有效值。 示例值:Metadata-test |
ErrorCode | Integer | 错误码 示例值:502 |
LogEndOffset | Integer | 当前 partition 最新的 offset 示例值:118 |
Lag | Integer | 未消费的消息个数 示例值:1 |
GroupOffsetResponse
消费组偏移量返回结果
被如下接口引用:DescribeDatahubGroupOffsets, DescribeGroupOffsets。
名称 | 类型 | 描述 |
---|---|---|
TotalCount | Integer | 符合调节的总结果数 示例值:1 |
TopicList | Array of GroupOffsetTopic | 该主题分区数组,其中每个元素为一个 json object 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Partitions":[{"ErrorCode":0,"Lag":1,"LogEndOffset":1,"Metadata":"","Offset":0,"Partition":0}],"Topic":"topic-test"}] |
GroupOffsetTopic
消费分组主题对象
被如下接口引用:DescribeDatahubGroupOffsets, DescribeGroupOffsets。
名称 | 类型 | 描述 |
---|---|---|
Topic | String | 主题名称 示例值:topic-test |
Partitions | Array of GroupOffsetPartition | 该主题分区数组,其中每个元素为一个 json object 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"partition":0,"offset":0,"logEndOffset":0,"lag":1,"errorCode":0,"metadata":"test"}] |
GroupResponse
DescribeGroup的返回
被如下接口引用:DescribeGroup。
名称 | 类型 | 描述 |
---|---|---|
TotalCount | Integer | 计数 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
GroupList | Array of DescribeGroup | GroupList 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Group":"group-test","Protocol":"consumer"}] |
GroupCountQuota | Integer | 消费分组配额 注意:此字段可能返回 null,表示取不到有效值。 示例值:300 |
InquireCkafkaPriceResp
InquireCkafkaPrice接口询价返回值
被如下接口引用:InquireCkafkaPrice。
名称 | 类型 | 描述 |
---|---|---|
InstancePrice | InquiryPrice | 实例价格 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"DetailPrices":null,"UnitPrice":190,"UnitPriceDiscount":57.56,"OriginalPrice":190,"DiscountPrice":7.56,"Discount":30.3,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":1} |
PublicNetworkBandwidthPrice | InquiryPrice | 公网带宽价格 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0} |
InquiryBasePrice
询价返回参数
被如下接口引用:InquireCkafkaPrice。
名称 | 类型 | 描述 |
---|---|---|
UnitPrice | Float | 单位原价 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.0 |
UnitPriceDiscount | Float | 折扣单位价格 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.0 |
OriginalPrice | Float | 合计原价 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.0 |
DiscountPrice | Float | 折扣合计价格 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.0 |
Discount | Float | 折扣(单位是%) 注意:此字段可能返回 null,表示取不到有效值。 示例值:100.0 |
GoodsNum | Integer | 商品数量 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
Currency | String | 付费货币 注意:此字段可能返回 null,表示取不到有效值。 示例值:CNY |
DiskType | String | 硬盘专用返回参数 注意:此字段可能返回 null,表示取不到有效值。 示例值:SSD |
TimeSpan | Integer | 购买时长 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
TimeUnit | String | 购买时长单位("m"按月, "h"按小时) 注意:此字段可能返回 null,表示取不到有效值。 示例值:m |
Value | Integer | 购买数量 注意:此字段可能返回 null,表示取不到有效值。 示例值:100 |
InquiryDetailPrice
详细类别的价格
被如下接口引用:InquireCkafkaPrice。
名称 | 类型 | 描述 |
---|---|---|
BandwidthPrice | InquiryBasePrice | 额外内网带宽价格 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0} |
DiskPrice | InquiryBasePrice | 硬盘价格 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"UnitPrice":175,"UnitPriceDiscount":50.1,"OriginalPrice":175,"DiscountPrice":50.1,"Discount":28.3,"GoodsNum":null,"Currency":null,"DiskType":"CLOUD_BASIC","TimeSpan":null,"TimeUnit":null,"Value":500} |
PartitionPrice | InquiryBasePrice | 额外分区价格 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0} |
TopicPrice | InquiryBasePrice | 额外Topic价格 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"DetailPrices":null,"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0} |
InstanceTypePrice | InquiryBasePrice | 实例套餐价格 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"DetailPrices":null,"UnitPrice":190,"UnitPriceDiscount":57.56,"OriginalPrice":190,"DiscountPrice":7.56,"Discount":30.3,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":1} |
InquiryDiskParam
购买硬盘参数
被如下接口引用:InquireCkafkaPrice。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
DiskType | String | 否 | 购买硬盘类型: SSD(SSD), CLOUD_SSD(SSD云硬盘), CLOUD_PREMIUM(高性能云硬盘), CLOUD_BASIC(云盘) 示例值:SSD |
DiskSize | Integer | 否 | 购买硬盘大小: 单位GB 示例值:1 |
InquiryPrice
询价返回参数
被如下接口引用:InquireCkafkaPrice。
名称 | 类型 | 描述 |
---|---|---|
UnitPrice | Float | 单位原价 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.0 |
UnitPriceDiscount | Float | 折扣单位价格 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.0 |
OriginalPrice | Float | 合计原价 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.0 |
DiscountPrice | Float | 折扣合计价格 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.0 |
Discount | Float | 折扣(单位是%) 注意:此字段可能返回 null,表示取不到有效值。 示例值:100.0 |
GoodsNum | Integer | 商品数量 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
Currency | String | 付费货币 注意:此字段可能返回 null,表示取不到有效值。 示例值:CNY |
DiskType | String | 硬盘专用返回参数 注意:此字段可能返回 null,表示取不到有效值。 示例值:SSD |
TimeSpan | Integer | 购买时长 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
TimeUnit | String | 购买时长单位("m"按月, "h"按小时) 注意:此字段可能返回 null,表示取不到有效值。 示例值:m |
Value | Integer | 购买数量 注意:此字段可能返回 null,表示取不到有效值。 示例值:100 |
DetailPrices | InquiryDetailPrice | 详细类别的价格 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"BandwidthPrice":{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0},"DiskPrice":{"UnitPrice":175,"UnitPriceDiscount":50.1,"OriginalPrice":175,"DiscountPrice":50.1,"Discount":28.3,"GoodsNum":null,"Currency":null,"DiskType":"CLOUD_BASIC","TimeSpan":null,"TimeUnit":null,"Value":500},"PartitionPrice":{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0},"TopicPrice":{"DetailPrices":null,"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0},"InstanceTypePrice":{"DetailPrices":null,"UnitPrice":190,"UnitPriceDiscount":57.56,"OriginalPrice":190,"DiscountPrice":7.56,"Discount":30.3,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":1}} |
InquiryPublicNetworkParam
公网带宽参数
被如下接口引用:InquireCkafkaPrice。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
PublicNetworkChargeType | String | 否 | 公网计费模式: BANDWIDTH_PREPAID(包年包月), BANDWIDTH_POSTPAID_BY_HOUR(带宽按小时计费) 示例值:BANDWIDTH_PREPAID |
PublicNetworkMonthly | Integer | 否 | 公网带宽, 单位MB 示例值:0 |
Instance
实例对象
被如下接口引用:DescribeInstances。
名称 | 类型 | 描述 |
---|---|---|
InstanceId | String | ckafka集群实例Id 示例值:ckafka-test |
InstanceName | String | ckafka集群实例Name 示例值:ckafka测试 |
Status | Integer | 实例的状态。0: 创建中,1: 运行中,2: 删除中, 3: 已删除, 5: 隔离中, 7: 升级中, -1: 创建失败 示例值:1 |
IfCommunity | Boolean | 是否开源实例。开源:true,不开源:false 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
InstanceAttributesResponse
实例属性返回结果对象
被如下接口引用:DescribeInstanceAttributes。
名称 | 类型 | 描述 |
---|---|---|
InstanceId | String | ckafka集群实例Id 示例值:ckafka-test |
InstanceName | String | ckafka集群实例Name 示例值:ckafka测试 |
VipList | Array of VipEntity | 接入点 VIP 列表信息 示例值:[{"Vip":"10.0.0.5","Vport":"9092"}] |
Vip | String | 虚拟IP 示例值:10.0.0.5 |
Vport | String | 虚拟端口 示例值:9092 |
Status | Integer | 实例的状态。0: 创建中,1: 运行中,2: 删除中, 3: 已删除, 5: 隔离中, 7: 升级中, -1: 创建失败 示例值:1 |
Bandwidth | Integer | 实例带宽,单位:Mbps 示例值:100 |
DiskSize | Integer | 实例的存储大小,单位:GB 示例值:200 |
ZoneId | Integer | 可用区 示例值:100003 |
VpcId | String | VPC 的 ID,为空表示是基础网络 示例值:vpc-test |
SubnetId | String | 子网 ID, 为空表示基础网络 示例值:subnet-test |
Healthy | Integer | 实例健康状态, 1:健康,2:告警,3:异常 示例值:1 |
HealthyMessage | String | 实例健康信息,当前会展示磁盘利用率,最大长度为256 示例值:healthy |
CreateTime | Integer | 创建时间 示例值:2019-08-19 00:00:00 |
MsgRetentionTime | Integer | 消息保存时间,单位为分钟 示例值:4320 |
Config | InstanceConfigDO | 自动创建 Topic 配置, 若该字段为空,则表示未开启自动创建 示例值:{"AutoCreateTopicsEnable":false,"DefaultNumPartitions":0,"DefaultReplicationFactor":0} |
RemainderPartitions | Integer | 剩余创建分区数 示例值:310 |
RemainderTopics | Integer | 剩余创建主题数 示例值:190 |
CreatedPartitions | Integer | 当前创建分区数 示例值:90 |
CreatedTopics | Integer | 当前创建主题数 示例值:10 |
Tags | Array of Tag | 标签数组 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}] |
ExpireTime | Integer | 过期时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:1566144000 |
ZoneIds | Array of Integer | 可用区列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[100003,100004] |
Version | String | ckafka集群实例版本 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.1.1 |
MaxGroupNum | Integer | 最大分组数 注意:此字段可能返回 null,表示取不到有效值。 示例值:500 |
Cvm | Integer | 售卖类型,0:标准版,1:专业版 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
InstanceType | String | 类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:profession |
Features | Array of String | 表示该实例支持的特性。FEATURE_SUBNET_ACL:表示acl策略支持设置子网。 注意:此字段可能返回 null,表示取不到有效值。 示例值:["FEATURE_TOPIC_QUOTA","CLOUD_EKS_TSE","CLOUD_EKS_CROS_ZONE","FEATURE_SASL_SCRAM"] |
RetentionTimeConfig | DynamicRetentionTime | 动态消息保留策略 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"BottomRetention":360,"DiskQuotaPercentage":75,"Enable":1,"StepForwardPercentage":10} |
MaxConnection | Integer | 最大连接数 注意:此字段可能返回 null,表示取不到有效值。 示例值:50000 |
PublicNetwork | Integer | 公网带宽 注意:此字段可能返回 null,表示取不到有效值。 示例值:3 |
DeleteRouteTimestamp | String | 时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:1566144000 |
RemainingPartitions | Integer | 剩余创建分区数 注意:此字段可能返回 null,表示取不到有效值。 示例值:310 |
RemainingTopics | Integer | 剩余创建主题数 注意:此字段可能返回 null,表示取不到有效值。 示例值:190 |
DynamicDiskConfig | DynamicDiskConfig | 动态硬盘扩容策略 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"DiskQuotaPercentage":75,"Enable":1,"MaxDiskSpace":500000,"StepForwardPercentage":10} |
InstanceChargeType | String | 实例计费类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:PREPAID |
ClusterType | String | 集群类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:CLOUD_CVM |
FreePartitionNumber | Integer | 免费分区数量 示例值:400 |
ElasticFloatBandwidth | Integer | 弹性带宽上浮值 注意:此字段可能返回 null,表示取不到有效值。 示例值:240 |
CustomCertId | String | ssl自定义证书id 示例值:cert-test |
UncleanLeaderElectionEnable | Integer | 集群topic默认 unclean.leader.election.enable配置: 1 开启 0 关闭 示例值:1 |
InstanceChargeParam
实例购买付费参数
被如下接口引用:InquireCkafkaPrice。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
InstanceChargeType | String | 否 | 实例付费类型: PREPAID(包年包月), POSTPAID_BY_HOUR(按量付费) 示例值:PREPAID |
InstanceChargePeriod | Integer | 否 | 购买时长: 包年包月时需要填写, 按量计费无需填写 示例值:1 |
InstanceConfigDO
实例配置实体
被如下接口引用:DescribeInstanceAttributes。
名称 | 类型 | 描述 |
---|---|---|
AutoCreateTopicsEnable | Boolean | 是否自动创建主题 示例值:false |
DefaultNumPartitions | Integer | 分区数 示例值:0 |
DefaultReplicationFactor | Integer | 默认的复制Factor 示例值:0 |
InstanceDeleteResponse
删除实例返回任务
被如下接口引用:DeleteInstancePost。
名称 | 类型 | 描述 |
---|---|---|
FlowId | Integer | 删除实例返回的任务Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:6970 |
InstanceDetail
实例详情
被如下接口引用:DescribeInstancesDetail。
名称 | 类型 | 描述 |
---|---|---|
InstanceId | String | ckafka集群实例Id 示例值:ckafka-test |
InstanceName | String | ckafka集群实例名称 示例值:ckafka测试 |
Vip | String | 访问实例的vip 信息 示例值:10.0.0.5 |
Vport | String | 访问实例的端口信息 示例值:9092 |
VipList | Array of VipEntity | 虚拟IP列表 示例值:[{"Vip":"10.0.0.5","Vport":"9092"}] |
Status | Integer | 实例的状态。0: 创建中,1: 运行中,2: 删除中, 3: 已删除, 5: 隔离中, 7: 升级中, -1: 创建失败 示例值:1 |
Bandwidth | Integer | 实例带宽,单位Mbps 示例值:300 |
DiskSize | Integer | ckafka集群实例磁盘大小,单位G 示例值:800 |
ZoneId | Integer | 可用区域ID 示例值:100003 |
VpcId | String | vpcId,如果为空,说明是基础网络 示例值:vpc-test |
SubnetId | String | 子网id 示例值:subnet-test |
RenewFlag | Integer | 实例是否续费,int 枚举值:1表示自动续费,2表示明确不自动续费 示例值:1 |
Healthy | Integer | 实例状态 int:1表示健康,2表示告警,3 表示实例状态异常 示例值:1 |
HealthyMessage | String | 实例状态信息 示例值:"健康" |
CreateTime | Integer | 实例创建时间 示例值:1566144000 |
ExpireTime | Integer | 实例过期时间 示例值:1566144000 |
IsInternal | Integer | 是否为内部客户。值为1 表示内部客户 示例值:1 |
TopicNum | Integer | Topic个数 示例值:10 |
Tags | Array of Tag | 标识tag 示例值:[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}] |
Version | String | kafka版本信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.1.1 |
ZoneIds | Array of Integer | 跨可用区 注意:此字段可能返回 null,表示取不到有效值。 示例值:[100003,100004] |
Cvm | Integer | ckafka售卖类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
InstanceType | String | ckafka集群实例类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:profession |
DiskType | String | ckafka集群实例磁盘类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:CLOUD_SSD |
MaxTopicNumber | Integer | 当前规格最大Topic数 注意:此字段可能返回 null,表示取不到有效值。 示例值:400 |
MaxPartitionNumber | Integer | 当前规格最大Partition数 注意:此字段可能返回 null,表示取不到有效值。 示例值:800 |
RebalanceTime | String | 计划升级配置时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:0000-00-00 00:00:00 |
PartitionNumber | Integer | 实例当前partition数量 注意:此字段可能返回 null,表示取不到有效值。 示例值:30 |
PublicNetworkChargeType | String | ckafka集群实例公网带宽类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:BANDWIDTH_PREPAID |
PublicNetwork | Integer | 公网带宽 最小3Mbps 最大999Mbps 仅专业版支持填写 注意:此字段可能返回 null,表示取不到有效值。 示例值:3 |
ClusterType | String | ckafka集群实例底层集群类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:CLOUD_CVM |
Features | Array of String | 实例功能列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:["FEATURE_UPDATE_PROFESSION"] |
InstanceDetailResponse
实例详情返回结果
被如下接口引用:DescribeInstancesDetail。
名称 | 类型 | 描述 |
---|---|---|
TotalCount | Integer | 符合条件的实例总数 示例值:1 |
InstanceList | Array of InstanceDetail | 符合条件的实例详情列表 示例值:[{"InstanceId":"ckafka-test","InstanceName":"ckafka测试","Vip":"10.0.0.5","Vport":"9092","VipList":[{"Vip":"10.0.0.5","Vport":"9092"}],"Status":1,"Bandwidth":800,"DiskSize":1000,"ZoneId":100003,"VpcId":"vpc-test","SubnetId":"subnet-test","RenewFlag":1,"Healthy":1,"HealthyMessage":"","CreateTime":1698981881,"ExpireTime":1730604281,"IsInternal":0,"TopicNum":24,"PartitionNumber":86,"Version":"1.1.1","Tags":[],"ZoneIds":[100003,100004],"Cvm":1,"InstanceType":"profession","DiskType":"CLOUD_BASIC","MaxTopicNumber":450,"MaxPartitionNumber":900,"RebalanceTime":"0000-00-00 00:00:00","PublicNetworkChargeType":"BANDWIDTH_PREPAID","PublicNetwork":3,"ClusterType":"CLOUD_CVM","Features":["FEATURE_SASL_SCRAM"],"AllowDowngrade":true,"StorageBillingType":"BILL_BY_MONTH_OR_YEAR","FreePartitionNumber":900}] |
InstanceQuotaConfigResp
实例 / topic 维度限流策略
被如下接口引用:DescribeTopicAttributes。
名称 | 类型 | 描述 |
---|---|---|
QuotaProducerByteRate | Integer | 生产限流大小,单位 MB/s 注意:此字段可能返回 null,表示取不到有效值。 示例值:30 |
QuotaConsumerByteRate | Integer | 消费限流大小,单位 MB/s 注意:此字段可能返回 null,表示取不到有效值。 示例值:30 |
InstanceResponse
聚合的实例状态返回结果
被如下接口引用:DescribeInstances。
名称 | 类型 | 描述 |
---|---|---|
InstanceList | Array of Instance | 符合条件的实例列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"InstanceId":"ckafka-test","InstanceName":"ckafka测试","IfCommunity":true,"Status":1}] |
TotalCount | Integer | 符合条件的结果总数 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
JgwOperateResponse
操作型结果返回值
被如下接口引用:BatchModifyGroupOffsets, CreateAcl, CreateConsumer, CreateInstancePost, CreatePartition, CreateRoute, CreateTopicIpWhiteList, CreateUser, DeleteAcl, DeleteDatahubTopic, DeleteGroup, DeleteRoute, DeleteTopic, DeleteTopicIpWhiteList, DeleteUser, ModifyDatahubTopic, ModifyGroupOffsets, ModifyInstanceAttributes, ModifyPassword, ModifyRoutineMaintenanceTask, ModifyTopicAttributes。
名称 | 类型 | 描述 |
---|---|---|
ReturnCode | String | 返回的code,0为正常,非0为错误 示例值:0 |
ReturnMessage | String | 成功消息 示例值:success |
Data | OperateResponseData | 操作型返回的Data数据,可能有flowId等 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"FlowId": 500201,"RouteDTO":{"RouteId":301}} |
JsonPathReplaceParam
数据处理——Value处理参数——Jsonpath替换参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
OldValue | String | 是 | 被替换值,Jsonpath表达式 示例值:$.old |
NewValue | String | 是 | 替换值,Jsonpath表达式或字符串 示例值:$.new |
KVParam
key-value二次解析
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Delimiter | String | 是 | 分隔符 示例值:; |
Regex | String | 是 | key-value二次解析分隔符 示例值:= |
KeepOriginalKey | String | 否 | 保留源Key,默认为false不保留 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
KafkaConnectParam
Kafka连接源参数
被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources, ModifyConnectResource。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 否 | Kafka连接源的实例资源, 非自建时必填,NetworkType=VPC时传clb实例id 注意:此字段可能返回 null,表示取不到有效值。 示例值:ckafka-test |
SelfBuilt | Boolean | 否 | 是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
IsUpdate | Boolean | 否 | 是否更新到关联的Dip任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
BrokerAddress | String | 否 | Kafka连接的broker地址, NetworkType=PUBLIC公网时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.30:9092,10.0.0.31:9092 |
Region | String | 否 | CKafka连接源的实例资源地域, 跨地域时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:ap-guangzhou |
KafkaParam
Ckafka配置
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
SelfBuilt | Boolean | 是 | 是否为自建集群 示例值:false |
Resource | String | 是 | ckafka集群实例Id 示例值:ckafka-test |
Topic | String | 否 | 主题名,多个以“,”分隔 示例值:topic-test |
OffsetType | String | 否 | Offset类型,最开始位置earliest,最新位置latest,时间点位置timestamp 注意:此字段可能返回 null,表示取不到有效值。 示例值:timestamp |
StartTime | Integer | 否 | Offset类型为timestamp时必传,传时间戳,精确到秒 注意:此字段可能返回 null,表示取不到有效值。 示例值:1566144000 |
ResourceName | String | 否 | 实例资源名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:ckafka测试 |
ZoneId | Integer | 否 | 可用区 注意:此字段可能返回 null,表示取不到有效值。 示例值:100003 |
TopicId | String | 否 | 主题Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
PartitionNum | Integer | 否 | Topic的分区数 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
EnableToleration | Boolean | 否 | 启用容错实例/开启死信队列 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
QpsLimit | Integer | 否 | Qps 限制 注意:此字段可能返回 null,表示取不到有效值。 示例值:4000 |
TableMappings | Array of TableMapping | 否 | Table到Topic的路由,「分发到多个topic」开关打开时必传 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Database":"db1","Table":"table1","Topic":"topic1","TopicId":"topic-id"}] |
UseTableMapping | Boolean | 否 | 「分发到多个topic」开关,默认为false 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
UseAutoCreateTopic | Boolean | 否 | 使用的Topic是否需要自动创建(目前只支持SOURCE流入任务,如果不使用分发到多个topic,需要在Topic字段填写需要自动创建的topic名) 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
CompressionType | String | 否 | 写入Topic时是否进行压缩,不开启填"none",开启的话,填写"open"。 注意:此字段可能返回 null,表示取不到有效值。 示例值:none |
MsgMultiple | Integer | 否 | 源topic消息1条扩增成msgMultiple条写入目标topic(该参数目前只有ckafka流入ckafka适用) 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
ConnectorSyncType | String | 否 | 数据同步专用参数, 正常数据处理可为空, 实例级别同步: 仅同步元数据填写"META_SYNC_INSTANCE_TYPE", 同步元数据及全部topic内消息的填写"META_AND_DATA_SYNC_INSTANCE_TYPE"; topic级别同步: 选中的源和目标topic中的消息(需要目标实例也包含该topic)填写"DATA_SYNC_TYPE" 注意:此字段可能返回 null,表示取不到有效值。 示例值:DATA_SYNC_TYPE |
KeepPartition | Boolean | 否 | 数据同步专用参数, 当通过时,希望下游的消息写入分区与上游的一致,则填true,但下游分区小于上游时,会报错; 不需要一致则为false, 默认为false 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
TopicRegularExpression | String | 否 | 正则匹配Topic列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:mytest |
LowercaseParam
小写字符解析
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|
MapParam
Map参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Key | String | 是 | key值 示例值:key-test |
Type | String | 否 | 类型,DEFAULT默认,DATE系统预设-时间戳,CUSTOMIZE自定义,MAPPING映射 示例值:DEFAULT |
Value | String | 否 | 值 示例值:value-test |
MariaDBConnectParam
MariaDB连接源参数
被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Port | Integer | 是 | MariaDB的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
UserName | String | 是 | MariaDB连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 是 | MariaDB连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Resource | String | 是 | MariaDB连接源的实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
ServiceVip | String | 否 | MariaDB连接源的实例vip,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | MariaDB连接源的vpcId,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
MariaDBModifyConnectParam
MariaDB连接源参数
被如下接口引用:ModifyConnectResource。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 是 | MariaDB连接源的实例资源【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Port | Integer | 否 | MariaDB的连接port【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
ServiceVip | String | 否 | MariaDB连接源的实例vip【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | MariaDB连接源的vpcId【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
UserName | String | 否 | MariaDB连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | MariaDB连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
MariaDBParam
MariaDB类型入参
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Database | String | 是 | MariaDB的数据库名称,"*"为全数据库 注意:此字段可能返回 null,表示取不到有效值。 示例值:database-test |
Table | String | 是 | MariaDB的数据表名称,"*"为所监听的所有数据库中的非系统表,可以","间隔,监听多个数据表,但数据表需要以"数据库名.数据表名"的格式进行填写 注意:此字段可能返回 null,表示取不到有效值。 示例值:table-test |
Resource | String | 是 | 该MariaDB在连接管理内的Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
SnapshotMode | String | 否 | 复制存量信息(schema_only不复制, initial全量),默认值initial 注意:此字段可能返回 null,表示取不到有效值。 示例值:initial |
KeyColumns | String | 否 | 格式:库1.表1:字段1,字段2;库2.表2:字段2,表之间;(分号)隔开,字段之间,(逗号)隔开。不指定的表默认取表的主键 注意:此字段可能返回 null,表示取不到有效值。 示例值:db1.table2.k1,k2 |
IsTablePrefix | Boolean | 否 | 当Table输入的是前缀时,该项值为true,否则为false 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
OutputFormat | String | 否 | 输出格式,DEFAULT、CANAL_1、CANAL_2 注意:此字段可能返回 null,表示取不到有效值。 示例值:DEFAULT |
IncludeContentChanges | String | 否 | 如果该值为all,则DDL数据以及DML数据也会写入到选中的topic;若该值为dml,则只有DML数据写入到选中的topic 注意:此字段可能返回 null,表示取不到有效值。 示例值:all |
IncludeQuery | Boolean | 否 | 如果该值为true,且MySQL中"binlog_rows_query_log_events"配置项的值为"ON",则流入到topic的数据包含原SQL语句;若该值为false,流入到topic的数据不包含原SQL语句 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
RecordWithSchema | Boolean | 否 | 如果该值为 true,则消息中会携带消息结构体对应的schema,如果该值为false则不会携带 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
ModifyInstanceAttributesConfig
修改实例属性的配置对象
被如下接口引用:ModifyInstanceAttributes。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
AutoCreateTopicEnable | Boolean | 否 | 自动创建 true 表示开启,false 表示不开启 示例值:true |
DefaultNumPartitions | Integer | 否 | 可选,如果auto.create.topic.enable设置为true没有设置该值时,默认设置为3 示例值:3 |
DefaultReplicationFactor | Integer | 否 | 如果auto.create.topic.enable设置为true没有指定该值时默认设置为2 示例值:2 |
MongoDBConnectParam
MongoDB连接源参数
被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Port | Integer | 是 | MongoDB的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
UserName | String | 是 | MongoDB连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 是 | MongoDB连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Resource | String | 是 | MongoDB连接源的实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
SelfBuilt | Boolean | 是 | MongoDB连接源是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
ServiceVip | String | 否 | MongoDB连接源的实例vip,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | MongoDB连接源的vpcId,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
MongoDBModifyConnectParam
MongoDB修改连接源参数
被如下接口引用:ModifyConnectResource。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 是 | MongoDB连接源的实例资源【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Port | Integer | 否 | MongoDB的连接port【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
ServiceVip | String | 否 | MongoDB连接源的实例vip【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | MongoDB连接源的vpcId【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
UserName | String | 否 | MongoDB连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | MongoDB连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
SelfBuilt | Boolean | 否 | MongoDB连接源是否为自建集群【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
MongoDBParam
MongoDB类型入参
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Database | String | 是 | MongoDB的数据库名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:database-test |
Collection | String | 是 | MongoDB的集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:collection-test |
CopyExisting | Boolean | 是 | 是否复制存量数据,默认传参true 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
Resource | String | 是 | 实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Ip | String | 否 | MongoDB的连接ip 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.5 |
Port | Integer | 否 | MongoDB的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8099 |
UserName | String | 否 | MongoDB数据库用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | MongoDB数据库密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
ListeningEvent | String | 否 | 监听事件类型,为空时表示全选。取值包括insert,update,replace,delete,invalidate,drop,dropdatabase,rename,多个类型间使用,逗号分隔 注意:此字段可能返回 null,表示取不到有效值。 示例值:insert,update |
ReadPreference | String | 否 | 主从优先级,默认主节点 注意:此字段可能返回 null,表示取不到有效值。 示例值:主节点 |
Pipeline | String | 否 | 聚合管道 注意:此字段可能返回 null,表示取不到有效值。 示例值:pipeline-test |
SelfBuilt | Boolean | 否 | 是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
MqttConnectParam
MQTT连接源参数
被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources, ModifyConnectResource。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
UserName | String | 是 | MQTT连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 是 | MQTT连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Resource | String | 是 | MQTT连接源的实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
UniqVpcId | String | 是 | MQTT Instance vpc-id 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
SelfBuilt | Boolean | 否 | 是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
IsUpdate | Boolean | 否 | 是否更新到关联的Dip任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
Region | String | 否 | MQTT连接源的实例资源地域, 跨地域时必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:ap-guangzhou |
MqttParam
创建MQTT 为Source的Data Hub Task参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Topics | String | 是 | 需要同步的MQTT Topic列表, CSV格式 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
CleanSession | Boolean | 是 | MQTT clean-session 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
Resource | String | 否 | MQTT instance-id 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Ip | String | 否 | MQTT实例VIP 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.5 |
Port | Integer | 否 | MQTT VIP 端口 注意:此字段可能返回 null,表示取不到有效值。 示例值:1883 |
UserName | String | 否 | MQTT实例用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | MQTT实例内账户密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Qos | Integer | 否 | QoS 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
MaxTasks | Integer | 否 | tasks.max 订阅Topic的并发Task个数, 默认为1; 当设置大于1时, 使用Shared Subscription 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
ServiceVip | String | 否 | MQTT 实例的Service VIP 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.30 |
UniqVpcId | String | 否 | MQTT实例的VPC ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
SelfBuilt | Boolean | 否 | 是否为自建集群, MQTT只支持非自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
MySQLConnectParam
MySQL连接源参数
被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Port | Integer | 是 | MySQL的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
UserName | String | 是 | MySQL连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 是 | MySQL连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Resource | String | 是 | MySQL连接源的实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
ServiceVip | String | 否 | MySQL连接源的实例vip,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | MySQL连接源的vpcId,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
ClusterId | String | 否 | 当type为TDSQL_C_MYSQL时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:cynosdbmysql-test |
SelfBuilt | Boolean | 否 | Mysql 连接源是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
MySQLModifyConnectParam
MySQL修改连接源参数
被如下接口引用:ModifyConnectResource。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 是 | MySQL连接源的实例资源【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Port | Integer | 否 | MySQL的连接port【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
ServiceVip | String | 否 | MySQL连接源的实例vip【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | MySQL连接源的vpcId【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
UserName | String | 否 | MySQL连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | MySQL连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
ClusterId | String | 否 | 当type为TDSQL_C_MYSQL时 注意:此字段可能返回 null,表示取不到有效值。 示例值:cynosdbmysql-test |
SelfBuilt | Boolean | 否 | 是否是自建的集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
MySQLParam
MySQL类型入参
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Database | String | 是 | MySQL的数据库名称,"*"为全数据库 注意:此字段可能返回 null,表示取不到有效值。 示例值:database-test |
Table | String | 是 | MySQL的数据表名称,"*"为所监听的所有数据库中的非系统表,可以","间隔,监听多个数据表,但数据表需要以"数据库名.数据表名"的格式进行填写,需要填入正则表达式时,格式为"数据库名\.数据表名" 注意:此字段可能返回 null,表示取不到有效值。 示例值:table-test |
Resource | String | 是 | 该MySQL在连接管理内的Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
SnapshotMode | String | 否 | 复制存量信息(schema_only不复制, initial全量),默认值initial 注意:此字段可能返回 null,表示取不到有效值。 示例值:initial |
DdlTopic | String | 否 | 存放MySQL的Ddl信息的Topic,为空则默认不存放 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
DataSourceMonitorMode | String | 否 | "TABLE" 表示读取项为 table,"QUERY" 表示读取项为 query 注意:此字段可能返回 null,表示取不到有效值。 示例值:TABLE |
DataSourceMonitorResource | String | 否 | 当 "DataMonitorMode"="TABLE" 时,传入需要读取的 Table;当 "DataMonitorMode"="QUERY" 时,传入需要读取的查询 sql 语句 注意:此字段可能返回 null,表示取不到有效值。 示例值:table-test |
DataSourceIncrementMode | String | 否 | "TIMESTAMP" 表示增量列为时间戳类型,"INCREMENT" 表示增量列为自增 id 类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:TIMESTAMP |
DataSourceIncrementColumn | String | 否 | 传入需要监听的列名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:column_test |
DataSourceStartFrom | String | 否 | "HEAD" 表示复制存量 + 增量数据,"TAIL" 表示只复制增量数据 注意:此字段可能返回 null,表示取不到有效值。 示例值:HEAD |
DataTargetInsertMode | String | 否 | "INSERT" 表示使用 Insert 模式插入,"UPSERT" 表示使用 Upsert 模式插入 注意:此字段可能返回 null,表示取不到有效值。 示例值:INSERT |
DataTargetPrimaryKeyField | String | 否 | 当 "DataInsertMode"="UPSERT" 时,传入当前 upsert 时依赖的主键 注意:此字段可能返回 null,表示取不到有效值。 示例值:id |
DataTargetRecordMapping | Array of RecordMapping | 否 | 表与消息间的映射关系 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}] |
TopicRegex | String | 否 | 事件路由到特定主题的正则表达式,默认为(.) 注意:此字段可能返回 null,表示取不到有效值。 示例值:(.).db.(.*) |
TopicReplacement | String | 否 | TopicRegex的引用组,指定$1、$2等 注意:此字段可能返回 null,表示取不到有效值。 示例值:$1 |
KeyColumns | String | 否 | 格式:库1.表1:字段1,字段2;库2.表2:字段2,表之间;(分号)隔开,字段之间,(逗号)隔开。不指定的表默认取表的主键 注意:此字段可能返回 null,表示取不到有效值。 示例值:db1.table2.k1,k2 |
DropInvalidMessage | Boolean | 否 | Mysql 是否抛弃解析失败的消息,默认为true 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
DropCls | DropCls | 否 | 当设置成员参数DropInvalidMessageToCls设置为true时,DropInvalidMessage参数失效 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"} |
OutputFormat | String | 否 | 输出格式,DEFAULT、CANAL_1、CANAL_2 注意:此字段可能返回 null,表示取不到有效值。 示例值:DEFAULT |
IsTablePrefix | Boolean | 否 | 当Table输入的是前缀时,该项值为true,否则为false 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
IncludeContentChanges | String | 否 | 如果该值为all,则DDL数据以及DML数据也会写入到选中的topic;若该值为dml,则只有DML数据写入到选中的topic 注意:此字段可能返回 null,表示取不到有效值。 示例值:all |
IncludeQuery | Boolean | 否 | 如果该值为true,且MySQL中"binlog_rows_query_log_events"配置项的值为"ON",则流入到topic的数据包含原SQL语句;若该值为false,流入到topic的数据不包含原SQL语句 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
RecordWithSchema | Boolean | 否 | 如果该值为 true,则消息中会携带消息结构体对应的schema,如果该值为false则不会携带 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
SignalDatabase | String | 否 | 存放信令表的数据库名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:database-test |
IsTableRegular | Boolean | 否 | 输入的table是否为正则表达式,如果该选项以及IsTablePrefix同时为true,该选项的判断优先级高于IsTablePrefix 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
SignalTable | String | 否 | 信号表 注意:此字段可能返回 null,表示取不到有效值。 示例值:table-test |
DateTimeZone | String | 否 | datetime 类型字段转换为时间戳的时区 注意:此字段可能返回 null,表示取不到有效值。 示例值:UTC+8 |
SelfBuilt | Boolean | 否 | 自建 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
OperateResponseData
操作类型返回的Data结构
被如下接口引用:BatchModifyGroupOffsets, CreateAcl, CreateConsumer, CreateInstancePost, CreatePartition, CreatePrometheus, CreateRoute, CreateTopicIpWhiteList, CreateUser, DeleteAcl, DeleteDatahubTopic, DeleteGroup, DeleteRoute, DeleteTopic, DeleteTopicIpWhiteList, DeleteUser, ModifyDatahubTopic, ModifyGroupOffsets, ModifyInstanceAttributes, ModifyPassword, ModifyRoutineMaintenanceTask, ModifyTopicAttributes。
名称 | 类型 | 描述 |
---|---|---|
FlowId | Integer | 流程Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:500201 |
RouteDTO | RouteDTO | RouteIdDto 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"RouteId":301} |
Partition
分区实体
被如下接口引用:DescribeConsumerGroup。
名称 | 类型 | 描述 |
---|---|---|
PartitionId | Integer | 分区ID 示例值:0 |
PartitionOffset
分区和位移
被如下接口引用:DescribeConsumerGroup。
名称 | 类型 | 描述 |
---|---|---|
Partition | String | 分区 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
Offset | Integer | 位点偏移量 注意:此字段可能返回 null,表示取不到有效值。 示例值:20 |
Partitions
partition信息
被如下接口引用:BatchModifyGroupOffsets。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Partition | Integer | 是 | 分区 示例值:0 |
Offset | Integer | 是 | partition 消费位移 示例值:1 |
PostgreSQLConnectParam
PostgreSQL连接源参数
被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Port | Integer | 是 | PostgreSQL的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
UserName | String | 是 | PostgreSQL连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 是 | PostgreSQL连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Resource | String | 是 | PostgreSQL连接源的实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
ServiceVip | String | 否 | PostgreSQL连接源的实例vip,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | PostgreSQL连接源的vpcId,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
ClusterId | String | 否 | 当type为TDSQL_C_POSTGRESQL时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:tdcpg-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
SelfBuilt | Boolean | 否 | PostgreSQL连接源是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
PostgreSQLModifyConnectParam
PostgreSQL修改连接源参数
被如下接口引用:ModifyConnectResource。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 是 | PostgreSQL连接源的实例资源【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Port | Integer | 否 | PostgreSQL的连接port【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
ServiceVip | String | 否 | PostgreSQL连接源的实例vip【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | PostgreSQL连接源的vpcId【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
UserName | String | 否 | PostgreSQL连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | PostgreSQL连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
ClusterId | String | 否 | 当type为TDSQL_C_POSTGRESQL时,该参数才有值【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:tdcpg-xxx |
IsUpdate | Boolean | 否 | 是否更新到关联的Datahub任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
SelfBuilt | Boolean | 否 | 是否为自建集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
PostgreSQLParam
PostgreSQL类型入参
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Database | String | 是 | PostgreSQL的数据库名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:database-test |
Table | String | 是 | PostgreSQL的数据表名称,"*"为所监听的所有数据库中的非系统表,可以","间隔,监听多个数据表,但数据表需要以"Schema名.数据表名"的格式进行填写,需要填入正则表达式时,格式为"Schema名\.数据表名" 注意:此字段可能返回 null,表示取不到有效值。 示例值:SchemaName.Tabletest |
Resource | String | 是 | 该PostgreSQL在连接管理内的Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
PluginName | String | 是 | 插件名(decoderbufs/pgoutput),默认为decoderbufs 注意:此字段可能返回 null,表示取不到有效值。 示例值:decoderbufs |
SnapshotMode | String | 否 | 复制存量信息(never增量, initial全量),默认为initial 注意:此字段可能返回 null,表示取不到有效值。 示例值:initial |
DataFormat | String | 否 | 上游数据格式(JSON/Debezium), 当数据库同步模式为默认字段匹配时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:JSON |
DataTargetInsertMode | String | 否 | "INSERT" 表示使用 Insert 模式插入,"UPSERT" 表示使用 Upsert 模式插入 注意:此字段可能返回 null,表示取不到有效值。 示例值:INSERT |
DataTargetPrimaryKeyField | String | 否 | 当 "DataInsertMode"="UPSERT" 时,传入当前 upsert 时依赖的主键 注意:此字段可能返回 null,表示取不到有效值。 示例值:id |
DataTargetRecordMapping | Array of RecordMapping | 否 | 表与消息间的映射关系 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}] |
DropInvalidMessage | Boolean | 否 | 是否抛弃解析失败的消息,默认为true 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
IsTableRegular | Boolean | 否 | 输入的table是否为正则表达式 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
KeyColumns | String | 否 | 格式:库1.表1:字段1,字段2;库2.表2:字段2,表之间;(分号)隔开,字段之间,(逗号)隔开。不指定的表默认取表的主键 注意:此字段可能返回 null,表示取不到有效值。 示例值:db1.table2.k1,k2 |
RecordWithSchema | Boolean | 否 | 如果该值为 true,则消息中会携带消息结构体对应的schema,如果该值为false则不会携带 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
Price
消息价格实体
被如下接口引用:DescribeCkafkaZone。
名称 | 类型 | 描述 |
---|---|---|
RealTotalCost | Float | 折扣价 示例值:0 |
TotalCost | Float | 原价 示例值:0 |
PrivateLinkParam
建立私有连接的参数
被如下接口引用:CreateDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
ServiceVip | String | 是 | 客户实例的vip 示例值:10.0.0.30 |
UniqVpcId | String | 是 | 客户实例的vpcId 示例值:vpc-test |
PrometheusDTO
普罗米修斯打通的vipVport
被如下接口引用:DescribePrometheus。
名称 | 类型 | 描述 |
---|---|---|
Type | String | export类型(jmx_export\node_export) 示例值:jmx_export |
SourceIp | String | vip 示例值:10.0.0.5 |
SourcePort | Integer | vport 示例值:9090 |
BrokerIp | String | broker地址 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.30 |
VpcId | String | VPC ID信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
SubnetId | String | 子网ID信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:subnet-test |
PrometheusResult
Prometheus 监控返回
被如下接口引用:CreatePrometheus。
名称 | 类型 | 描述 |
---|---|---|
ReturnCode | String | 返回的code,0为正常,非0为错误 示例值:0 |
ReturnMessage | String | 成功消息 示例值:success |
Data | OperateResponseData | 操作型返回的Data数据,可能有flowId等 示例值:{"FlowId":0} |
RecordMapping
record 与数据库表的映射关系
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
JsonKey | String | 否 | 消息的 key 名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:test-key |
Type | String | 否 | 消息类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:Integer |
AllowNull | Boolean | 否 | 消息是否允许为空 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
ColumnName | String | 否 | 对应映射列名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:column_test |
ExtraInfo | String | 否 | 数据库表额外字段 注意:此字段可能返回 null,表示取不到有效值。 示例值:AUTO_INCREMENT COMMENT 'ID' |
ColumnSize | String | 否 | 当前列大小 注意:此字段可能返回 null,表示取不到有效值。 示例值:32 |
DecimalDigits | String | 否 | 当前列精度 注意:此字段可能返回 null,表示取不到有效值。 示例值:10 |
AutoIncrement | Boolean | 否 | 是否为自增列 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
DefaultValue | String | 否 | 数据库表默认参数 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
RegexReplaceParam
数据处理——Value处理参数——正则替换参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Regex | String | 是 | 正则表达式 示例值:^[0-9]*$ |
NewValue | String | 是 | 替换新值 示例值:newValue-test |
Region
地域实体对象
被如下接口引用:DescribeRegion。
名称 | 类型 | 描述 |
---|---|---|
RegionId | Integer | 地域ID 示例值:1 |
RegionName | String | 地域名称 示例值:广州 |
AreaName | String | 区域名称 示例值:华南地区 |
RegionCode | String | 地域代码 注意:此字段可能返回 null,表示取不到有效值。 示例值:gz |
RegionCodeV3 | String | 地域代码(V3版本) 注意:此字段可能返回 null,表示取不到有效值。 示例值:ap-guangzhou |
Support | String | NONE:默认值不支持任何特殊类型 实例类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:profession |
Ipv6 | Integer | 是否支持ipv6, 0:表示不支持,1:表示支持 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
MultiZone | Integer | 是否支持跨可用区, 0:表示不支持,1:表示支持 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
RenewCkafkaInstanceResp
RenewCkafkaInstance接口出参bigDealIds
被如下接口引用:RenewCkafkaInstance。
名称 | 类型 | 描述 |
---|---|---|
BigDealId | String | 订单号 注意:此字段可能返回 null,表示取不到有效值。 示例值:20190819000001 |
DealName | String | 子订单号 注意:此字段可能返回 null,表示取不到有效值。 示例值:20190819000002 |
ReplaceParam
数据处理——Value处理参数——替换参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
OldValue | String | 是 | 被替换值 示例值:value-old |
NewValue | String | 是 | 替换值 示例值:value-new |
Route
路由实体对象
被如下接口引用:DescribeRoute。
名称 | 类型 | 描述 |
---|---|---|
AccessType | Integer | 实例接入方式 0:PLAINTEXT (明文方式,没有带用户信息老版本及社区版本都支持) 1:SASL_PLAINTEXT(明文方式,不过在数据开始时,会通过SASL方式登录鉴权,仅社区版本支持) 2:SSL(SSL加密通信,没有带用户信息,老版本及社区版本都支持) 3:SASL_SSL(SSL加密通信,在数据开始时,会通过SASL方式登录鉴权,仅社区版本支持) 示例值:1 |
RouteId | Integer | 路由Id 示例值:301 |
VipType | Integer | vip网络类型(1:外网TGW 2:基础网络 3:VPC网络 4:支撑网络(idc 环境) 5:SSL外网访问方式访问 6:黑石环境vpc 7:支撑网络(cvm 环境) 示例值:1 |
VipList | Array of VipEntity | 虚拟IP列表 示例值:[{"Vip":"10.0.0.5","Vport":"9092"}] |
Domain | String | 域名 注意:此字段可能返回 null,表示取不到有效值。 示例值:tencent.com |
DomainPort | Integer | 域名port 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
DeleteTimestamp | String | 时间戳 注意:此字段可能返回 null,表示取不到有效值。 示例值:2019-08-19 00:00:00 |
Subnet | String | 子网Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:subnet-test |
BrokerVipList | Array of VipEntity | 虚拟IP列表(1对1 broker节点) 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Vip":"10.0.0.5","Vport":"9092"}] |
VpcId | String | 私有网络Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
RouteDTO
RouteDTO
被如下接口引用:BatchModifyGroupOffsets, CreateAcl, CreateConsumer, CreateInstancePost, CreatePartition, CreatePrometheus, CreateRoute, CreateTopicIpWhiteList, CreateUser, DeleteAcl, DeleteDatahubTopic, DeleteGroup, DeleteRoute, DeleteTopic, DeleteTopicIpWhiteList, DeleteUser, ModifyDatahubTopic, ModifyGroupOffsets, ModifyInstanceAttributes, ModifyPassword, ModifyRoutineMaintenanceTask, ModifyTopicAttributes。
名称 | 类型 | 描述 |
---|---|---|
RouteId | Integer | 路由Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:301 |
RouteResponse
路由信息返回对象
被如下接口引用:DescribeRoute。
名称 | 类型 | 描述 |
---|---|---|
Routers | Array of Route | 路由信息列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"AccessType":0,"RouteId":301,"VipType":3,"VipList":[{"Vip":"1.0.0.5","Vport":"9092"}],"Domain":"","DomainPort":0,"DeleteTimestamp":1566144000,"InternalFlag":0,"UsedFor":"","Subnet":"subnet-test","BrokerVipList":[{"Vip":"1.0.0.5","Vport":"9093"},{"Vip":"1.0.0.5","Vport":"9094"},{"Vip":"1.0.0.5","Vport":"9095"}],"Processing":1,"VpcId":"vpc-test"}] |
RowParam
数据处理ROW输出格式配置
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
RowContent | String | 是 | 行内容,KEY_VALUE,VALUE 示例值:KEY_VALUE |
KeyValueDelimiter | String | 否 | key和value间的分隔符 注意:此字段可能返回 null,表示取不到有效值。 示例值:= |
EntryDelimiter | String | 否 | 元素建的分隔符 注意:此字段可能返回 null,表示取不到有效值。 示例值:& |
SMTParam
数据处理——数据处理参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Key | String | 是 | 数据处理KEY 示例值:key-test |
Operate | String | 是 | 操作,DATE系统预设-时间戳,CUSTOMIZE自定义,MAPPING映射,JSONPATH 示例值:MAPPING |
SchemeType | String | 是 | 数据类型,ORIGINAL原始,STRING,INT64,FLOAT64,BOOLEAN,MAP,ARRAY 示例值:ORIGINAL |
Value | String | 否 | 数据处理VALUE 注意:此字段可能返回 null,表示取不到有效值。 示例值:value-test |
ValueOperate | ValueParam | 否 | VALUE处理 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Date":{"Format":"yyyy-MM-dd HH:mm:ss"},"Substr":{"Start":0,"End":1},"Type":"type-test","Replace":{"NewValue":"value-new","OldValue":"value-old"}} |
OriginalValue | String | 否 | 原始VALUE 注意:此字段可能返回 null,表示取不到有效值。 示例值:value-test |
ValueOperates | Array of ValueParam | 否 | VALUE处理链 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Date":{"Format":"yyyy-MM-dd HH:mm:ss"},"Substr":{"Start":0,"End":1},"Type":"type-test","Replace":{"NewValue":"value-new","OldValue":"value-old"}}] |
SQLServerConnectParam
SQLServer连接源参数
被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Port | Integer | 是 | SQLServer的连接port 注意:此字段可能返回 null,表示取不到有效值。 示例值:1433 |
UserName | String | 是 | SQLServer连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 是 | SQLServer连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
Resource | String | 是 | SQLServer连接源的实例资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
ServiceVip | String | 否 | SQLServer连接源的实例vip,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | SQLServer连接源的vpcId,当为腾讯云实例时,必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Dip任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
SQLServerModifyConnectParam
SQLServer修改连接源参数
被如下接口引用:ModifyConnectResource。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 是 | SQLServer连接源的实例资源【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
Port | Integer | 否 | SQLServer的连接port【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:1433 |
ServiceVip | String | 否 | SQLServer连接源的实例vip【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.31 |
UniqVpcId | String | 否 | SQLServer连接源的vpcId【不支持修改】 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-test |
UserName | String | 否 | SQLServer连接源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:username-test |
Password | String | 否 | SQLServer连接源的密码 注意:此字段可能返回 null,表示取不到有效值。 示例值:password-test |
IsUpdate | Boolean | 否 | 是否更新到关联的Dip任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
SQLServerParam
SQLServer类型入参
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Database | String | 是 | SQLServer的数据库名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:database-test |
Table | String | 是 | SQLServer的数据表名称,"*"为所监听的所有数据库中的非系统表,可以","间隔,监听多个数据表,但数据表需要以"数据库名.数据表名"的格式进行填写 注意:此字段可能返回 null,表示取不到有效值。 示例值: DatabaseName.Tabletest |
Resource | String | 是 | 该SQLServer在连接管理内的Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:resource-test |
SnapshotMode | String | 否 | 复制存量信息(schema_only增量, initial全量),默认为initial 注意:此字段可能返回 null,表示取不到有效值。 示例值:initial |
SaleInfo
标准版销售信息
被如下接口引用:DescribeCkafkaZone。
名称 | 类型 | 描述 |
---|---|---|
Flag | Boolean | 手动设置的flag标志 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
Version | String | ckakfa版本号(1.1.1/2.4.2/0.10.2) 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.1.1 |
Platform | String | 专业版、标准版标志 注意:此字段可能返回 null,表示取不到有效值。 示例值:standard |
SoldOut | Boolean | 售罄标志:true售罄 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
ScalingDownResp
实例缩容应答
被如下接口引用:InstanceScalingDown。
名称 | 类型 | 描述 |
---|---|---|
DealNames | Array of String | 订单号列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:["20190819000001"] |
ScfParam
Scf类型入参
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
FunctionName | String | 是 | SCF云函数函数名 注意:此字段可能返回 null,表示取不到有效值。 示例值:function-test |
Namespace | String | 否 | SCF云函数命名空间, 默认为default 注意:此字段可能返回 null,表示取不到有效值。 示例值:default |
Qualifier | String | 否 | SCF云函数版本及别名, 默认为$DEFAULT 注意:此字段可能返回 null,表示取不到有效值。 示例值:$DEFAULT |
BatchSize | Integer | 否 | 每批最大发送消息数, 默认为1000 注意:此字段可能返回 null,表示取不到有效值。 示例值:1000 |
MaxRetries | Integer | 否 | SCF调用失败后重试次数, 默认为5 注意:此字段可能返回 null,表示取不到有效值。 示例值:5 |
SecondaryAnalyseParam
数据处理——二次解析参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Regex | String | 是 | 分隔符 示例值:, |
SplitParam
值支持一拆多,即将一个值拆为一个数组
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Regex | String | 是 | 分隔符 示例值:, |
SubscribedInfo
订阅信息实体
被如下接口引用:DescribeConsumerGroup。
名称 | 类型 | 描述 |
---|---|---|
TopicName | String | 订阅的主题名 示例值:topic-test |
Partition | Array of Integer | 订阅的分区 注意:此字段可能返回 null,表示取不到有效值。 示例值:[0] |
PartitionOffset | Array of PartitionOffset | 分区offset信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Partition":"0","Offset":966186803}] |
TopicId | String | 订阅的主题ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
SubstrParam
数据处理——Value处理参数——截取参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Start | Integer | 是 | 截取起始位置 示例值:0 |
End | Integer | 是 | 截取截止位置 示例值:7 |
TableMapping
Table、Topic路由
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Database | String | 是 | 库名 示例值:db1 |
Table | String | 是 | 表名,多个表,(逗号)隔开 示例值:table1 |
Topic | String | 是 | Topic名称 示例值:topic1 |
TopicId | String | 是 | Topic ID 示例值:topic-id |
Tag
实例详情中的标签对象
被如下接口引用:CreateDatahubTask, CreateDatahubTopic, CreateInstancePost, CreateInstancePre, CreatePostPaidInstance, CreateTopic, DescribeDatahubTask, DescribeInstanceAttributes, DescribeInstancesDetail, DescribeTopicDetail, ModifyDatahubTopic, ModifyTopicAttributes。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
TagKey | String | 是 | 标签的key 示例值:tagkey-test |
TagValue | String | 是 | 标签的值 示例值:tagvalue-test |
TaskStatusResponse
任务状态返回对象
被如下接口引用:DescribeTaskStatus。
名称 | 类型 | 描述 |
---|---|---|
Status | Integer | 任务状态: 0 成功 1 失败 2 进行中 示例值:1 |
Output | String | 输出信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:任务异常失败 |
TdwParam
Tdw类型入参
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Bid | String | 是 | Tdw的bid 注意:此字段可能返回 null,表示取不到有效值。 示例值:bid-test |
Tid | String | 是 | Tdw的tid 注意:此字段可能返回 null,表示取不到有效值。 示例值:tid-test |
IsDomestic | Boolean | 否 | 默认true 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
TdwHost | String | 否 | TDW地址,默认tl-tdbank-tdmanager.tencent-distribute.com 注意:此字段可能返回 null,表示取不到有效值。 示例值:tl-tdbank-tdmanager.tencent-distribute.com |
TdwPort | Integer | 否 | TDW端口,默认8099 注意:此字段可能返回 null,表示取不到有效值。 示例值:8099 |
Topic
返回的topic对象
被如下接口引用:DescribeTopic。
名称 | 类型 | 描述 |
---|---|---|
TopicId | String | 主题的ID 示例值:topic-test |
TopicName | String | 主题的名称 示例值:topic-test |
Note | String | 备注 注意:此字段可能返回 null,表示取不到有效值。 示例值:note-test |
TopicAttributesResponse
主题属性返回结果实体
被如下接口引用:DescribeTopicAttributes。
名称 | 类型 | 描述 |
---|---|---|
TopicId | String | 主题 ID 示例值:topic-test |
CreateTime | Integer | 创建时间 示例值:2021-7-26 4:16:58 |
Note | String | 主题备注 注意:此字段可能返回 null,表示取不到有效值。 示例值:note-test |
PartitionNum | Integer | 分区个数 示例值:1 |
EnableWhiteList | Integer | IP 白名单开关,1:打开; 0:关闭 示例值:1 |
IpWhiteList | Array of String | IP 白名单列表 示例值:["10.0.0.50"] |
Config | Config | topic 配置数组 示例值:{"Retention":86400000,"MinInsyncReplicas":1,"CleanUpPolicy":"delete","SegmentMs":null,"UncleanLeaderElectionEnable":1,"SegmentBytes":null,"MaxMessageBytes":8388608,"RetentionBytes":null} |
Partitions | Array of TopicPartitionDO | 分区详情 示例值:[{"Partition":0,"LeaderStatus":0,"IsrNum":2,"ReplicaNum":2}] |
EnableAclRule | Integer | ACL预设策略开关,1:打开; 0:关闭 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
AclRuleList | Array of AclRule | 预设策略列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"RuleName":"rulename-test","InstanceId":"ckafka-test","Pattern":"","PatternType":"PRESET","ResourceType":"Topic","AclList":"[{"host":"","operation":"Write","permissionType":"Deny","principal":"User:"}]","CreateTimeStamp":"Sat Apr 03 20:13:03 CST 2021","IsApplied":1,"UpdateTimeStamp":"Sat Apr 03 20:13:03 CST 2021","Comment":"comment-test","TopicName":"topic-test","TopicCount":1,"PatternTypeTitle":"预设策略"}] |
QuotaConfig | InstanceQuotaConfigResp | topic 限流策略 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"QuotaProducerByteRate":30,"QuotaConsumerByteRate":30} |
ReplicaNum | Integer | 副本数 注意:此字段可能返回 null,表示取不到有效值。 示例值:2 |
TopicDetail
主题详情
被如下接口引用:DescribeTopicDetail。
名称 | 类型 | 描述 |
---|---|---|
TopicName | String | 主题名 示例值:topic-test |
TopicId | String | 主题Id 示例值:topic-test |
PartitionNum | Integer | 分区数 示例值:6 |
ReplicaNum | Integer | topic副本数 最小值 1,最大值 3 示例值:2 |
Note | String | 备注 注意:此字段可能返回 null,表示取不到有效值。 示例值:note-test |
CreateTime | Integer | 创建时间 示例值:1566144000 |
EnableWhiteList | Boolean | 是否开启ip鉴权白名单,true表示开启,false表示不开启 示例值:false |
IpWhiteListCount | Integer | ip白名单中ip个数 示例值:0 |
ForwardCosBucket | String | 数据备份cos bucket: 转存到cos 的bucket地址 注意:此字段可能返回 null,表示取不到有效值。 示例值:cos-bucket-test |
ForwardStatus | Integer | 数据备份cos 状态: 1 不开启数据备份,0 开启数据备份 示例值:1 |
ForwardInterval | Integer | 数据备份到cos的周期频率 示例值:0 |
Config | Config | 高级配置 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Retention":86400000,"MinInsyncReplicas":1,"CleanUpPolicy":"delete"} |
RetentionTimeConfig | TopicRetentionTimeConfigRsp | 消息保留时间配置(用于动态配置变更记录) 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Expect":1440,"Current":1440,"ModTimeStamp":1566144000} |
Status | Integer | 0:正常,1:已删除,2:删除中 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
Tags | Array of Tag | 标签列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}] |
TopicDetailResponse
主题详情返回实体
被如下接口引用:DescribeTopicDetail。
名称 | 类型 | 描述 |
---|---|---|
TopicList | Array of TopicDetail | 返回的主题详情列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"TopicName":"topic-test","TopicId":"topic-test","PartitionNum":1,"ReplicaNum":2,"Note":"note-test","CreateTime":1566144000,"EnableWhiteList":true,"IpWhiteListCount":0,"ForwardCosBucket":"","ForwardStatus":0,"ForwardInterval":0,"Config":{"Retention":60000,"MinInsyncReplicas":0,"CleanUpPolicy":"delete","SegmentMs":3600000,"UncleanLeaderElectionEnable":0,"SegmentBytes":1048576,"MaxMessageBytes":1048576,"RetentionBytes":1048576},"Status":0,"Tags":[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}]}] |
TotalCount | Integer | 符合条件的所有主题详情数量 示例值:1 |
TopicFlowRanking
topic 流量排行
被如下接口引用:DescribeTopicFlowRanking。
名称 | 类型 | 描述 |
---|---|---|
TopicId | String | 主题Id 示例值:topic-test |
TopicName | String | 主题名称 示例值:topic-test |
PartitionNum | Integer | 分区数 示例值:3 |
ReplicaNum | Integer | 副本数 示例值:2 |
TopicTraffic | String | Topic 流量,单位MB(设置date时以sum方式聚合) 示例值:35.23 |
MessageHeap | Integer | Topic 消息堆积 示例值:9235266 |
TopicFlowRankingResult
topic 生产消息数据,消费者数据
被如下接口引用:DescribeTopicFlowRanking。
名称 | 类型 | 描述 |
---|---|---|
TopicFlow | Array of TopicFlowRanking | Topic 流量数组 示例值:[{"MessageHeap":0,"PartitionNum":3,"ReplicaNum":2,"TopicId":"topic-test","TopicName":"topic-test","TopicTraffic":"0.00"}] |
ConsumeSpeed | Array of ConsumerGroupSpeed | 消费者组消费速度排行速度 示例值:[{"ConsumerGroupName":"group-test","Speed":100}] |
TopicMessageHeap | Array of TopicMessageHeapRanking | Topic 消息堆积/占用磁盘排行 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"MessageHeap":0,"PartitionNum":3,"ReplicaNum":2,"TopicId":"topic-test","TopicName":"topic-test","TopicTraffic":"0.00"}] |
BrokerIp | Array of String | Broker Ip 列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:["10.0.0.5"] |
BrokerTopicData | Array of BrokerTopicData | 单个broker 节点 Topic占用的数据大小 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"TopicName":"topic-test","TopicId":"topic-test","DataSize":200}] |
BrokerTopicFlowData | Array of BrokerTopicFlowData | 单个Broker 节点Topic 流量的大小(单位MB) 示例值:[{"TopicName":"topic-test","TopicId":"topic-test","TopicTraffic":"1.00"}] |
TopicInSyncReplicaInfo
topic副本及详细信息
被如下接口引用:DescribeTopicSyncReplica。
名称 | 类型 | 描述 |
---|---|---|
Partition | String | 分区名称 示例值:partition-1 |
Leader | Integer | Leader Id 示例值:0 |
Replica | String | 副本集 示例值:1,3,2 |
InSyncReplica | String | ISR 示例值:1,2,3 |
BeginOffset | Integer | 起始Offset 注意:此字段可能返回 null,表示取不到有效值。 示例值:12055 |
EndOffset | Integer | 末端Offset 注意:此字段可能返回 null,表示取不到有效值。 示例值:13353 |
MessageCount | Integer | 消息数 注意:此字段可能返回 null,表示取不到有效值。 示例值:120045 |
OutOfSyncReplica | String | 未同步副本集 注意:此字段可能返回 null,表示取不到有效值。 示例值:1,2 |
TopicInSyncReplicaResult
Topic 副本及详情数据集合
被如下接口引用:DescribeTopicSyncReplica。
名称 | 类型 | 描述 |
---|---|---|
TopicInSyncReplicaList | Array of TopicInSyncReplicaInfo | Topic详情及副本合集 示例值:[{"BeginOffset":0,"EndOffset":1,"InSyncReplica":"1","Leader":1,"MessageCount":0,"OutOfSyncReplica":"2","Partition":"0","Replica":"2,1"}] |
TotalCount | Integer | 总计个数 示例值:1 |
TopicMessageHeapRanking
topic消息堆积、占用磁盘排行
被如下接口引用:DescribeTopicFlowRanking。
名称 | 类型 | 描述 |
---|---|---|
TopicId | String | 主题ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
TopicName | String | 主题名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
PartitionNum | Integer | 分区数 注意:此字段可能返回 null,表示取不到有效值。 示例值:2 |
ReplicaNum | Integer | 副本数 注意:此字段可能返回 null,表示取不到有效值。 示例值:2 |
TopicTraffic | String | Topic 流量 注意:此字段可能返回 null,表示取不到有效值。 示例值:35.12 |
MessageHeap | Integer | topic消息堆积/占用磁盘 注意:此字段可能返回 null,表示取不到有效值。 示例值:949006 |
TopicParam
Topic配置
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Resource | String | 是 | 单独售卖Topic的Topic名称 示例值:topic-test |
OffsetType | String | 否 | Offset类型,最开始位置earliest,最新位置latest,时间点位置timestamp 注意:此字段可能返回 null,表示取不到有效值。 示例值:timestamp |
StartTime | Integer | 否 | Offset类型为timestamp时必传,传时间戳,精确到秒 注意:此字段可能返回 null,表示取不到有效值。 示例值:1566144000 |
TopicId | String | 否 | Topic的TopicId【出参】 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-test |
CompressionType | String | 否 | 写入Topic时是否进行压缩,不开启填"none",开启的话,可选择"gzip", "snappy", "lz4"中的一个进行填写。 注意:此字段可能返回 null,表示取不到有效值。 示例值:none |
UseAutoCreateTopic | Boolean | 否 | 使用的Topic是否需要自动创建(目前只支持SOURCE流入任务) 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
MsgMultiple | Integer | 否 | 源topic消息1条扩增成msgMultiple条写入目标topic(该参数目前只有ckafka流入ckafka适用) 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
TopicPartitionDO
分区详情
被如下接口引用:DescribeTopicAttributes。
名称 | 类型 | 描述 |
---|---|---|
Partition | Integer | Partition 分区ID 示例值:0 |
LeaderStatus | Integer | Leader 运行状态 示例值:0 |
IsrNum | Integer | ISR 个数 示例值:2 |
ReplicaNum | Integer | 副本个数 示例值:2 |
TopicResult
统一返回的TopicResponse
被如下接口引用:DescribeTopic。
名称 | 类型 | 描述 |
---|---|---|
TopicList | Array of Topic | 返回的主题信息列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"TopicId":"topic-test","TopicName":"topic-test","Note":"note-test"}] |
TotalCount | Integer | 符合条件的 topic 数量 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
TopicRetentionTimeConfigRsp
Topic消息保留时间配置返回信息
被如下接口引用:DescribeTopicDetail。
名称 | 类型 | 描述 |
---|---|---|
Expect | Integer | 期望值,即用户配置的Topic消息保留时间(单位分钟) 注意:此字段可能返回 null,表示取不到有效值。 示例值:30 |
Current | Integer | 当前值,即当前生效值(可能存在动态调整,单位分钟) 注意:此字段可能返回 null,表示取不到有效值。 示例值:2 |
ModTimeStamp | Integer | 最近变更时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:1566144000 |
TopicSubscribeGroup
DescribeTopicSubscribeGroup接口出参
被如下接口引用:DescribeTopicSubscribeGroup。
名称 | 类型 | 描述 |
---|---|---|
TotalCount | Integer | 总数 示例值:1 |
StatusCountInfo | String | 消费分组状态数量信息 示例值:1 Empty |
GroupsInfo | Array of GroupInfoResponse | 消费分组信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"ErrorCode":"0","Group":"group-test","Members":[{"MemberId":"member-test","ClientId":"client-test","ClientHost":"10.0.0.5","Assignment":{"Version":1,"Topics":[{"Topic":"topic-test","Partitions":[0,1,2]}]}}],"Protocol":"","ProtocolType":"consumer","State":"Empty"}] |
Status | Integer | 此次请求是否异步的状态。实例里分组较少的会直接返回结果,Status为1。当分组较多时,会异步更新缓存,Status为0时不会返回分组信息,直至Status为1更新完毕返回结果。 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
TransformParam
数据处理参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
AnalysisFormat | String | 是 | 解析格式,JSON,DELIMITER分隔符,REGULAR正则提取 示例值:DELIMITER |
OutputFormat | String | 是 | 输出格式 示例值:JSON |
FailureParam | FailureParam | 是 | 是否保留解析失败数据 示例值:{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":1,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"} |
Content | String | 是 | 原始数据 示例值:content-test |
SourceType | String | 是 | 数据来源,TOPIC从源topic拉取,CUSTOMIZE自定义 示例值:TOPIC |
Regex | String | 否 | 分隔符、正则表达式 示例值:, |
MapParam | Array of MapParam | 否 | Map 示例值:[{"Key":"key-test","Type":"DEFAULT","Value":"value-test"}] |
FilterParam | Array of FilterMapParam | 否 | 过滤器 示例值:[{"Key":"key-test","Type":"REGULAR","MatchMode":"PREFIX","Value":"value-test"}] |
Result | String | 否 | 测试结果 注意:此字段可能返回 null,表示取不到有效值。 示例值:result-test |
AnalyseResult | Array of MapParam | 否 | 解析结果 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Type":"DEFAULT","Key":"1"},{"Type":"DEFAULT","Key":"2"}] |
UseEventBus | Boolean | 否 | 底层引擎是否使用eb 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
TransformsParam
数据处理参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Content | String | 是 | 原始数据 示例值:{"name":"abc"} |
FieldChain | Array of FieldParam | 是 | 处理链 示例值:{"Analyse":{"Format":"JSON"}} |
FilterParam | Array of FilterMapParam | 否 | 过滤器 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Key":"key-test","Type":"REGULAR","MatchMode":"PREFIX","Value":"value-test"}] |
FailureParam | FailureParam | 否 | 失败处理 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Type":"DROP"} |
Result | String | 否 | 测试结果 注意:此字段可能返回 null,表示取不到有效值。 示例值:result-test |
SourceType | String | 否 | 数据来源 注意:此字段可能返回 null,表示取不到有效值。 示例值:CKAFKA |
OutputFormat | String | 否 | 输出格式,JSON,ROW,默认为JSON 注意:此字段可能返回 null,表示取不到有效值。 示例值:JSON |
RowParam | RowParam | 否 | 输出格式为ROW必填 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"RowContent":"KEY_VALUE","KeyValueDelimiter":"=","EntryDelimiter":"&"} |
KeepMetadata | Boolean | 否 | 是否保留数据源Topic元数据信息(源Topic、Partition、Offset),默认为false 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
BatchAnalyse | BatchAnalyseParam | 否 | 数组解析 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Format":"ONE_BY_ONE"} |
UrlDecodeParam
Url解析
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
CharsetName | String | 否 | 编码 注意:此字段可能返回 null,表示取不到有效值。 示例值:UTF-8 |
User
用户实体
被如下接口引用:DescribeUser。
名称 | 类型 | 描述 |
---|---|---|
UserId | Integer | 用户id 示例值:1 |
Name | String | 用户名称 示例值:name-test |
CreateTime | Timestamp | 创建时间 示例值:2019-08-19 00:00:00 |
UpdateTime | Timestamp | 最后更新时间 示例值:2019-08-19 00:00:00 |
UserResponse
用户返回实体
被如下接口引用:DescribeUser。
名称 | 类型 | 描述 |
---|---|---|
Users | Array of User | 符合条件的用户列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"CreateTime":"2019-08-19 00:00:00","Name":"name-test","UpdateTime":"2019-08-19 00:00:00","UserId":101}] |
TotalCount | Integer | 符合条件的总用户数 示例值:1 |
ValueParam
数据处理——Value处理参数
被如下接口引用:CreateDatahubTask, DescribeDatahubTask。
名称 | 类型 | 必选 | 描述 |
---|---|---|---|
Type | String | 是 | 处理模式,REPLACE替换,SUBSTR截取,DATE日期转换,TRIM去除前后空格,REGEX_REPLACE正则替换,URL_DECODE,LOWERCASE转换为小写 示例值:TRIM |
Replace | ReplaceParam | 否 | 替换,TYPE=REPLACE时必传 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"OldValue":"old","NewValue":"new"} |
Substr | SubstrParam | 否 | 截取,TYPE=SUBSTR时必传 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Start":0,"End":7} |
Date | DateParam | 否 | 时间转换,TYPE=DATE时必传 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Format":"yyyy-MM-dd HH:mm:ss","TargetType":"string","TimeZone":"GMT+8"} |
RegexReplace | RegexReplaceParam | 否 | 正则替换,TYPE=REGEX_REPLACE时必传 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Regex":"^[0-9]*$","NewValue":"newValue-test"} |
Split | SplitParam | 否 | 值支持一拆多,TYPE=SPLIT时必传 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Regex":","} |
KV | KVParam | 否 | key-value二次解析,TYPE=KV时必传 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"Delimiter":";","Regex":"=","KeepOriginalKey":"false"} |
Result | String | 否 | 处理结果 注意:此字段可能返回 null,表示取不到有效值。 示例值:result-test |
JsonPathReplace | JsonPathReplaceParam | 否 | JsonPath替换,TYPE=JSON_PATH_REPLACE时必传 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"OldValue":"$.old","NewValue":"$.new"} |
UrlDecode | UrlDecodeParam | 否 | Url解析 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"CharsetName":"UTF-8"} |
Lowercase | LowercaseParam | 否 | 小写字符解析 注意:此字段可能返回 null,表示取不到有效值。 示例值:{} |
VipEntity
虚拟IP实体
被如下接口引用:DescribeInstanceAttributes, DescribeInstancesDetail, DescribeRoute。
名称 | 类型 | 描述 |
---|---|---|
Vip | String | 虚拟IP 示例值:1.0.0.5 |
Vport | String | 虚拟端口 示例值:9092 |
ZoneInfo
zone信息实体
被如下接口引用:DescribeCkafkaZone。
名称 | 类型 | 描述 |
---|---|---|
ZoneId | String | 可用区 示例值:100003 |
IsInternalApp | Integer | 是否内部APP 示例值:1 |
AppId | Integer | 应用标识 示例值:1000000001 |
Flag | Boolean | 标识 示例值:false |
ZoneName | String | 可用区名称 示例值:广州三区 |
ZoneStatus | Integer | 可用区状态 示例值:3 |
SoldOut | String | true为售罄,false为未售罄 示例值:true |
SalesInfo | Array of SaleInfo | 标准版售罄信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"Flag":false,"Version":"1.1.1","Platform":"standard","SoldOut":true}] |
ExtraFlag | String | 额外标识 示例值:0 |
ZoneResponse
查询kafka的zone信息返回的实体
被如下接口引用:DescribeCkafkaZone。
名称 | 类型 | 描述 |
---|---|---|
ZoneList | Array of ZoneInfo | zone列表 示例值:[{"ZoneId":"100003","IsInternalApp":1,"AppId":1000000001,"Flag":false,"ZoneName":"广州三区","ZoneStatus":3,"SoldOut":"true","SalesInfo":[{"Flag":false,"Version":"1.1.1","Platform":"standard","SoldOut":true}],"ExtraFlag":"0"}] |
MaxBuyInstanceNum | Integer | 最大购买实例个数 示例值:100 |
MaxBandwidth | Integer | 最大购买带宽 单位Mb/s 示例值:9600 |
UnitPrice | Price | 后付费单位价格 示例值:{"RealTotalCost":0,"TotalCost":0} |
MessagePrice | Price | 后付费消息单价 示例值:{"RealTotalCost":0,"TotalCost":0} |
ClusterInfo | Array of ClusterInfo | 用户独占集群信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"ClusterId":6894,"ClusterName":"100003-ckafka-test","MaxDiskSize":198,"MaxBandWidth":19,"AvailableDiskSize":198,"AvailableBandWidth":19,"ZoneId":100003,"ZoneIds":[100003,100002]}] |
Standard | String | 购买标准版配置 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"standard":{"bandwidth":{"maximum":200,"minimal":3,"step":3}}} |
StandardS2 | String | 购买标准版S2配置 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"InstanceTypeConfigSet":[{"Type":"sv_ckafka_instance_s2_1","Desc":"入门型","DescEn":"Small","Bandwidth":320,"MinDiskSize":300,"MaxDiskSize":1000,"DiskSize":500,"Pid":1004034,"MaximumInstancePartition":60,"MaximumInstanceTopic":25},{"Type":"sv_ckafka_instance_s2_2","Desc":"标准型","DescEn":"Standard","Bandwidth":800,"DiskSize":1500,"MinDiskSize":500,"MaxDiskSize":2500,"Pid":1004037,"MaximumInstancePartition":100,"MaximumInstanceTopic":40},{"Type":"sv_ckafka_instance_s2_3","Desc":"进阶型","DescEn":"Advanced","Bandwidth":1200,"DiskSize":3000,"MinDiskSize":1000,"MaxDiskSize":4000,"Pid":1004038,"MaximumInstancePartition":150,"MaximumInstanceTopic":50}],"maximumTopicPartition":2500,"maximumInstanceConsumerGroup":0} |
Profession | String | 购买专业版配置 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"BasicEdition":{"Bandwidth":{"Maximum":1200,"Minimal":20,"Step":20},"DiskCapacity":{"20":{"Maximum":500000,"Minimal":200,"Step":100},"40":{"Maximum":500000,"Minimal":500,"Step":100},"120":{"Maximum":500000,"Minimal":1000,"Step":100},"320":{"Maximum":500000,"Minimal":3000,"Step":100},"800":{"Maximum":500000,"Minimal":5400,"Step":100},"1000":{"Maximum":500000,"Minimal":7500,"Step":100}},"DiskTypes":["SSD","CLOUD_BASIC"],"MessageRetention":{"Maximum":2160,"Minimal":24,"Step":1},"Partition":{"20":{"Maximum":40000,"Minimal":400,"Step":100},"40":{"Maximum":40000,"Minimal":800,"Step":100},"60":{"Maximum":40000,"Minimal":900,"Step":100},"120":{"Maximum":40000,"Minimal":1200,"Step":100},"180":{"Maximum":40000,"Minimal":1400,"Step":100},"240":{"Maximum":40000,"Minimal":1600,"Step":100},"320":{"Maximum":40000,"Minimal":1800,"Step":100},"400":{"Maximum":40000,"Minimal":2000,"Step":100},"500":{"Maximum":40000,"Minimal":2200,"Step":100},"600":{"Maximum":40000,"Minimal":2400,"Step":100},"800":{"Maximum":40000,"Minimal":2600,"Step":100},"1000":{"Maximum":40000,"Minimal":2800,"Step":100},"1200":{"Maximum":40000,"Minimal":3200,"Step":100}}},"HighPerformanceEdition":{"Bandwidth":{"Maximum":100000,"Minimal":1600,"Step":200},"DiskCapacity":{"1600":{"Maximum":500000,"Minimal":10000,"Step":100},"2000":{"Maximum":500000,"Minimal":10000,"Step":100},"2400":{"Maximum":500000,"Minimal":10000,"Step":100},"2800":{"Maximum":500000,"Minimal":10000,"Step":100},"3200":{"Maximum":500000,"Minimal":10000,"Step":100}},"DiskTypes":["SSD","CLOUD_BASIC"],"MessageRetention":{"Maximum":2160,"Minimal":24,"Step":1},"Partition":{"1600":{"Maximum":40000,"Minimal":4000,"Step":100},"2000":{"Maximum":40000,"Minimal":4500,"Step":100},"2400":{"Maximum":40000,"Minimal":5000,"Step":100},"2800":{"Maximum":40000,"Minimal":5500,"Step":100},"3200":{"Maximum":40000,"Minimal":6000,"Step":100}}}} |
Physical | String | 购买物理独占版配置 注意:此字段可能返回 null,表示取不到有效值。 示例值:{"physicallyExclusive":{"bandwidth":{"maximum":200,"minimal":3,"step":3}}} |
PublicNetwork | String | 公网带宽 最小3Mbps 最大999Mbps 仅专业版支持填写 注意:此字段可能返回 null,表示取不到有效值。 示例值:3 |
PublicNetworkLimit | String | 公网带宽配置 注意:此字段可能返回 null,表示取不到有效值。 示例值:999 |
RequestId | String | 请求Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:a85846f2-95bd-454d-8edf-f4cfe618282f |
Version | String | 版本 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.1.1 |
Offset | Integer | 分页offset 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
Limit | Integer | 分页limit 注意:此字段可能返回 null,表示取不到有效值。 示例值:20 |
ForceCheckTag | Boolean | 是否必须录入tag 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |