前提条件
1. 支持 Doris 0.15+。
2. 若为自建 Doris 数据库,需要和集成资源组的网络打通。
使用限制
1. Doris 版本 0.15+。
2. 修改和删除只支持在 Unique Key 模型上。
3. 数据同步到 Doris 过程中的 DDL 响应。
仅在整库同步场景下支持 DDL 响应。
目前仅支持在 Doris 端添加列、添加表两种 DDL 。
注意事项
1. Doris 版本必须为0.15+。
2. Doris 支持 [DUPLICATE KEY|UNIQUE KEY|AGGREGATE KEY] 三种数据模型,若需以 Upsert 方式写入 Doris,需要确保数据模型为 UNIQUE KEY,详情可见:数据模型 - Apache Doris。
数据库环境配置
1. 检查 Doris 数据库网络和数据集成资源组网络连通性。
参考数据源配置中的连通性测试,确保数据集成资源组可正常访问 Doris 数据库。
2. 检查待写入 Doris 表的数据模型。
Doris 写入支持 Append/Upsert 两种模式,若想以 Upsert 模式写入,需要确保 Doris 数据模型为 Unique key。具体可在 SQL 客户端执行如下 SQL :
show create table example_db.table_hash;// 执行上诉 SQL 后的结果CREATE TABLE example_db.table_hash(k1 BIGINT,k2 LARGEINT,v1 VARCHAR(2048),v2 SMALLINT DEFAULT "10")UNIQUE KEY(k1, k2)DISTRIBUTED BY HASH (k1, k2)// 若为 Unique key 模型,会在结果中出现关键词:UNIQUE KEY
3. 创建 Doris 表。
创建明细模型表。
CREATE TABLE example_db.table_hash(k1 TINYINT,k2 DECIMAL(10, 2) DEFAULT "10.5",k3 CHAR(10) COMMENT "string column",k4 INT NOT NULL DEFAULT "1" COMMENT "int column")COMMENT "my first table"DISTRIBUTED BY HASH(k1)
创建主键唯一模型表。
CREATE TABLE example_db.table_hash(k1 BIGINT,k2 LARGEINT,v1 VARCHAR(2048),v2 SMALLINT DEFAULT "10")UNIQUE KEY(k1, k2)DISTRIBUTED BY HASH (k1, k2)
数据源配置
支持通过连接串方式引入 Doris 数据源。
参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无需区域和网络信息 |
区域和网络 | 选择账户下云数据库实例所在的地域、实例名称及 ID 信息 |
JDBC URL | 用于连接 Doris 数据源的连接串信息 |
FE URL | 输入 fe http 地址,格式为:IP地址:http端口,多个地址之间使用逗号(,)分隔,例如:172.17.16.3:8030,172.17.16.4:8030 注意: 如果直接从 Doris 中将地址复制过来,会自动添加前缀 https:// 或 http://,在数据源这里填写的时候需要去掉这些前缀,只保留 iP:PORT。 |
用户名 | 连接数据源的用户名称 |
密码 | 连接数据源的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
其他参考问答文档
单表任务配置概览
实时节点高级参数