数据湖计算 DLC 内置 TCHouse-D Connector,只需在开发时添加对应的配置即可连接到腾讯云 TCHouse-D 集群。本文为您介绍在数据湖计算 DLC 中实现 TCHouse-D 的读取与写入操作。
背景信息
腾讯云数据仓库 TCHouse-D(Tencent Cloud House-D,TCHouse-D)基于业内领先的 OLAP 数据库 Apache Doris 内核构建,兼容 MySQL 协议,融合云上大数据生态,提供丰富的集群管控能力及完善的巡检告警体系,为客户提供简单易用、轻松运维的云上全托管服务,助力客户快速进行实时 OLAP 数据分析。关于腾讯云数据仓库 TCHouse-D 详细信息参见 腾讯云数据仓库 TCHouse-D 产品概述 。
前提条件
注意:
当前暂不支持跨地域读写 TCHouse-D,请合理规划环境,确保腾讯云数据仓库 TCHouse-D、DLC 在相同地域。
操作流程
步骤一:创建 TCHouse-D 目录
1. 登录 数据湖计算 DLC 控制台,选择服务地域,登录的账户须有创建目录权限,子账号权限开启可以参考 子账号权限管理。
2. 进入数据管理,单击创建数据目录。
3. 进入数据源创建可视化界面,连接类型选择 TCHouse-D。填写连接信息后,完成网络配置,打通引擎和外部数据源的网络。
4. 填写数据源信息后单击确认,完成数据源的创建。
5. 在数据目录列表查看连接信息、状态、创建人等信息。
注意:
用户名及密码需要填写具备 TCHouse-D 相应数据权限的账号,否则查询会报错。
步骤二:查询或向 TChouse-D 中写数据
1. 登录 数据湖计算 DLC 控制台,选择数据探索,左上角数据目录切换至上一步创建的 TCHouse-D 目录(假设名称为“tchouse”)。
2. 创建新的查询,假设在 TCHouse-D 中有一个 TPCDS 基准数据集,通过以下样例 SQL,可实现与 DLC 内部数据 join 后,将结果写入 TCHouse-D:
insert into tchouse.tpcds.d_table SELECT a.sk AS ctr_customer_sk, b.sk AS ctr_store_sk FROM tchouse.tpcds.f_table a LEFT JOIN DataLakeCatalog.dlc.dlc_table b ON a.id = b.id WHERE a.sssk = '123' GROUP BY a.sk, b.sk ;
3. 运行上述查询,DLC 计算引擎将会读取 TCHouse-D 的数据集,并将查询结果 total_return 回写到 TCHouse-D 。
注意:
查询结果回写 TCHouse-D 目前暂不支持 Dynamic overwrite。