冷数据归档开通相关问题
什么是冷数据归档功能?
冷数据是指存储在实例中、长期无更新且读取频率极低的数据。例如历史订单、日志归档、已结案的业务单据等。这类数据在实例中持续占用本地盘空间,但实际访问需求很少。冷数据归档是 TDSQL Boundless 提供的一项数据分层存储能力,将冷数据从本地盘转存至对象存储(COS),从而以更低的成本长期保留这些数据。归档后的数据仍可正常 SQL 查询,但访问性能低于本地热数据。
如何开通冷数据归档功能?开通之后是否可以关闭?
冷数据归档当前为白名单功能,如需使用请提交工单或联系腾讯云技术支持申请开通。
注意:
冷数据归档为 V21.6.3.0 版本的实验特性,开启后暂不支持关闭。
冷数据归档如何计费?
冷数据归档仅支持按量计费,按落冷/归档使用的实际存储用量计费。公测期间暂不收费。
哪些实例支持冷数据归档?
说明:
冷数据归档功能为 V21.6.3.0 版本的实验特性,当前阶段仅支持满足需求的部分实例开启。
暂不支持 Serverless 实例;仅支持内核版本 V21.6.3.0 及以上的预置资源实例开启。
暂不支持单 RG 模式,即节点规格 4C 以下的实例(包括 4C 8GB)无法开启冷数据归档;仅支持节点规格 4C 以上的实例开启。
暂不支持本地盘实例;仅支持增强型 SSD 云硬盘实例开启。
暂不支持单副本实例;仅支持全功能型副本数为多副本或是多可用区部署实例开启。
暂不支持开启 TDE 透明数据加密的实例;仅支持未开启 TDE 透明数据加密的实例开启。
暂不支持建立灾备关系的实例,即灾备关系中的主实例与灾备只读实例都不支持开启冷数据归档功能;仅支持普通实例开启。
暂不支持 HBase 兼容模式;仅支持 MySQL 兼容模式。
仅支持运行中实例开启。
冷数据归档不支持哪些场景?
说明:
冷数据归档功能为 V21.6.3.0 版本的实验特性,当前阶段存在以下使用限制,该功能将逐步完善,敬请期待。
暂不支持冷数据转热(数据回暖),即不支持将已落冷的表或分区重新迁回原引擎。
暂不支持自动识别冷数据,并进行自动落冷。
暂不支持备份恢复,COS 冷热分层特性开启后,不支持实例的备份恢复,也不支持创建灾备实例。
暂不支持通过 Bulk Load 批量加载数据,也不支持 LOAD DATA INFILE 方式导入数据。
暂不支持建表语法
CREATE TABLE ... AS SELECT ... FROM ...。暂不支持对冷表进行 Fast Online DDL,仅支持部分有限 Online DDL(支持走 thomas write 链路的 Online DDL 操作)。
暂不支持开启 KV 分离特性。如果本地已经开启 KV 分离,数据将无法转冷到 COS。
暂不支持开启大事务特性。
暂不支持开启 TDE 透明加密特性。
暂不支持实例调整可用区,调整副本数、迁移变配、水平缩容(缩容节点数、缩容磁盘空间)。
暂不支持冷 RG 的分裂、合并、迁移等调度任务。
低版本如何开启冷数据归档?
您可以将 TDSQL Boundless 升级到符合要求的版本,您可联系腾讯云技术支持升级实例版本。
冷数据归档使用方式相关问题
如何将一张表/分区的数据转为冷数据?
说明:
当前仅支持手动指定表或者指定表分区进行落冷,暂不支持自动识别冷数据自动落冷。
开启冷数据归档功能后,支持通过 SQL 语句手动执行数据落冷:
-- 将已有表整体转为冷表ALTER TABLE <table_name> STORAGE_TIER = OBJECT_STORAGE;-- 将已有分区转为冷分区ALTER TABLE <table_name>MODIFY PARTITION (<partition_name>) STORAGE_TIER = OBJECT_STORAGE;
归档的表或分区还能写入数据吗?
如何查询归档后的冷数据?
对普通表和分区表执行冷数据归档操作后,您可以通过以下方法查询归档后的冷数据:
普通表:执行冷数据归档后,查询冷数据的方法和查询热数据的方法一致,不需要修改访问方式。
分区表:执行部分分区的冷数据归档后,可通过两种方式查询冷数据:
方式一:直接查询,查询冷数据的方法和查询热数据的方法一致,不需要修改访问方式。
ALTER TABLE t1MODIFY PARTITION (p1) STORAGE_TIER = OBJECT_STORAGE;-- t1 部分分区已经归档落冷,可直接查询,无需修改访问方式SELECT * FROM t1 WHERE <condition>
方式二:指定落冷分区查询。
ALTER TABLE t1MODIFY PARTITION (p1) STORAGE_TIER = OBJECT_STORAGE;-- t1 部分分区已经归档落冷,p1为查询的分区名,可指定分区查询SELECT * FROM t1 partition (p1) WHERE <condition>
如何判断当前表或分区是否落冷/归档成功?
归档完成后,您可以通过以下两种方式来查看表或分区是否归档成功:
执行
SHOW CREATE TABLE table_name; 命令查看表结构信息,以此来确认表或者分区是否归档成功。普通表:回显信息中显示
STORAGE_TIER = OBJECT_STORAGE,则表示当前数据归档成功。分区表:分区表中的分区显示
STORAGE_TIER = OBJECT_STORAGE,则表示当前数据归档成功。在控制台上查看是否归档成功:登录 TDSQL Boundless 控制台,进入实例详情,在数据归档页签的数据归档列表,查看是否存在对应的表名,若存在,则说明当前数据已经归档至对象存储。
归档表的可靠性如何?
归档表的存储放在多 AZ 的对象存储 COS 上,提供地域内的跨 AZ 容灾,可容忍单个 AZ 故障。
归档的表能否再转回热数据?
不支持。暂未提供冷数据转热数据的能力,即不支持以下 SQL:
-- 以下 SQL 不支持ALTER TABLE <table_name> STORAGE_TIER = RocksDB;
如何删除归档后的冷数据?
可使用删除/清理归档表,或者通过删除/清理归档表/分区来删除归档后的冷数据。
-- 方式一:清空表/分区数据(保留表/分区结构)TRUNCATE TABLE <table_name>;ALTER TABLE <table_name> TRUNCATE PARTITION <partition_name>;-- 方式二:删除整个表/分区(同时删除数据与分区结构)DROP TABLE <table_name>;ALTER TABLE <table_name> DROP PARTITION <partition_name>;
冷数据归档空间占用相关问题
如何查看归档后的冷数据大小?
冷数据会占用实例对等节点的磁盘空间吗?
不会。冷数据存储在对象存储 COS 上,不占用实例对等节点的磁盘空间,从而释放对等节点的磁盘资源用于热数据。
冷数据归档之后,原表依然存在于数据库中,是否需要执行手动删除操作,以节约存储空间?
冷数据归档后,TDSQL Boundless 仅存储该表的元数据信息,实际的数据信息已经存储在对象存储 COS 上,对您的存储空间不会造成影响,不需要执行手动删除。
归档后的冷数据的数据量相比原表是变大还是变小?
归档后的冷数据的数据格式未发生变化,即原表占用的空间容量几乎不变。
TDSQL Boundless 归档为 COS 对象存储后数据容量是否变化?
冷数据归档到 COS 对象存储后,本地高性能存储将延后异步删除转冷归档的数据,所以本地存储(本地盘/云盘)数据占有量会减少,COS 对象存储的使用量会相应增加。
为什么归档后的冷数据及文件在主账号下面的对象存储 COS 上看不到?
TDSQL Boundless 的冷数据存储在系统默认的对象存储 COS,不在客户的 COS 里,所以客户无法看到。目前仅支持在控制台上查看归档后的冷数据和文件,不支持直接查看 COS 文件。