托管存储是指用户在数据湖产品上托管的存储空间,存储底层为对象存储。托管存储上存放着原生表、用户程序包、查询结果等数据,因此如果需要使用原生表及其数据优化等能力,需要先开启托管存储。托管存储上的原生表默认为 Iceberg 格式表,您无须管理底层的文件内容。托管存储计费详情请参见 计费概述。
说明:
托管存储除用户数据使用量计费外,DLC 还会每天对存储进行例行检查,如用户存储活跃度检查、用量检查,将会产生少量的请求次数计费,若用户不使用托管存储,请及时销毁,避免这些例行检查产生费用。
DLC 支持创建元数据加速桶和普通存储桶,普通桶默认开启对象多版本,历史版本默认保持30天。
本篇文档介绍托管存储的开启和配置步骤。
开启托管存储
步骤一:进入托管存储配置
步骤二:创建托管存储桶
1. 单击创建托管存储桶进入创建页面,选择托管存储类型,点击确定完成创建。
2. 上方可修改查询结果存储路径。查询结果路径用以临时存储 SQL 查询的结果数据、Spark 作业 Shuffle 数据等等,您需要指定一个路径以保证作业和任务的正常运行。如果您已经创建了托管存储桶,建议查询结果路径配置为托管存储。您也可以把查询结果路径配置到自己账号下的 COS 存储桶 路径。
查看托管存储桶
销毁托管存储
销毁数据是高危行为,只有当库表数据都删除后,您才可以销毁托管存储。销毁托管存储需要管理员权限。
步骤一:删除库表数据
销毁托管存储需要先删除托管存储上的所有库表数据。
步骤二:销毁托管存储
销毁托管存储会把所有的 DLC 托管存储桶都删除,请谨慎操作。
托管存储桶关联标签
标签用于对资源进行分类整理。标签由标签键和标签值组成,一个标签键可以对应多个值。用户可以为云资源创建和绑定标签对云资源进行管理。DLC 支持在产品控制台托管存储桶列表为托管存储桶绑定标签,以通过标签对托管存储桶实现分账。
创建标签并按标签分账
通过创建标签并绑定托管存储桶来完成存储资源的分类和统一管理。您可以基于组织或业务维度为资源(托管存储桶维度)规划标签(例如:部门、项目组、地区等)实现成本的分摊管理。
注意:
托管存储桶标签暂不支持资源隔离鉴权行为,仅支持标签分账功能。
操作步骤:
2. 绑定资源。在标签控制台、DLC 产品控制台 > 存储管理 >托管存储桶列表页绑定标签。
4. 前往 账单概览 页面,选择按标签汇总页签,查看根据标签键汇总的相关资源的柱状图和列表。
说明:
托管存储桶目前仅支持在托管存储桶列表绑定标签,暂不支持在新建托管存储桶时绑定标签。