托管存储配置

最近更新时间:2023-09-04 10:18:02

我的收藏
托管存储是指用户在数据湖产品上托管的存储空间,存储底层为对象存储。托管存储上存放着原生表、用户程序包、查询结果等数据,因此如果需要使用原生表及其数据优化等能力,需要先开启托管存储。托管存储上的原生表默认为 Iceberg 格式表,您无须管理底层的文件内容。托管存储计费详情请参见 计费概述
本篇文档介绍托管存储的开启和配置步骤。

开启托管存储

步骤一:进入托管存储配置

您可以在 数据探索 模块或者 全局配置 > 存储配置 模块中进入托管存储配置。




步骤二:打开托管存储

1. 勾选启用托管存储并保存。
此处您可以指定托管存储类型为元数据加速桶或者普通桶,元数据加速桶和普通桶在计费上一致,但是需要单独配置引擎访问元数据加速桶的权限,详情请参见 元数据加速桶的绑定
2. 查询结果路径用以临时存储 SQL 查询的结果数据、Spark 作业 Shuffle 数据等等,您需要指定一个路径以保证作业和任务的正常运行。如果您开启了托管存储,建议查询结果路径配置为托管存储。您也可以把查询结果路径配置到自己账号下的 COS 存储桶 路径。




查看托管存储桶

开启托管存储后会创建一个存储桶,可以在 数据管理 模块查看托管存储上的桶以及数据。




销毁托管存储

销毁数据是高危行为,只有当库表数据都删除后,您才可以销毁托管存储。销毁托管存储需要管理员权限。

步骤一:删除库表数据

销毁托管存储需要先删除托管存储上的所有库表数据。
您可以参考 数据目录及数据库管理数据表管理这两篇文档删除掉库表数据,也可以在 数据探索 模块 运行 DROP 语法删除掉库表数据。

步骤二:销毁托管存储

删除库表数据后,您可以在存储配置模块下的托管存储配置页签,销毁托管存储。
销毁托管存储会把所有的 DLC 托管存储桶都删除,请谨慎操作。