数据集管理

最近更新时间:2024-10-11 12:16:41

我的收藏

简介

使用智能检索 MetaInsight 时,元数据管理功能可以根据您的需求分析存储在对象存储采集文件元数据并将元数据索引到元数据存储引擎中,为您提供强大的文件查询、统计和管理能力。
智能检索 MetaInsight 支持的文件元数据包括:
文件大小、文件格式、创建时间等文件的基础信息。
对图片、视频、音频等媒体文件进行智能分析得到的标签、人物、文本等丰富的元数据信息。


创建数据集

2. 在左侧导航栏中,选择智能检索 > 数据集管理
3. 点击创建数据集



数据集名称:必填项,输入数据集名称,同一 AppId 下唯一。
选择地域:必填项,选择数据集所在的地域,数据集与所绑定的数据源需在同一地域。
选择检索模版:必填项,在创建数据集时,需指定检索模版,模版定义了本数据集中文件建立元数据索引时所需要调用的算子。
引擎版本:当选择检索模板为图像检索模版或人脸检索模版时,可灵活选择检索引擎用于提升不同规模的数据集的检索精确度与性能,选择标准版时需进行引擎训练操作,详情可见引擎训练
选择存储桶:创建数据集时可绑定存储桶,绑定成功后 MetaInsight 自动为绑定的存储桶中所有新上传的文件建立元数据索引。
输入路径:如需对存储桶内某个路径下文件建立索引,可在输入路径处进行编辑。
存量数据索引:开启存量数据索引后,MetaInsight 会对该数据集下存量数据及增量数据同时建立索引。
说明:
0-50w数据规模建议引擎版本选择基础版,50w-10000w数据规模引擎版本选择标准版。

引擎训练




训练数据:需提供基础数据用于检索引擎的训练,训练数据的来源可以是基础版数据集也可以是COS上指定路径下的数据。
训练数据集:当训练数据选择为数据集时,需选择基础版的数据集用于引擎训练。
说明:
引擎大约需30分钟,训练完成后可建立建立元数据索引。

建立元数据索引

1. 创建数据集 并绑定存储桶。
2. 在左侧导航栏中选择 存储桶管理,前往绑定的存储桶。
3. 选择文件管理>上传文件,上传需进行索引和管理的文件。




数据集管理

1. 创建数据集完成后,您可对数据集进行管理操作。



2. 点击管理,进入管理页面,您可以继续绑定多个数据源或进行解绑操作。



3. 点击升级可对基础版数据集可进行升级操作,升级时将新建一个数据集并使用您所选择的基础版数据集进行引擎训练。



说明:
升级时与升级完成后原基础版数据集依然保留,并且可以正常操作。