Lance 表

最近更新时间:2026-06-17 14:06:00

我的收藏
Lance 表是 TCLake Lakehouse Catalog 下用于管理多模态数据的表对象,面向 AI 训练、向量检索和多模态分析的存储与访问场景。本文介绍如何在 TCLake 控制台对 Lance 表进行管理。

Lance 表概述

Lance 表可以将文本、图像、音视频、Embedding 向量、张量与传统结构化字段统一存储在同一张表中,提供随机点查、列裁剪、版本回溯与向量索引能力,TCLake 中 Lance 表主要优势如下:
面向训练的物理布局:以 Fragment 为存储单元,每个 Fragment 内列独立存放,训练框架可直接按行号或主键随机点查样本,无需扫描整列文件,相比传统列式格式在乱序读取与 Shuffle 场景下吞吐显著更高。
零拷贝列更新:Lance 表的字段以独立列文件存放,新增列、回填列值、修订标签时仅写入新列文件,不重写原有数据;相比 Iceberg 等表格式 ALTER/UPDATE 场景下整文件级重写,列更新成本降低一个数量级。
多模态原生:原生支持向量、张量、图像、音视频字节流等多模态字段类型,无需在外部对象存储中分散存放训练数据。
AI 友好访问:通过 Lance Python SDK 直接对接 PyTorch、Ray、Hugging Face 等训练框架,支持高吞吐随机点查和子集采样。
版本回溯:内置版本与时间旅行能力,可按版本号或时间戳回溯任意历史快照,支撑训练实验复现。
统一治理:与 Lakehouse Catalog 下其他表共享 Catalog/Schema 命名空间和权限体系,统一鉴权、审计与资产盘点。
说明:
Lance 表仅支持在 Lakehouse 类型的 Catalog 下创建。

创建 Lance 表

2. 在数据目录列表页面,选择 Lakehouse 类型数据目录,单击数据目录名称,进入数据目录详情页。
3. 在 Schema 列表中,单击 Schema 名称,进入表列表页。
4. 在表列表中,单击创建表
5. 配置以下信息,单击确定
配置项
说明
表名称
必填,同一个数据目录下不可重名。不允许以数字开头,最长为64个字符,支持大小写字母、数字、_。
表格式
选择 Lance 格式。
表描述
可选,输入表描述。
字段信息
定义表中的字段信息,包括字段名称、字段类型、字段配置、描述信息等。
自定义属性
可以添加自定义属性。

查看 Lance 表

1. 登录 多模态智能数据湖 TCLake 控制台,选择服务所在地域。
2. 在左侧导航栏选择数据目录,进入目标数据目录与 Schema。
3. 在表列表中,单击表名称,可查看表字段、属性。
4. 单击版本历史页签,可查看 Lance 表版本历史。

删除 Lance 表

注意:
Lance 表删除后,托管的数据将默认保留 7 天,7 天后自动删除,请谨慎操作。
1. 登录 多模态智能数据湖 TCLake 控制台,选择服务所在地域。
2. 在左侧导航栏选择 数据目录,进入目标数据目录与 Schema。
3. 在数据表列表中找到目标 Lance 表,单击操作列的删除
4. 在二次确认框中输入表名称,单击确认删除