未来已来：上海交大团队让机器人学会‘举一反三’，掌握"知识迁移"的秘诀

编辑：陈萍萍的公主@一点人工一点智能

入群邀请：10个专业方向交流群

一点人工一点智能

小工具集散地，知识随笔的分享小站

756篇原创内容

公众号

模仿学习作为机器人获取操作技能的重要范式，近年来取得了显著进展。然而，现有方法在面对新物体、新场景等条件变化时，其泛化能力往往受限。论文提出了一种创新框架，通过引入结构化语义知识模板和匹配算法，显著提升了模仿学习在数据效率和泛化能力方面的表现。本文从专业角度对该论文的各个部分进行深入解析，重点剖析其方法论创新与实验设计，并探讨其对机器人学习领域的潜在影响。

图片

论文地址：https://arxiv.org/pdf/2506.21057

项目地址：https://knowledge-driven.github.io/

图片

简介

作者开篇即指出当前模仿学习在机器人操作任务中面临的关键瓶颈——物体特异性依赖导致泛化能力受限。传统解决方案主要依赖扩大示范数据规模，但这种方法成本高昂且效率低下。相比之下，人类能够通过抽象物体表征轻松实现技能迁移，这一认知洞察成为本研究的重要灵感来源。

作者提出的"知识驱动模仿学习"框架通过外部结构化语义知识对同类物体进行表征抽象，其技术核心包含两大创新：语义关键点图知识模板和由粗到精的模板匹配算法。实验结果验证了该方法的优越性，仅需四分之一专家示范数据即可超越基于图像的扩散策略，并在新物体、背景和光照条件下展现出鲁棒性能。

作者首先肯定了模仿学习在机器人操作任务中取得的成就，但尖锐指出其环境依赖性这一根本缺陷——当遇到训练集未见过的新物体时，策略性能会显著下降。数据扩增策略虽然有效，但需要大量示范数据和计算资源，不符合现实场景中高效学习的需求。

通过对人类学习机制的观察，作者提炼出两个关键技术要求：

(1)开发结构化物体中心知识模板以提高模仿学习效率；

(2)创建能够跨物体实例泛化的鲁棒模板匹配算法。

基于这些要求构建的知识驱动系统具有双重优势：低维结构化观察空间降低了学习复杂度，而匹配算法则通过一致的知识表征对齐支持技能迁移。图1提供的框架概览直观展示了从RGB-D输入生成知识模板、匹配示范到策略学习的完整流程，以及面对新物体时的泛化机制。

图片

图片

相关工作

论文从两个维度对相关工作进行了梳理：模仿学习的基础方法研究和知识驱动路线的探索进展。在基础方法方面，作者指出行为克隆(BC)作为模仿学习的经典范式，通过监督学习直接建立观察-动作映射关系。近年来，基于2D图像和3D点云的视觉编码器发展显著，但提升泛化能力的主流方法仍依赖大规模预训练数据集，如BridgeData、DROID等。这种方法虽然有效，但数据收集成本成为实际应用的障碍，促使研究者探索更高效的替代方案。

在知识驱动模仿学习部分，作者分析了现有方法的局限性：

一类工作利用视觉基础模型(如DINOv2、Segment Anything)作为场景级表征编码器，虽然能捕获丰富语义，但知识表示缺乏显式结构，难以针对特定任务进行调整。

另一类研究采用显式知识定义，如物体位姿估计，虽然简单有效但信息承载能力有限。语义关键点方法(如P3-PO)通过物体中心表征提高了任务性能，但面临关键点检测不稳定的问题(如自遮挡影响)。

相比之下，本文提出的关键点图模板通过结构化表示增强了鲁棒性，同时保留语义信息。与最相近的工作[40,41]相比，本文创新性地在关键点选择中融合语义特征而不仅是几何采样，避免了跨帧关键点不一致的问题。

值得注意的是，作者对相关工作的评述并非简单罗列，而是紧扣自身研究的创新点——结构化语义知识表示与鲁棒匹配算法两条主线展开，清晰定位了本文在学术脉络中的位置。这种问题导向的文献分析方式，既展示了作者对领域发展的深刻理解，也为后续方法部分的创新性论述奠定了理论基础。

图片

核心技术解析

3.1 系统概述与知识模板构建

如图1所示，该方法框架包含三个核心阶段：知识模板提取、模板匹配和策略学习。面对特定类别C的物体O，系统从单次观察中构建类别级知识模板T^C，抽象化该类物体的共有结构和语义信息。模板由K个语义关键点组成：

图片

，其中

图片

为N维语义特征，

图片

表示第k个关键点的三维位置。这些关键点被组织为图结构，显式编码物体结构信息(图2)，而每个节点蕴含的语义特征则提供了隐式知识表示。

图片

语义特征的提取依托视觉基础模型DINOv2 ViT-S/14，该模型通过大规模预训练获得的特征具有出色的跨域泛化能力。关键点采样策略兼顾任务相关性与计算效率，每个物体类别定义3-20个代表性关键点，通过人工标注或最远点采样确定。这种设计既保留了足够的结构信息，又避免了过高维度带来的计算负担。特别值得注意的是，作者将关键点组织为图结构而非简单集合，这一设计使得空间关系信息能够参与后续匹配过程，显著提升了表示的鲁棒性。

3.2 由粗到精的模板匹配算法

模板匹配算法的目标是为给定物体找到最优模板对应关系

图片

，最小化特征距离和结构差异的加权组合(公式2)：

图片

图片

其中

图片

衡量语义相似性，

图片

评估结构一致性R,t,s分别表示旋转、平移和缩放变换，β为权重系数)。这一优化问题面临两大挑战：特征相似点可能对应不同结构位置，而遮挡则导致部分关键点无法直接观测。为此，作者设计了由粗到精的两阶段匹配流程。

粗匹配阶段将问题建模为带缩放的点集配准问题，采用RANSAC策略处理遮挡。设定特征距离阈值δf，将距离超过δf的点对视为无效匹配并施加无限惩罚λ(公式4)：

图片

这种硬阈值处理确保了初步匹配的语义合理性，而RANSAC机制则允许算法基于部分正确匹配推断完整变换，增强了遮挡鲁棒性。Umeyama算法被用来高效求解相似变换参数，为后续精匹配提供良好初始估计。

精匹配阶段针对同类物体的形状变异进行优化。在粗匹配获得的近似变换基础上，算法在邻域内搜索更优匹配点，优化目标扩展为(公式5)：

图片

此时位置约束λ(pi,pk)采用软阈值δp，允许关键点在有限范围内调整以适应形状差异。如图7所示，这一机制使得大把手杯子模板能够适配小把手杯子，通过特征对齐实现精确抓取定位。两阶段设计既保证了匹配效率，又兼顾了形状变异的灵活性，体现了算法设计中的工程权衡智慧。

3.3 知识驱动的策略学习

基于匹配结果，策略学习采用扩散模型框架，输入为复合观察o=[otemplate, orobot, oprogress]。其中otemplate∈R(3×K)表示基坐标系下的关键点位置，orobot为机器人状态，oprogress=当前步数/总步数提供时序感知。动作空间定义为末端执行器的3D位置、6D旋转(采用连续表示[50])和夹持器宽度。策略预测20步动作轨迹，训练时对关键点坐标和末端位姿施加±0.2m平移和±30°旋转的空间增强，提升数据多样性。

面对新物体时，系统通过模板匹配将新物体"变形"为训练集中的模板物体，使策略能够基于已有知识生成适应动作。值得注意的是，出于执行效率考虑，该方法采用开环控制策略——关键点观察仅从首帧获取，而不进行实时更新。实验证明，即使在这种简化设置下，依靠准确的初始匹配仍能获得令人满意的性能，反映了模板表示和匹配算法的有效性。

图片

实验验证

4.1 实验设置与基准比较

图片

作者选择三个需要精确定位的现实任务进行评估(图3)：

(1)杯子任务要求精确姿态估计，1cm偏差即导致失败；

(2)工具任务需正确判断方向并精确抓取中心；

(3)抽屉任务涉及复杂的开启轨迹学习。

实验平台采用Flexiv Rizon 4机械臂和Robotiq 2F-85夹持器，配合两个Intel RealSense D435i RGB-D相机组成多视角感知系统。数据收集通过Force Dimension sigma 7触觉设备遥操作完成，以10Hz频率记录多模态数据。

基准方法选择具有代表性：

(a)基于2D图像的Diffusion Policy[5]，展示原始视觉输入的基线性能；

(b)P3-PO[21]改进版，使用语义对应生成关键点作为观察。

图片

为确保公平，两者均采用相同的扩散策略架构。如表1所示，在已见物体上，本文方法在三项任务中均取得最高成功率(杯子16/20、工具22/25、抽屉15/20)，显著优于原始Diffusion Policy，也超越P3-PO约10-20%。这一结果验证了结构化知识表示的有效性——相比P3-PO的top-1匹配容易因姿态变化导致关键点错配，本文模板匹配算法提供了更干净的观察输入。

图片

数据效率对比实验(图4)更具说服力：在杯子任务中，本文方法仅用24条示范(约为Diffusion Policy的1/4)即达到80%成功率，而Diffusion Policy需要约4倍数据量才能达到相当水平。这一结果印证了作者的核心论点——引入先验知识可大幅降低模仿学习对数据规模的依赖，为实际应用提供了经济可行的解决方案。

4.2 泛化能力评估

图片

针对新物体的泛化测试(表2)设置了更具挑战性的场景：5种未见杯子与3种杯垫、4种新工具(包括勺子、叉子等)、新抽屉实例。结果显示，本文方法在工具任务上显著优于P3-PO(7/10 vs 2/10)，而在其他任务保持相当性能。作者分析指出，工具手柄上相似形状的关键点会使P3-PO的top-1匹配失效，而本文方法通过结构一致性约束确保了关键点分布与顺序符合训练模式，从而产生更可靠的动作生成。

图片

环境变化测试(表3)进一步验证了方法的鲁棒性。在不同背景和动态光照条件下，杯子任务的成功率保持稳定(原始16/20，新背景17/20，新光照10/20)。这种强适应性源于预训练语义特征编码器的跨域泛化能力，表明知识驱动方法对感知条件变化具有天然容错性。

图片

4.3 消融研究与组件分析

特征提取器对比(图6)揭示了DINOv2相比DIFT的优势：前者产生更均匀的特征分布，而后者过度关注局部形状特征(如杯子边缘)。这种特性使DINOv2更适合模板匹配任务，因为均匀特征降低了相似区域错误匹配的风险。

图片

模板匹配有效性验证(表4)通过合成数据定量分析：相比top-1关键点匹配6.54cm平均误差和11.2%匹配率，本文方法达到3.66cm和59.2%，证明结构信息整合显著提升了匹配精度和稳定性。值得注意的是，实验通过人工去除桌面点云控制变量，确保了评估的针对性。

图片

图片

精细匹配模块的贡献通过图7直观展示：对于把手尺寸不同的杯子，粗匹配提供粗略6D姿态估计，而精细匹配则通过特征对齐实现精确抓取定位，验证了算法处理形状变异的有效性。

图片

结论与展望

本文提出的知识驱动模仿学习框架通过结构化语义知识模板和由粗到精的匹配算法，在数据效率和泛化能力方面取得了显著突破。实验证明，该方法仅需传统方法1/4的示范数据即可达到更高成功率，并能适应物体形状、环境条件等多种变化。这些优势使其在实际机器人应用中具有重要价值，特别是示范收集成本高的复杂操作任务。

从方法论角度看，该研究的主要贡献在于：

(1)将人类的概念抽象机制形式化为可计算的知识模板表示；

(2)开发了融合语义与结构信息的鲁棒匹配算法；

(3)验证了结构化先验知识对提升模仿学习效率的有效性。

这些创新为机器人学习领域提供了新思路，特别是在如何平衡数据驱动与知识引导方面提供了成功案例。

未来研究方向可能包括：

(1)将模板自动学习扩展到更广泛的物体类别，降低人工标注成本；

(2)探索动态模板适应机制，处理非刚性物体变形；

(3)结合大语言模型的语义理解能力，实现更高层次的任务知识抽象。

此外，当前开环控制策略在长期任务中可能积累误差，如何在不牺牲效率的前提下引入选择性闭环修正也值得探索。

总体而言，这项工作代表了模仿学习向更高效、更通用方向发展的重要一步，其知识驱动的思路不仅适用于机器人操作，对更广泛的智能体学习研究也具有启发意义。随着计算模型的进步和跨模态知识的融合，我们有望看到更多类似方法突破当前机器学习对数据规模的依赖，向更接近人类学习效率的方向发展。