VLA 模型

一、VLA 模型是如何工作的？

VLA 模型的工作过程可以概括为"图像与指令进、动作出"的端到端映射，中间不再由人工拆分的模块接力传递。

其典型推理流程分为三步：

1. 视觉编码：视觉编码器（通常为预训练的 Vision Transformer）把相机图像转换为一串视觉 token，保留物体类别、空间位置、纹理等感知信息。
2. 多模态融合与推理：语言骨干（大语言模型）将视觉 token 与自然语言指令 token 一并处理，完成语义推理——判断"把红色杯子拿起来"对应画面中的哪个区域、需要怎样的操作序列。
3. 动作生成：动作头把骨干输出的表征解码为具体的机器人动作，如关节速度、末端执行器位姿或夹爪开合指令。

与输出文字 token 的大语言模型类似，VLA 把动作也视为一种"token"来预测。在模型看来，"抓起杯子"与"续写一句话"在形式上是一致的，都是接续上文预测下一个 token，只不过动作 token 对应的是电机指令而非文字。这一设计让 VLA 能够继承大模型在海量互联网数据上学到的常识，从而在未见过的物体和场景中具备一定泛化能力。

二、VLA 模型由哪些核心部分组成？

尽管具体实现各异，主流 VLA 模型普遍遵循三段式架构：

1. 视觉编码器（Vision Encoder）：将图像转化为视觉 token。多数模型复用互联网预训练的 ViT，例如 OpenVLA 采用 SigLIP ViT-L/14，RT-2 采用 ViT-G。视觉编码器是从网络预训练中迁移最直接的部分，因为网络图像中学到的物体识别与空间布局特征可直接服务于机器人感知。
2. 语言条件骨干（Language-Conditioned Backbone）：通常由一个大语言模型承担，负责将视觉 token 与语言指令联合建模，是语义推理发生的位置。OpenVLA 使用 Llama 2 7B，π0 使用约 3B 规模的自研骨干。骨干规模同时决定了推理能力与推理成本。
3. 动作头（Action Head）：将骨干输出转换为机器人动作，是区分不同 VLA 架构的关键设计。常见方案包括离散 token 化、连续回归、扩散与流匹配动作头，各自的精度、延迟与多模态建模能力存在明显差异。

三、VLA 模型与视觉语言模型 VLM 有什么区别？

VLM 与 VLA 的核心差异在于是否具备动作生成能力，二者在功能边界上呈现清晰的递进关系：

1. 功能范围：VLM（Vision-Language Model）仅实现"感知—理解"，接收图像或视频与文本输入，输出文本响应（如问答、描述），典型代表包括 GPT-4V、Qwen-VL；VLA 在此基础上增加动作生成模块，直接输出智能体可执行的动作序列，实现"感知—理解—执行"一体化。
2. 输出形式：VLM 的输出是文本 token；VLA 的输出是动作 token 或连续动作轨迹，对应机器人关节与末端执行器的运动。
3. 数据依赖：VLM 主要依赖静态图文配对数据；VLA 除图文数据外，还需大量带动作标注的机器人演示数据（teleoperation 数据），用于学习从理解到操作的映射。
4. 应用定位：VLM 面向图像理解与多模态问答等认知任务；VLA 面向机器人操控、自动驾驶等需要物理交互的具身任务。

可以将 VLM 理解为 VLA 的认知前端——许多 VLA 正是直接在预训练 VLM 骨干之上扩展动作能力构建而成。

四、VLA 模型与世界模型有什么区别？

VLA 与世界模型解决的是具身智能中两个不同层面的问题：

1. 核心职能：VLA 侧重"感知—理解—执行"，直接与物理环境交互并输出动作；世界模型侧重"环境建模与未来预测"，基于历史状态与动作输入预判环境未来的演化趋势，本质是构建智能体对物理世界动态变化的内部表征。
2. 交互方式：VLA 直接输出动作作用于环境；世界模型不直接执行，而是为决策提供"预演"能力，帮助智能体在行动前预判后果、进行安全校验。
3. 数据特征：VLA 依赖图文与机器人演示数据；世界模型更强调多模态传感器数据（摄像头、LiDAR、雷达、IMU 等）的时空连续性与物理规律。
4. 融合趋势：二者并非非此即彼。2026 年以来，世界模型与 VLA 正从独立演进走向深度融合——世界模型可作为 VLA 的"想象模块"，在执行前预测动作后果，用于规划与安全校验，缓解纯 VLA 可能产生违反物理规律动作的问题。

五、VLA 模型相比传统模块化机器人系统有哪些优势？

传统机器人系统通常将感知、语言理解、运动规划拆分为三套独立模块接力工作，VLA 的端到端范式在多个维度上形成优势：

1. 避免误差累积：模块化流水线中，任一环节的理解偏差都会沿链条放大——视觉认错物体，后续规划全部失效。VLA 将三个环节整合进同一模型，消除了模块间信息传递的损耗。
2. 语义泛化能力：VLA 继承了大模型在海量网络数据中学到的常识，能够理解从未在机器人演示中出现过的指令与物体。RT-2 已验证 VLA 可执行"捡起能用来清理洒落物的东西"这类需要语义推理的任务，而无需显式编程。
3. 端到端一气呵成：图像与指令输入后直接输出动作，中间没有"接力棒丢失"的环节，简化了系统设计与工程维护。
4. 跨任务复用：同一套 VLA 权重可通过微调适配多种任务与机器人本体，而非为每种任务单独开发控制程序，显著降低了新场景的落地成本。

六、VLA 模型的快慢双系统架构是如何协同工作的？

为了让机器人既有推理深度又有执行速度，业界提出了借鉴人类认知的"快慢双系统"架构，将 VLA 的推理与控制分工处理：

1. 慢系统（System 2）：由视觉语言大模型承担，负责理解环境、接受语言指令、进行高层推理与任务规划，预测未来的行为轨迹。其工作频率较低（通常数赫兹量级），对应人类的"大脑皮层"，负责思考。
2. 快系统（System 1）：通常基于扩散模型或轻量控制网络，负责将慢系统的规划高速转化为高频实时动作。其工作频率可达数十至数百赫兹，对应人类的"小脑与肌肉反射"，负责快速执行。
3. 协同机制：慢系统"想清楚要做什么"，快系统"迅速落实动作"。慢系统以较低频率（通常为每秒数次的量级）进行推理规划，快系统以数十至数百赫兹的高频输出连续控制指令，二者通过共享的表征空间通信协同工作。

这种"大脑—小脑—肌肉"的分工，使机器人既能处理需要推理的复杂任务，又能以接近人类的流畅度完成精细操作，同时缓解了单一 VLM 骨干推理速度不足以支撑高频闭环控制的矛盾。以 Figure AI 的 Helix 为例，其慢系统为 7B 视觉语言模型，以 7～9 Hz 进行场景理解与语义推理；快系统仅 8000 万参数，却能以 200 Hz 输出上半身全部 35 个自由度的连续控制指令，端到端响应延迟控制在 50 ms 以内。英伟达 GR00T N1 同样采用双系统设计，慢系统为视觉语言模块（运行频率为每秒数次的量级），快系统为扩散 Transformer 动作模块，二者端到端联合训练。2026 年 1 月更新的 Helix 02 进一步引入运行频率达 1000 Hz 的 System 0，负责关节级指令输出，将分层控制推向更高频率。

七、VLA 模型如何融合 3D 空间感知能力？

早期 VLA 多依赖固定视角的二维图像输入，在遮挡与精细操作场景下容易因视觉信息缺失而误判。2026 年以来，3D 空间感知成为 VLA 感知升级的重点方向：

1. 主动视角选择：复旦大学 2026 年 1 月提出的 ActiveVLA，根据任务需求在三维场景中选择更有利的虚拟视点，并放大关键操作区域，降低遮挡与视觉细节缺失对动作决策的影响。
2. 多尺度点云融合：法国 Inria 2026 年 5 月提出的 PointACT，通过引入多尺度三维点云，使机器人在生成动作时兼顾局部几何细节与整体空间布局，提升精细操作中的空间判断能力。
3. 三维高斯表征：南洋理工大学 2026 年 7 月提出的 VistaVLA，利用三维高斯表示将物体的语义信息与其三维位置、形状关联起来，为操作提供更完整的空间结构理解。

这些工作的共同方向，是让 VLA 从"固定视角看图"走向"三维空间感知与多模态融合对齐"，从而支撑更精细、更可靠的操作。

八、VLA 模型如何实现主动感知与视角选择？

主动感知指智能体不再被动接受固定视角输入，而是根据当前任务主动调整观察方式，是 VLA 感知能力演进的重要方向：

1. 任务驱动的视点规划：模型根据操作目标判断哪些区域是关键，主动选择能够最清晰观察这些区域的视角，而非依赖预设的固定机位。ActiveVLA 即通过选择合适的虚拟视点并聚焦关键操作区域来提升动作选择质量。
2. 视角与策略分布对齐：2026 年提出的 ActiveAlign 等工作，将"主动调整视角"的行为与后续操作策略的数据分布对齐，解决遮挡场景下"看清了反而不会做"的问题，使感知动作与操作动作在训练上保持一致。
3. 与主动操作的闭环：主动感知使机器人能够在操作过程中动态调整观察角度，为后续的抓取、插入等精细动作提供更可靠的视觉依据，形成"观察—行动—再观察"的闭环。

九、VLA 模型的记忆机制是如何设计的？

为支撑长时程任务，VLA 需要记忆机制来保留历史观察与任务进度，避免因信息丢失而重复或中断操作：

1. 短期视频记忆：保留近期的视觉观察，减少因遮挡造成的信息丢失，使机器人在目标短暂被遮挡时仍能延续操作。
2. 长期语言记忆：记录已完成的任务阶段与关键事件，用于进度追踪与策略调整。Physical Intelligence 2026 年 3 月发布的 MEM 即将短期视频记忆与长期语言记忆结合，前者保留近期观察，后者记录任务阶段与关键事件。
3. 固定容量循环记忆：南洋理工大学 2026 年 9 月提出的 MemBodied，采用固定容量的循环记忆保留历史交互信息与初始场景，使机器人能够调用已不在视野内的信息来指导后续动作，在有限内存预算下实现长时程记忆。

十、VLA 模型如何处理触觉与力反馈信息？

在接触密集型操作（如擦拭、插拔、切割）中，仅靠视觉难以感知接触状态与力度，触觉与力反馈的引入成为 VLA 的重要补充：

1. 触觉标注视觉输入：密歇根大学 2026 年 6 月提出的 TAP-VLA，在视觉图像上标注由触觉传感推导出的力方向，在不改变 VLA 架构的前提下引入接触反馈，提升接触密集操作的性能。
2. 快慢分层力控：TARS Robotics 的 OmniVTA 采用分层快慢机制——慢系统预测接触变化并规划动作，快系统以 60 Hz 的触觉反射控制器根据预测与实际反馈的差异及时修正动作，帮助机器人恢复中断的接触并避免用力过度，在擦拭、切菜等任务上取得 80% 以上的成功率。
3. 视觉与触觉的分工：当前最佳实践是让 VLA 负责接近阶段（识别物体、规划轨迹），由力/触觉策略负责接触阶段（力调节、插入、手内操作），因为语言骨干对接触动力学难以提供有效先验。

十一、VLA 模型是如何实现跨机器人本体迁移的？

不同机器人的关节数、自由度、动力学参数与相机位姿各不相同，直接混合训练既可能获得跨本体泛化，也可能相互干扰。主流解法有三类：

1. 共享动作语义的多头训练：StarVLA 开源社区 2026 年 8 月发布的 VLAct，通过多个动作头联合训练并共享跨物理本体的动作语义，使有限的机器人轨迹数据能够在不同任务、环境与本体间复用。
2. 软提示（Soft Prompt）：以 X-VLA 为代表，为每种本体学习一组连续提示向量作为可训练前缀注入骨干，让同一套权重在不同本体上呈现不同的行为模式，把"本体身份"从训练障碍转化为条件输入。
3. 跨本体数据规模化：OpenVLA 在来自 22 种机器人本体的 Open X-Embodiment 数据集上训练，验证了跨本体训练能够提升每个单独机器人的表现——类似多任务学习中的正向迁移效应。

十二、VLA 模型如何解决长时程任务的可靠性问题？

长时程任务要求机器人在多步骤操作中保持决策的连贯与可靠，VLA 正从直接动作映射转向"推理—预测—记忆"协同：

1. 可供性结构化推理：北京大学 2026 年 6 月提出的 AffordanceVLA，将操作围绕三个问题结构化——操作哪个物体、在哪里接触、如何执行，通过目标定位、接触区域识别与三维空间关系分析，把抽象指令转化为更具体的操作指引。
2. 记忆支撑的进度追踪：借助短期与长期记忆机制（见第九节），模型能够追踪任务进度、避免重复已完成步骤，并在中断后恢复操作。
3. 动作链式推理：部分模型在动作空间中显式推理，先生成粗粒度轨迹规划再执行精细控制，在长时程基准（如 LIBERO-Long）上取得领先结果。
4. 世界模型预演校验：将世界模型作为子目标图像提供者集成到 VLA 中，在执行前预览动作后果，用于拒绝不安全动作、提升长时程决策的安全性。

十三、VLA 模型如何解决数据稀缺问题？

数据是制约 VLA 泛化能力的首要瓶颈——机器人演示数据的采集成本远高于网络文本，规模通常以万小时或数十万条计。当前主要应对策略包括：

1. 复用互联网预训练：VLA 的核心思路正是"借脑"——把在海量网络图文数据上预训练的视觉语言骨干作为基础，再用相对少量的机器人演示数据进行微调，从而以远少于从零训练的数据量获得泛化能力。
2. 合成数据扩充：借助仿真环境生成大规模合成轨迹。英伟达 GR00T N1.7 结合第一人称人类视频、真实机器人轨迹与 Cosmos 仿真生成的合成数据；其部分工作可在约 11 小时内生成 78 万条合成轨迹。
3. 跨本体数据复用：通过跨本体训练与共享动作语义，让一条轨迹数据在多种机器人间复用，提高单位数据的利用效率（见第十一节）。
4. 数据质量优先于数量：研究表明，200 条覆盖多样配置的演示往往优于 500 条重复配置的演示。相机位姿一致、标注清晰、子任务分类合理的语料库，能显著提升下游微调效果。

十四、VLA 模型的泛化能力体现在哪些方面？

泛化能力是 VLA 区别于传统模仿学习策略的核心特征，主要体现在三个层面：

1. 对未见物体的泛化：借助网络预训练获得的常识，VLA 能够操作训练中未出现过的物体。RT-2 已展示在仅于互联网上见过、从未在机器人演示中出现的物体上完成任务的能力。
2. 对指令表达的泛化：模型能够理解同一目标的不同语言表述（如"把杯子拿过去"与"帮我端一下杯子"），而传统策略对指令改写较为敏感。
3. 对开放环境的泛化：Physical Intelligence 的 π0.5 展示了在完全陌生环境中无需重新训练即可执行任务的能力，这种开放世界泛化主要来源于训练数据的多样性而非单纯的架构设计。

需要指出的是，VLA 的泛化能力仍存在边界：在接触密集、高精度或高度动态的任务上，其表现往往不如专门优化的策略；"幻觉"问题（在不确定情形下输出自信但错误的动作）也尚未彻底解决。

十五、VLA 模型如何保障操作安全性？

由于 VLA 可能产生违反物理规律或超出能力边界的动作，安全性保障通常采用多层防护：

1. 世界模型预演校验：在执行前通过世界模型预测动作后果，识别并拒绝不安全动作。中科第五纪 FAM-1.3 让操作员预览机器人"以为会发生什么"的未来视频，评估者借助预览拒绝不安全动作的比率显著高于无预览情形。
2. 硬性安全层约束：在模型输出之上叠加力限制、工作空间边界等确定性安全约束，防止模型输出超出物理安全范围的动作。
3. 接触反馈修正：通过触觉反射控制器在接触阶段实时修正动作，避免用力过度或接触中断（见第十节）。
4. 预测式状态补偿：北京大学 2026 年 7 月提出的 Jetson-PI，预测动作实际执行时刻的环境状态并结合端侧推理优化，减少因基于过时视觉观测生成动作而导致的时间错配，间接降低误操作风险。

十六、VLA 模型如何进行微调与后训练？

预训练 VLA 通常需要在目标机器人与任务上进行适配，微调与后训练策略直接影响落地效果：

1. 参数高效微调：OpenVLA 支持 LoRA 微调，可在单张消费级 GPU 上完成适配，将显存需求降至约 40 GB，大幅降低了学术界与中小团队的微调门槛。
2. 动作头适配：由于动作头是任务相关的核心，微调常聚焦于动作头或其与骨干的连接部分，保留骨干的通用语义能力。
3. 强化学习后训练：部分方案在模仿学习基础上引入强化学习进行后训练，如 π*0.6 结合 VLM 价值函数进行 RL 后训练，以提升策略在特定任务上的成功率与鲁棒性。
4. 后训练数据质量：微调数据需包含语言指令元数据、与部署一致的相机视角，并覆盖目标物体位姿与场景配置的完整范围，数据质量往往比算法选择更能决定最终效果。

在工程落地层面，VLA 的微调与后训练涉及大规模多模态数据处理、GPU 算力调度与分布式训练编排，团队可借助腾讯云大模型训推平台 TI-ONE 这类一站式训练推理平台完成从数据准备、模型精调、强化学习后训练到模型评测与部署的全流程，其面向具身智能场景的工具链亦支持世界模型仿真与多模态大模型训练，有助于降低 VLA 从实验到落地的工程门槛。

十七、VLA 模型在端侧部署时面临哪些挑战？

将 VLA 部署到机器人本体或边缘设备上，需要面对算力、延迟与实时性的多重约束：

1. 推理延迟与控制频率的矛盾：VLM 骨干单次前向通常在 100～500 ms 量级，而力控与柔顺操作需要 50～200 Hz 的闭环控制，两者相差约两个数量级，是端侧部署的核心矛盾。
2. 算力与显存约束：7B 规模的 OpenVLA 全精度推理需要 A100/H100 级 GPU；通过 4-bit 量化可降至 RTX 4090 运行。面向边缘部署，更小规模的模型成为关键。
3. 模型小型化进展：Hugging Face 的 SmolVLA 以 450M 参数借助流匹配与异步推理在消费级 GPU 与边缘设备上实现实时运行；学术界的 NanoVLA 参数量约 100M，在 Jetson 级边缘硬件上实现相较此前方案约 52 倍的推理加速。这些工作表明端侧部署的可行性正在快速提升。
4. 时间错配问题：模型计算期间环境可能已发生变化，基于过时观测生成的动作会与真实状态脱节，需要预测式补偿或更快的推理链路来缓解。

十八、主流开源 VLA 模型有哪些代表作品？

2024～2026 年间，开源 VLA 快速追平闭源方案，形成了覆盖不同规模与场景的模型谱系：

1. OpenVLA：由斯坦福等机构开源，参数量 7B，采用离散动作 token 化，在来自 22 种机器人本体的约 97 万条真实演示上训练，以约七分之一的参数量在多项任务上超越 55B 的 RT-2，是当前应用最广的开源基线之一，支持单卡 LoRA 微调。
2. Octo：参数量约 93M 的轻量开源通用策略，采用扩散动作头，可在 RTX 4090 上运行，适合作为验证任务与数据管线的入门选择。
3. π0 / π0.5：Physical Intelligence 提出的流匹配动作头代表工作，骨干约 3B，擅长灵巧与长时程操作；π0.5 展示了开放世界泛化能力，部分权重已通过 openpi 开源。
4. GR00T N1 / N1.7：英伟达提出的通用人形机器人基础模型，采用快慢双系统架构，结合真实遥操作数据与大规模合成轨迹，面向人形机器人全身控制。
5. SmolVLA：Hugging Face 在 LeRobot 框架下开源的 450M 参数紧凑模型，采用流匹配与异步推理，可在笔记本与消费级 GPU 上运行，性能可比肩部分 7B 模型，是边缘部署与入门研究的常用选择。

从趋势看，开源 VLA 正朝着更小参数量、端侧推理与开放权重方向发展，模型架构本身已不再是唯一变量，数据质量与覆盖度日益成为决定落地效果的关键因素。