LiteVLA-Edge：让 Jetson AGX Orin 成为嵌入式机器人的实时智能大脑

这款由克拉克亚特兰大大学和西门子公司联合研发的 LiteVLA-Edge，是一款专为嵌入式机器人打造的轻量级多模态智能模型，核心解决了机器人领域的一大行业痛点：让机器人的 “大脑” 真正装在自己身上，在无需云端算力支撑、低功耗运行的实际场景下，也能在嵌入式硬件上本地、低延迟地完成 “看画面、懂语言、做动作” 的全流程感知 - 决策 - 执行闭环，实现真正的实时智能控制。而英伟达 Jetson AGX Orin 这款量产级嵌入式 GPU 硬件，作为 LiteVLA-Edge 的核心部署载体，也因这款模型的优化适配，充分发挥出 40W 低功耗、高集成度的硬件优势，成为边缘机器人实现视觉 - 语言 - 动作（VLA）多模态实时控制的理想平台，二者的结合让嵌入式机器人的本地智能落地从概念走向了可量产的现实。

论文地址：https://arxiv.org/pdf/2603.03380

此前机器人领域的众多 VLA 模型，虽在任务泛化能力上表现亮眼，却始终受限于极高的算力需求，难以真正落地到机器人本体的嵌入式硬件中。比如经典的 OpenVLA 模型，凭借 70 亿参数实现了出色的零样本泛化能力，但必须搭配 RTX 4090 这类高端桌面显卡才能运行；EdgeVLA 虽主打边缘部署，却仍需依托 A100 这类高算力平台，这些模型的研发大多聚焦于数据中心级 GPU 的基准精度优化，却被贴上 “高效边缘模型” 的标签，完全无法适配户外作业、战术防御、无 GPS 封闭仓库等场景下，机器人对低功耗、无云端依赖、低延迟本地执行的核心需求。而这些场景恰恰是嵌入式机器人的主要应用阵地，传统 VLA 模型的算力依赖，让机器人的智能控制始终难以摆脱 “云端遥控” 的桎梏。

即便此前推出的轻量版 VLA 模型 LiteVLA，实现了在树莓派这类极简边缘硬件上的部署，证明了边缘 VLA 的技术可行性，却因多秒的推理延迟，只能让机器人实现 “预判 - 执行” 的开环控制，机器人必须停下思考才能做出下一步动作，面对环境动态变化的场景时，根本无法及时反应，实际实用价值大打折扣。而 LiteVLA-Edge 的研发团队跳出了行业内 “唯精度论”“唯参数论” 的研发思路，将核心研究问题聚焦于 “量产级边缘硬件上，能实现闭环机器人控制的最小模型”，最终交出了 2.56 亿超轻参数、可在 Jetson AGX Orin 上全本地运行的完美答案，而 Jetson AGX Orin 也凭借自身的硬件特性，成为承载这一模型的最佳载体，让嵌入式机器人实现真正的实时 VLA 控制成为现实。

LiteVLA-Edge 的核心优势，首先体现在极致的低延迟与高稳定性上，而这一优势的实现，完全依托于对 Jetson AGX Orin 硬件的深度优化适配，这也是该模型能在这款嵌入式硬件上实现机器人实时控制的关键。在英伟达 Jetson AGX Orin（64GB）这款机器人领域主流的量产级嵌入式 GPU 模块上，LiteVLA-Edge 全程无外部算力卸载、纯本地运行，平均从 “接收 RGB 视觉画面 + 理解自然语言指令” 到 “输出结构化动作控制指令” 的端到端延迟仅 150.5 毫秒，每秒能完成 6.6 次完整的感知 - 思考 - 动作循环，相比此前在树莓派等 CPU 边缘硬件上的 LiteVLA 基线模型，性能提升了约 220%。更值得一提的是，其延迟的标准偏差仅 0.125 毫秒，极致的低抖动特性，让机器人的 ROS 2 控制系统能始终保持稳定的运行频率，彻底避免了因推理延迟波动导致的动作卡顿、失控甚至机械振荡等问题，从硬件运行层面保证了机器人控制的安全性和稳定性。

图为LiteVLA-Edge 系统架构：多模态 Transformer 模型在 Jetson AGX Orin 上实现全端侧运行，并向 ROS 2 发布结构化速度指令，以完成闭环控制。

这一 150 毫秒的延迟阈值，更是借助 Jetson AGX Orin 的 GPU 算力，实现了机器人控制从 “预判 - 执行” 开环模式到 “实时视觉伺服” 闭环模式的质变。在延迟超 1 秒的开环控制模式下，机器人只能根据初始指令做出固定动作，无法根据视觉反馈调整；而在 LiteVLA-Edge 与 Jetson AGX Orin 结合实现的 150 毫秒低延迟下，机器人能实现边动边调整的闭环控制，比如行进中突然发现路障、抓取物体时视觉识别到位置偏移，模型能立刻根据 Jetson AGX Orin 处理的视觉反馈修正运动轨迹，让机器人像人类一样实现 “眼手协调”，即便是在目标位置移动、环境动态变化的复杂场景中，也能顺利完成任务。这一能力的实现，让 Jetson AGX Orin 不再只是单纯的嵌入式算力硬件，而是真正成为了机器人能实时感知、思考、决策的 “智能大脑”。

而能在 Jetson AGX Orin 上实现如此优异的性能，离不开 LiteVLA-Edge 一套针对性的、实用且高效的技术优化管线。该模型并未研发全新的 AI 算法，而是在现有轻量多模态模型基础上，围绕 Jetson AGX Orin 的硬件架构、内存容量、算力特性做了极致的工程化优化，既保证了模型的轻量性，适配嵌入式硬件的资源限制，又不丢失机器人动作控制的精准性。首先，模型以 SmolVLM-256M 为基础骨干，这一 2.56 亿参数的轻量模型本身就适配嵌入式硬件的内存需求，研发团队用机器人实际操作的图像 - 动作标注数据，以 FP32 高精度模式对其进行 LoRA 微调（秩 r=8、缩放因子 α=8），让模型直接学会将 “视觉画面 + 语言指令” 转化为 Jetson AGX Orin 能直接解析的机器人动作指令，从模型训练层面保证了动作控制的高保真度；训练完成后，再通过 4 位 GGUF 量化对模型进行压缩，将 FP32 高精度权重转化为适配嵌入式硬件的量化格式，大幅缩小模型体积，让整个模型能完全驻留在 Jetson AGX Orin 的统一内存中，最小化硬件总线的推理延迟；最后依托 llama.cpp 的 CUDA 后端，将模型的 42 层 Transformer 计算全部卸载到 Jetson AGX Orin 的板载 GPU 上，充分发挥其 GPU 并行计算能力，替代传统的 CPU 推理，实现真正的 GPU 加速推理，彻底告别对外部算力的依赖，让所有计算都在机器人本地的 Jetson AGX Orin 上完成。

同时，LiteVLA-Edge 针对 Jetson AGX Orin 的工程化优化，还体现在与机器人控制系统的无缝对接上，让这款硬件搭载该模型后能真正做到 “拿来就能用”。模型被直接集成到机器人领域通用的 ROS 2 控制系统中，在 Jetson AGX Orin 上运行的模型输出的动作指令，能直接通过 ROS 2 的 geometry msgs/Twist 标准接口驱动机器人的电机，实现对机器人线性速度、角速度的精准控制。更重要的是，模型保留了 “感知 - 思考 - 动作” 的模块化设计，且各模块的计算都能在 Jetson AGX Orin 上合理分配，感知、推理、执行各环节相互独立，这一设计不仅方便工程师在 Jetson AGX Orin 上进行调试和优化 —— 比如感知模块出问题仅修改视觉处理部分即可，无需改动推理核心，还能在该硬件上添加确定性的安全覆盖机制，一旦检测到危险动作，能立刻中断模型输出，避免机器人出现误动作，从工程应用层面保证了 Jetson AGX Orin 搭载 LiteVLA-Edge 后的实际部署可行性。

在与同类模型的对比中，LiteVLA-Edge 在 Jetson AGX Orin 上的部署优势也格外贴合嵌入式机器人的实际需求。当前众多轻量多模态模型如 Moondream2、TinyLLaVA、PaliGemma 等，虽能在边缘硬件上实现视觉 - 语言推理，却只能完成 “看图说话、视觉问答” 等基础任务，无法直接输出机器人的结构化动作指令，若要部署在 Jetson AGX Orin 上，还需额外增加政策网络或转换层，既增加了推理延迟，又提升了硬件运行的复杂度；传统高性能 VLA 模型如 OpenVLA，因 70 亿的大参数，根本无法在 Jetson AGX Orin 上运行，只能依赖高端桌面显卡；EdgeVLA 虽能实现 10-15Hz 的高推理频率，却牺牲了模型的多步语义推理能力，无法处理复杂的自然语言指令，且对硬件算力要求更高，难以在 40W 功耗的 Jetson AGX Orin 上稳定运行。

而 LiteVLA-Edge 则精准卡在了 “轻量、速度、推理能力” 的黄金平衡点，完美适配 Jetson AGX Orin 的硬件特性：2.56 亿的超轻参数，能在 Jetson AGX Orin 的统一内存中完全驻留，无需额外内存扩展；6.6Hz 的推理速度，依托 Jetson AGX Orin 的 GPU 算力实现，足以支撑机器人的闭环实时控制；同时模型保留了足够的语义推理能力，能理解复杂的自然语言指令，并直接输出结构化的动作指令，无需额外转换层，在 Jetson AGX Orin 上实现了 “小而精、精而能用” 的部署效果。更关键的是，该模型能在 Jetson AGX Orin 的 40W 低功耗模式下稳定运行，完全符合嵌入式机器人对功耗的严格要求，这是其他高算力平台无法比拟的优势。

LiteVLA-Edge 与 Jetson AGX Orin 的结合，也让这一组合的落地场景极具广度。因为全程在 Jetson AGX Orin 上本地运行、无云端依赖、40W 低功耗且 150 毫秒低延迟，这一组合特别适合户外移动机器人、战术防御机器人、无网络 / 无 GPS 的工厂封闭仓库、地下矿井作业机器人等实际工业和工程场景。在这些场景中，Jetson AGX Orin 的高集成度让其能轻松搭载在各类机器人本体上，而 LiteVLA-Edge 则为其赋予了实时的多模态智能控制能力。而且 LiteVLA-Edge 的优化方案具备极强的通用性，基于紧凑的多模态骨干、GGUF 量化和 llama.cpp CUDA 运行时的部署组件，能在 Jetson AGX Orin 的不同配置版本上灵活迁移，后续还能基于这一硬件实现更多功能拓展：比如利用 Jetson AGX Orin 的算力支撑，实现多机器人协同的集群机器人系统，让多个搭载 LiteVLA-Edge 的 Jetson AGX Orin 机器人在带宽受限环境中配合作业；甚至让机器人具备自主纠错能力，能通过模型推理口头描述操作失误，并在 Jetson AGX Orin 上实时重新规划动作，无需人类干预。

这篇论文的核心价值，并非发明了新的 AI 算法，而是提供了一套以 Jetson AGX Orin 为核心载体的、可落地、可复刻的 VLA 模型工程化部署方案：将轻量多模态模型与 Jetson AGX Orin 这类量产级嵌入式硬件、机器人 ROS 2 控制系统无缝结合，用实际的测试数据证明了，机器人能在 Jetson AGX Orin 上实现全本地的 “看、懂、做” 实时智能控制。LiteVLA-Edge 也为后续基于 Jetson AGX Orin 等嵌入式硬件的边缘机器人智能研究，提供了一个能直接参考、改进的基础模板，让 Jetson AGX Orin 成为边缘机器人多模态智能控制的核心硬件平台。

而从行业发展角度来看，LiteVLA-Edge 与 Jetson AGX Orin 的结合，也为嵌入式机器人的本地智能发展指明了方向：边缘机器人的智能控制，并非追求大参数、高精度的模型，而是要实现模型与嵌入式硬件的深度适配与工程化优化。这一组合让全本地、语言驱动的多模态机器人控制，在带宽、功耗、延迟受限的实际场景中，成为越来越可行的选择，也让 Jetson AGX Orin 真正成为嵌入式机器人的 “实时智能大脑”，推动边缘机器人从 “机械执行” 向 “自主智能” 迈出了关键的一步。