将 VLA 部署到机器人本体或边缘设备上,需要面对算力、延迟与实时性的多重约束:
- 推理延迟与控制频率的矛盾:VLM 骨干单次前向通常在 100~500 ms 量级,而力控与柔顺操作需要 50~200 Hz 的闭环控制,两者相差约两个数量级,是端侧部署的核心矛盾。
- 算力与显存约束:7B 规模的 OpenVLA 全精度推理需要 A100/H100 级 GPU;通过 4-bit 量化可降至 RTX 4090 运行。面向边缘部署,更小规模的模型成为关键。
- 模型小型化进展:Hugging Face 的 SmolVLA 以 450M 参数借助流匹配与异步推理在消费级 GPU 与边缘设备上实现实时运行;学术界的 NanoVLA 参数量约 100M,在 Jetson 级边缘硬件上实现相较此前方案约 52 倍的推理加速。这些工作表明端侧部署的可行性正在快速提升。
- 时间错配问题:模型计算期间环境可能已发生变化,基于过时观测生成的动作会与真实状态脱节,需要预测式补偿或更快的推理链路来缓解。