社区首页 >专栏 >移动GUI智能体迈向实用化！全新验证器架构V-Droid，刷新成功率纪录

移动GUI智能体迈向实用化！全新验证器架构V-Droid，刷新成功率纪录

新智元

发布于 2025-04-13 07:37:23

1220

文章被收录于专栏：新智元新智元

新智元报道

编辑：LRST

【新智元导读】移动GUI自动化智能体V-Droid采用「验证器驱动」架构，通过离散化动作空间并利用LLM评估候选动作，实现了高效决策。在AndroidWorld等多个基准测试中任务成功率分别达到59.5%、38.3%和49%，决策延迟仅0.7秒，接近实时响应。

随着人工智能和大语言模型（LLMs）的不断突破，如何将其优势赋能现实世界中可实际部署的高效工具，成为了业界关注的焦点。

近期，由微软亚洲研究院、南洋理工大学、清华大学、香港科技大学等多家机构联合推出移动图形用户界面（GUI）任务自动化智能体——V-Droid，凭借其全新「验证器驱动」架构，V-Droid不仅在任务成功率上刷新记录，同时在决策响应速度上实现了接近实时的表现，为移动端自动化控制开辟了全新局面。

链接：https://arxiv.org/abs/2503.15937

图1：V-Droid与其他移动GUI智能体在AndroidWorld上的任务成功率与决策响应时间。对于V-Droid以及其他7B，8B基准模型，决策时间在双卡4090上测试得出；对于72B基准模型，决策时间在四卡A100上测试得出

长期以来，移动设备上的任务自动化一直面临两大难题：一是如何在复杂、多变的GUI环境中准确识别和操作界面元素, 并以多步骤成功完成任务；二是如何在保证任务成功率的前提下降低决策延迟。

以往依靠LLM直接生成操作指令的方法，由于生成过程往往需要连续输出大量信息，导致在实际应用中既不够高效，又容易出现决策偏差。

图2：在决策过程中，将 LLM 用作生成器与用作验证器的智能体架构的关键区别在于：验证器驱动的智能体不会直接根据任务状态直接生成动作，而是在作出最终决策之前，明确地对每个候选都动作进行评估

V-Droid创新性地提出「验证器驱动」的思路。该方法不再直接依赖大语言模型生成最终操作，而是首先通过对UI界面的深入解析构建出详尽的动作集合，再利用经过精细训练的基于大语言模型的验证器对每个候选动作进行评估，最终选出得分最高的动作执行。

这种做法将操作生成与决策判断有效解耦：一方面，与从零开始直接生成所需操作相比，该方案使智能体能够在一个离散且有限的动作空间内高效地进行验证，从而大大降低了决策的复杂度；

同时，由于每次验证仅输出极简的信息（仅一个Token），并且可以对多个候选动作实现并行验证，从而显著缩短了每一步决策所需的时间。

V-Droid在多个公共移动任务自动化基准上均取得了显著提升，例如在AndroidWorld基准上任务成功率达59.5%，比现有智能体提高了近10个百分点，而决策延迟在消费级硬件上（如4090）则降至仅0.7秒左右。

图3：V-Droid 的工作流程：① 从用户界面中提取动作并补充默认动作；② 针对每个候选动作使用模板构建验证提示；③ 利用前缀缓存对候选动作进行批量打分；④ 完成并执行所选动作；⑤ 更新工作记忆

V-Droid的核心突破主要体现在以下几个方面：

动作空间离散化与构建由于移动设备屏幕尺寸有限，每个界面上可交互的元素数量本就较少，V-Droid充分利用这一特性，从当前界面的XML描述中提取所有可点击、长按、滚动、文本输入等基本操作，将它们映射到一个有限的动作空间中。同时，为了应对界面上未直接呈现的操作（例如返回首页或模拟系统操作），系统还预置了一系列默认动作。通过这种方式，原本无限的操作可能性被精细划分为一个可枚举的集合，在这个集合上进行验证，大大降低了决策难度。
验证器驱动的决策机制与流程不同于传统依赖生成式模型直接输出操作指令的方案，V-Droid将LLM的角色重新定位为验证器。系统首先根据当前任务状态构造出候选操作列表，并为每个候选动作生成一个预定义格式的验证提示（Prompt），其中包含任务目标、当前界面状态、历史操作记录以及具体的验证问题。经过预先微调的验证器（基于Llama-3.1-8B等小语言模型）会对每个候选动作进行评分，最终系统选择评分最高的动作执行。由于验证过程只需要生成「Yes」或「No」这类简短回复。更重要是的，多组候选验证可被高效并行，且此过程中只涉及Prefilling阶段，从而极大地减少了计算时间，实现了近实时的决策响应。
对比式过程偏好（P^3）训练为了提升LLM作为验证器的决策能力，V-Droid提出P(3 )训练策略：对比式过程偏好训练策略（Pairwise Process Preference）。在每个任务步骤中，通过构建正负操作对（即标记正确操作为正样本，其他操作为负样本），系统能够利用大量细粒度的训练数据对验证器进行优化，使其更准确地区分正确与错误的操作。这种方法不仅提高了模型对相似界面元素的辨别能力，也在一定程度上增强了系统的容错与自我修正能力。
人机联合标注的数据采集策略由于针对移动GUI任务的细粒度标注数据极为稀缺，V-Droid设计了一套人机联合标注方案。系统初始阶段由人工作业完成标注，随后利用经过初步训练的验证器自动生成操作标注，再由人工审核与修正。随着迭代训练的进行，验证器的准确性不断提升，人工介入比例逐渐下降，从而高效构建起一个涵盖上万条任务轨迹的数据集，为后续大规模训练提供了坚实基础。