微软开源框架赋能DeepSeek，释放AI Agent 潜力

微软在其官网宣布推出视觉Agent解析框架OmniParser的最新版本V2.0。该框架能够将DeepSeek-R1、GPT-4o、Qwen-2.5VL等大型模型转化为可在计算机上使用的AI Agent，为人工智能在用户界面交互领域带来新的突破。

与V1版本相比，V2版本在检测小型可交互UI元素时的准确率显著提升，推理速度更快，延迟降低了60%。在高分辨率Agent基准测试ScreenSpot Pro中，V2搭配GPT-4o的准确率达到了39.6%，而GPT-4o原始准确率仅为0.8%，整体性能提升显著。

除了OmniParser V2，微软还开源了omnitool。这是一个基于Docker的Windows系统，集成了屏幕理解、定位、动作规划和执行等功能，是将大型模型转化为Agent的关键工具。

OmniParser V2简要介绍

将大型模型转化为Agent的关键挑战在于：可靠地识别用户界面中的可交互图标，理解截图中各种元素的语义，并准确地将预期动作与屏幕上的对应区域关联起来。OmniParser V2通过将用户界面从像素空间“标记化”解析为结构化元素，使大型模型能够理解和操作这些元素。这一过程类似于自然语言处理中的分词操作，但针对的是视觉信息。借助这种方式，大型模型可以在解析后的可交互元素集合上进行基于检索的下一步动作预测。

案例演示

例如，当一个大型模型需要完成复杂的网页操作任务时，OmniParser V2能够帮助其识别网页中的按钮、输入框等元素，并理解这些元素的功能，如登录按钮、搜索框等。这样，大型模型就能更准确地预测下一步需要执行的动作，比如点击登录按钮或在搜索框中输入关键词。简单来说，OmniParser V2可以被视为大型模型的“眼睛”，帮助其更好地理解和操作复杂的用户界面。

OmniTool集成化工具

OmniTool是一个集成化工具，支持开箱即用，能够将DeepSeek-R1、GPT-4o、Qwen-2.5VL等模型转化为Agent。它由以下三大模块组成：

OmniParser V2：已在前文详细介绍，是核心解析模块。

OmniBox：这是一个基于Docker的轻量级Windows 11虚拟机。与传统的Windows虚拟机相比，它减少了50%的磁盘空间占用，同时提供了相同的计算机使用API。用户可以在更小的资源消耗下，快速搭建和运行GUI自动化任务的测试环境，这对于硬件资源有限的开发者来说非常方便。

Gradio UI：提供了一个交互界面，帮助开发者轻松地与OmniParser V2和大型模型进行交互，快速测试和验证自动化任务的效果。其使用方法非常简单，只需在本地机器上启动OmniBox和Gradio服务器，然后通过浏览器访问Gradio UI提供的界面即可。

OmniParser核心架构

OmniParser的核心思想是将用户界面的视觉信息转化为易于理解和操作的结构化数据。这一过程较为复杂，需要多个模块协作完成。

可交互元素识别

首先，OmniParser需要从用户界面截图中识别出所有可交互的元素，例如按钮、图标和输入框等。这些元素是用户与界面交互的基础，因此准确地检测它们是至关重要的第一步。

功能和语义理解

接下来，OmniParser不仅要识别这些元素的位置，还要理解它们的功能和语义。例如，一个带有三个点的图标可能表示“更多选项”，而一个放大镜图标则可能代表“搜索”。这种对功能的深入理解，才能使大型模型更准确地预测用户可能需要执行的操作。

多阶段解析流程

为了实现这些目标，OmniParser采用了多阶段的解析流程。

第一阶段：可交互区域检测模块

利用深度学习技术，从用户界面截图中识别出所有可能的交互点。这一模块的训练数据集包含了来自流行网页的67,000张独特截图，每张截图都标注了从DOM树中提取的可交互区域的边界框。通过使用模型对这些数据进行训练，OmniParser能够以极高的准确率识别出屏幕上的可交互元素，并为每个元素分配一个唯一的标识符。

第二阶段：功能语义模块

仅仅识别出可交互元素的位置是不够的。在复杂的用户界面中，一个按钮的形状和颜色可能与其他按钮相似，但其功能却截然不同。因此，OmniParser内置了功能语义模块。该模块的目标是为每个检测到的图标生成一个描述其功能的文本。微软开发了一个包含7,185个图标描述对的数据集，并使用BLIP-v2模型对其进行微调，能够更准确地描述常见应用图标的语义信息。例如，它不再仅仅描述一个图标为“带有三个点的圆形图标”，而是能够理解并生成“用于访问更多选项的图标”这样的描述。

第三阶段：结构化表示与动作生成模块

这一模块将前两个模块的输出整合在一起，形成一个结构化的、类似DOM的UI表示。它不仅包含了叠加了边界框和唯一ID的截图，还包含了每个图标的语义描述。这可以帮助DeepSeek-R1、GPT-4o、Qwen-2.5VL等模型更轻松地理解屏幕内容，并专注于动作预测。例如，当任务是“点击设置按钮”时，OmniParser不仅提供了设置按钮的边界框和ID，还提供了其功能描述，显著提高了模型的准确性和鲁棒性。