让 AI 操作电脑，截图是最贵的那一步

上周我让日报流水线里的 agent 去点开一个桌面工具，它先截了张图，又截了一张，十几次往返之后，账单上那个数字让我愣了一下。我干二十年架构，第一反应不是模型又强了，是这一步的账算错了。那不是一次偶然的浪费，是截图路线在桌面 agent 上必然的成本结构。

让 AI 操作电脑，别再喂它截图。用结构代替像素，省下的不是计算量，是 agent 在你桌面上看得懂、做得到的确定性。

截图喂给 AI，贵的不只是图

把屏幕截图丢给模型，等于强迫它用最贵的方式理解你的电脑。像素不是它的母语，它要先看懂图里哪里是按钮、哪里是输入框，再决定下一步点哪。这一步的浪费是成倍的。模型每读一次截图，都要重新理解一遍布局，上下文被反复喂进又丢弃，账单跟着翻。

vercel-labs 刚开源的 agent-desktop 给了我一个很直接的对照：它让 agent 走操作系统的无障碍树读界面，而不是截屏。在复杂的桌面应用上，计算量直接降了将近九成。我每天跑的日报流水线，agent 调一堆工具，计算量是我天天盯着的账。如果哪天要让它操作桌面软件，走截图路线我会肉疼，走结构路线才划算。

结构化数据优于非结构化像素，这是二十年老架构师的直觉，放到 agent 桌面操作上照样成立。 截图像素里藏着的，都是模型要猜的未知数。界面结构树把哪里能点、点了会怎样直接给它，猜的环节越少，翻车的概率越低。

国产模型把电脑操作做成标配，这把尺子要重画

腾讯 11-04 发的混元 Hy4，把电脑操作的能力做进了默认项：结合命令行和图形界面执行复杂任务，还顺带带了视觉理解。国产旗舰开始卷能操作你的电脑，这件事本身在改我的评估基准线。

电脑操作成为国产旗舰标配，评估桌面 agent 的尺子要重画。 但我要泼一盆冷水。截图路线在国产模型上同样贵，界面结构树路线也得同步跟上。更关键的是权限：agent 能操作桌面之后，它能看到什么窗口、能点哪个按钮、能读哪段文字，边界比截图时代更细，也更危险。

让 agent 碰你的电脑，第一步不是教它干活，是画一条最小权限线。 出网和方法限制写在工具层，而不是等它做错了再补救。这条从十月一路沉淀下来的判断，到电脑操作这儿更硬了。

我早年做变电站远程智能巡检的后端，第一件事不是写代码，是定规矩：业务层里不许出现框架的上下文对象。原因不是那个对象危险，而是不该出现的依赖一旦允许，就再也收不回来。桌面 agent 的权限线，是同一个老道理。

马上可以动手的三件事

第一，查一遍你的 agent 操作桌面走的是截图还是结构树。还走截图的，把改用结构化界面树列进待办，先在 Electron 这类应用上小范围试，别一上来就全量。

第二，给电脑操作划一条最小权限线：只授权它明确需要的窗口和字段，出网与方法限制在工具层写死，凭据和代码不出这台机器。更现实的做法是先在测试环境划一小块桌面权限灰度，量清楚它到底点了什么、读了什么，再谈全量铺开。

第三，把 agent 操作桌面的计算量加进你的成本看板，跟 API 单价、缓存命中率放一起算总账。账算不清楚，你永远不知道哪一步最该优化。

信任面每外移一步，最后都要落到工具层的一行配置上。 我们给 agent 加能力、铺入口的时候，别忘了把规矩焊进结构。

窗口内其他信号速览

• 11-04 腾讯混元 Hy4 发布：770B MoE、视觉理解、电脑操作，权重近期开源（厂商自报，未独立复现）。
• 11-04 「Astra 读写权重改进 Qwen」爆帖遭权威逐条反驳：任何模型自我改进主张，先问独立复现、鲁棒性、分布外三件事。
• 11-04 Postman 静默安装 AI 插件并试图共享全部 API 数据；Nvidia RTX Spark 加密固件把 Linux 推理压到 35%：信任面继续外移到工具链与硬件。
• 11-04 claude-code v2.1.318：凭据过期预警、跨账号成本归属做成可观测。
• 11-04 GitHub 官方 spec-kit 单日涨一万三千星：Spec-Driven Development 从方法论变官方工具链。