计算机使用智能体：方法、数据、评估与信任

摘要

计算机使用智能体——通过截图、无障碍树以及键盘鼠标操作来操控图形界面的系统——在大约三年内从脚本化的概念验证发展为经过训练的模型，后者在多个基准测试中完成了大多数单应用任务。本综述描绘了这一转变在整个智能体循环中的图景：观察与界面、感知与定位、规划与记忆、动作生成与执行、数据、训练、评估、安全与部署。我们完整阅读了 121 篇论文，并筛选了 613 项相关工作的语料库。

四项发现组织起了这一领域。第一，起主要作用的是动作接口而非观察：仅改变智能体所见与其所能做之间对齐方式的受控消融实验，产生的增益大于观察压缩，而最强的桌面系统是在 GUI 控制与代码执行之间进行路由的系统。第二，测量装置是最薄弱的组件：独立审计显示，没有哪个被评估的 LLM 评判器精度超过 70%，基于规则的评判器低报成功率 16–19 个百分点并颠倒模型排名，而一个已发表的定位基准包含约 11% 的标签错误。第三，增益所在是验证而非规划：分解消融实验将回溯的几乎全部收益归因于判断结果状态是否为预期状态，而非检查某个动作是否执行。第四，劫持并非危害，而该领域经常将前者报告为后者：三项独立安全研究测量了完整链条，发现端到端攻击成功率远低于注入率。

我们还记录了文献未能解决的问题：报告以单次运行且无方差为主，训练与评估分布日益重叠，若干最大的已公布数据发布没有正文内位置，而在一项直接测试人类监督的研究中，其作为安全后备机制失败了。本综述最后以五项基础性分歧作结，双方证据均有陈述，并基于这些空白提出八个研究方向。

范围与方法

主题边界。 本综述涵盖操作图形界面的智能体——网页浏览器、移动应用和桌面操作系统。仅终端和仅 API 的智能体仅作为对照出现，因为混合界面证据（第 10.5 节）需要它们作为比较条件；它们不被视为单独的章节或语料库。这些系统中与安全相关的行为报告被纳入；一般 LLM 安全工作则不被纳入。

截止时间。 纳入作品截至 2026 年 10 月 12 日的 v1 arXiv 提交日期。本报告中的 arXiv 标识符在撰写时已对照图书馆元数据核实；若某篇论文的标识符无法核实，其编号仍被引用，但其条目基于我们能够确认的元数据。

构建。 候选检索结合了关键词规则、语义召回和每日 arXiv 公告流，合并为单一池，而非视为相互竞争的过滤器，并限定于上述时段和相关学科类别。筛选应用了一个共同纳入条件——该工作涉及操作 GUI 环境的智能体——并排除仅 CLI 智能体、纯终端基准和通用 LLM 工作。这从 833 篇的池中留下了 613 篇纳入作品。随后，语料被分配到十二个分支的工作分类法中，121 篇论文被全文阅读并记录为结构化证据卡，涵盖机制、设置、定量结果、已发布制品和所述局限。为广度而非深度引用的论文用于分组句子中，不承载关键主张。

证据层级。 在来源处全文阅读并用于具体定量主张的作品被视为一手证据。仅从摘要和元数据总结的作品，在其主张重要时，于文中如此标记。供应商报告的结果和商业系统文档（第 12.5 节）被视为供应商主张，而非经验证的测量，并且在本调查中绝不与同行评审的数字进行比较。

展品。 图和表按两个独立序列编号，各按首次出现顺序，且每个展品在文中均以其编号指代。图题和表题遵循其所描述的展品。

证据薄弱之处。 四个领域的支持弱于其章节长度所暗示，文中对每个领域均有标示：无障碍辅助，其中两篇纳入作品均为原型，且有一篇没有其所针对残障的参与者（第 12.3 节）；CLI 对比方向，仅由单一基准支持（第 10.5 节）；安全中的图像模态防御，其中一种测试的补救措施完全失败（第 11.5 节）；以及图像与结构问题，其中唯一一项受控的按观察建模研究显示，排名在不同模型间反转（第 4.4 节）。

本调查不是什么。 它不是具有正式纳入/排除裁决的注册协议意义上的系统性调查：筛选使用由自动评判器应用的单一共同条件，并进行抽样验证。它不应被解读为该领域的普查，其计数也不应用于推断增长率或类别份额。在我们报告趋势之处，给出了支持性时段及其可比性。

1 引言

计算机使用智能体（CUA）是一种 AI 系统，它像人一样操作计算机——它查看屏幕，并点击、输入、轻触和滚动——以执行用自然语言陈述的任务。指令“预订周五飞往里斯本的最便宜直飞航班，并将其添加到我的日历”被端到端执行：打开浏览器、填写表单、阅读确认信息、切换到日历应用并创建事件。不假定有按网站的 API、手写脚本或按应用的插件。与更广泛的工具使用语言智能体文献相比，这是一种刻意狭窄的能力，而狭窄正是关键：界面是已经存在的图形用户界面（GUI），因此原则上，人通过屏幕能够触及的任何事物都是可处理的。

该研究领域年轻、发展迅速，且异常碎片化。早期工作通过结构化页面表示上的强化学习，实现了网页和移动端导航的自动化[5, 7]。大型基础模型的出现使该领域转向以指令为条件的策略——读取屏幕并输出动作[3]，到 2024 年，围绕桌面、网页和移动环境已经形成了一个可辨识的基准生态系统[5, 6, 8]。此后，该领域分化为两条相互强化的路线：原生计算机使用模型，在 GUI 轨迹上端到端训练，并日益通过强化学习进行精炼；以及框架式智能体，通过感知、记忆和验证模块来编排一个冻结的前沿模型。商业产品如今已直接交付这一能力。大约两年内出现了九篇综述文章[1, 2, 3, 4, 10, 11]，这本身就是一个信号，表明该领域仍在整合之中，而非已经定型。

本综述正是在这一背景下撰写的。我们覆盖通过图形界面操作计算机的智能体，横跨网页、移动和桌面/操作系统环境，涵盖截至 2026 年 10 月的 v1 投稿。命令行和仅终端智能体仅在涉及 GUI 问题时才加以讨论（例如，在点击和运行命令之间选择的混合智能体）；纯终端基准和智能体不在边界之内。在这一边界内，我们提出一个问题：计算机使用智能体实际上如何工作，证据表明哪些设计选择重要？

本综述的组织框架是智能体自身的信息处理循环。每个 CUA，无论怎样构建，都必须 (i) 获得屏幕观察，(ii) 定位指令所指的对象，(iii) 决定下一步做什么，(iv) 执行环境接受的动作，以及 (v) 如果它学习的话，从数据和奖励中学习。第 4–9 章依次讨论这些阶段；第 10–12 章处理评估、信任和应用，这些贯穿所有阶段。图 1 展示了这一结构。

图 1. 本综述的组织结构：五个阶段，从左到右阅读。

范围与方法

语料库由本地图书馆上的八条互补检索路线组装而成——针对核心计算机使用问题、网页导航、移动控制、桌面/操作系统控制、视觉定位、训练与强化学习以及安全的语义召回——连同标题定向关键词路线和参考文献驱动的滚雪球检索。这些路线的并集按照上述以 GUI 为中心的边界进行相关性筛选，得到 833 篇候选中的 613 篇纳入作品；另有 67 篇作品作为经过验证的锚定参考文献加入。引用层级按阅读深度分配：一组作品被全文阅读，可能承载机制和结果主张；更大的一组按方法层面阅读；其余则按其声称所做的工作被引用。附录记录了检索路线、截止时间以及覆盖较薄的领域。我们并不声称语料库是穷尽的：该领域没有统一术语，而且关于效率以及 2023 年前强化学习网页智能体的章节，所依据的已检查来源少于其余部分。

贡献

首先，一个统一的形式化框架（第2节），用同一套记号表达观察空间、动作空间、落地（grounding）和学习目标，使为不同平台构建的方法能够按机制而非按平台进行比较。其次，一个按智能体循环而非按实例化该循环的系统来组织的分类体系（第3节）。第三，截至2026年10月的最新综合，涵盖训练中的强化学习转向，以及随着智能体从沙盒走向真实环境而浮现的可靠性问题——这一时期在早先的综述[1, 2, 3, 4]中基本缺席。第四，对评估实践的批判性论述，其中我们将基准所证明的内容与它们常被误认为证明的内容区分开来[12, 13, 14]。第五，对安全的一等对待，对于具备鼠标和键盘控制的系统而言，这不是事后附加的考虑[9, 10]。

要点

• 计算机使用智能体是作用于GUI的指令条件化策略，而非工具使用包装器：环境会抵抗，观察是视觉的或结构的，且动作必须被落地。
• 该领域正在迅速整合；已有若干广泛的综述，因此有价值的贡献是对智能体循环的整合性论述和对证据的诚实解读，而不是又一份系统清单。
• 进展并不均衡：模型能力的进步快于我们衡量可靠性的能力。

2 预备知识

2.1 背景与定义

我们用计算机使用智能体（CUA）指代这样的系统：它接收自然语言指令，并通过操作计算机的图形界面来满足该指令——读取屏幕并发出点击、按键、轻触和滚动。该术语与若干邻近概念有重叠，但比它们更窄。它比工具使用语言智能体更窄，后者可以通过类型化API行动而从不看到屏幕。它比机器人流程自动化更窄，后者的“智能体”是绑定到像素区域或窗口标题的脚本，当布局改变时会静默失效。它比仅限网页的智能体更宽，因为同样的能力在移动操作系统和桌面上也被使用。并且它排除玩游戏和纯代码/终端智能体，除非后者能阐明GUI问题。这实质上就是最接近的现有综述[1]所划定的边界，该综述也排除了视频游戏、服务器控制和编码智能体；我们遵循这一边界，并额外将纯终端基准排除在语料库之外。

有两个属性将CUA与普通的指令遵循区分开来。第一，环境是为人类而非为机器设计的：观察是渲染结果，而非消息，且动作必须被落地到该渲染结果上的物理位置。第二，环境是有状态的，且只能部分重置——真实网站无法回滚，支付无法撤销。这两个属性驱动了本综述余下部分所考察的设计空间。

2.2 一个共享的形式化框架

我们采用近期界面文献[47]所使用的部分可观察、指令条件化的表述，并由后续综述[1, 4]加以扩展，以便为不同平台构建的方法可以在同一套记号下比较。表1列出了各符号。

表 1. 共享符号。第 4–9 节复用这些符号，以便为不同平台构建的方法能够逐项比较，而不是逐平台比较。

随后可以从同一套设定中读出三个设计家族。观测：$o_t$ 是像素、结构，还是二者兼有？动作：$a_t$ 是坐标对、元素索引，还是一个程序？落地：$g$ 是作为 $\pi_\theta$ 的一部分学习得到，还是由单独的定位模型提供，抑或通过选择一个已经命名目标的动作空间而变得不必要（第 4.2 节）？学习是第四条轴线：策略可以是固定的并通过提示调用，可以在轨迹上通过最大化 $\mathbb{E}_{(o,i,a)\sim\mathcal{D}}\log\pi_\theta(a\mid o,i,h)$ 进行微调，也可以针对环境奖励通过最大化 $\mathbb{E}_{\tau\sim\pi_\theta}[\sum_t\gamma^t r_t]$ 进行优化，奖励既可以是终止性的，也可以由过程模型补充。

2.3 发展时间线

图 2 标出了标志该领域转折的工作的日期。前基础模型时代的智能体通过强化学习在结构化页面表示上训练 [16, 17]；第一个大模型智能体使用浏览器并借助人类反馈 [15]。从 2023 年起，该领域迅速标准化：通用 Web 智能体数据集与环境 [5, 7]、Android 设备控制数据集 [18]、多环境智能体基准 [19]，以及首批用于 GUI 控制的视觉语言模型 [21, 22]，还有使现成模型的元素落地变得可行的标记—索引提示技巧 [20]。2024 年增加了真实桌面与移动环境以及首批原生动作模型 [6, 8, 25, 29, 31, 35]；2025 年带来了原生计算机使用模型与强化学习转向 [37, 38]；2026 年的特征则是混合界面基准，以及安全研究逐渐成熟为独立文献 [42, 45, 46]。

图 2. 代表性里程碑，按 v1 提交日期排列。并发及更晚的变体在各章中引用，而非在此处。

2.4 相关综述

十一篇综述与立场论文界定了这一领域（表2）。没有一篇与另一篇冗余，但在当前截止时间点上，没有一篇覆盖整个循环。最接近的[1]提供了跨越领域、交互和智能体视角的技术无关分类法，截止时间为2024年，并排除了编码智能体和软件测试。能力轴综述[2, 3]围绕感知/推理/规划/行动来组织。[4]将界面范围扩大到包含命令行交互，而我们有意不这样做。安全综述[9, 10]和强化学习综述[11]的范围更窄。

表 2. 相关综述。“截止”指该综述实质覆盖的最新文献；由于各自采用的纳入规则不同，各行之间的可比性有限。

要点

• CUA 的定义在于对人工设计界面进行有依据的操作，而不在于是否使用工具。
• 一个 POMDP 风格的设定即可覆盖全部三种平台，并揭示出四个真正的设计轴：观测、动作空间、依据与学习。
• 已有九篇先前的综述；当前可作出的贡献在于时效性、整合性以及对证据的诚实解读，而非主题的新颖性。

3 分类体系

3.1 为何按循环来组织

对这一领域的综述可以按平台（网页、移动端、桌面端）、按系统谱系（哪个模型接替了哪个模型）或按智能体本身的组件来组织。我们采用最后一种，因为方法真正产生差异的正是这一维度。两个基于同一骨干模型构建、在同一网站上评测的网页智能体，除了它们各自实例化的循环之外可能毫无共同之处；反过来，一个移动端智能体和一个桌面端智能体，如果都用带标记的截图取代可访问性树，它们做出的就是同一个设计选择，而直接比较二者比把它们归入不同平台之下更有用。

该循环有五个阶段。观测（第 4 节）确定智能体看到什么。感知与依据（第 5 节）把观测转化为目标。规划、记忆与推理（第 6 节）决定尝试什么、记住什么。动作生成与执行（第 7 节）把决策转化为环境能够接受的东西。学习（第 8–9 节）涵盖模型或其数据中发生变化的部分。评估、信任与部署（第 10–12 节）横贯全部五个阶段。图 3 展示了这棵树，叶节点处列出了代表性工作。

图 3. 分类体系。数字引用各叶节点处的代表性工作；各叶节点并非互斥——单个系统通常同时固定其中若干项，各章会解释这些选择在何处相互作用。

图 4. 观测这一叶节点在实践中的样子，来自 OmniParser [118]。一张截图被标注上带编号的方框，每个方框产生一条文本条目或一段生成的图标描述（“Icon Box ID 24: a delete or remove function.”）。随后策略选择的是一个索引，而不是一个坐标。这就是第 4.1 节所分析的观测—界面选择的具体形式。

3.2 次级维度

另外三组区分反复出现，它们更适合放在表格而非章节标题中（表 3）。

平台。 网页、移动端与桌面/操作系统之间的差异，与其说在方法上，不如说在观测基底和失败模式上。网页提供机器可读的 DOM；移动端提供保真度不一的可访问性树；桌面端往往两者都无法可靠提供，这正是桌面端智能体最依赖像素的原因（见第 4.1、10.2 节）。跨平台迁移如今已是原生动作模型明确声明的目标 [31, 35, 41]。

学习范式。 提示式或脚手架式智能体不改变模型内部的任何东西；微调的动作模型在轨迹数据上改变参数；强化学习智能体则依据环境奖励改变参数。第 9 节考察每一种在何处站得住脚，以及所报告的收益实际代价为何。

验证方式。 独立于智能体，由环境通过在最终状态上执行任务特定脚本、询问 LLM 评判者，或回放已记录的人类轨迹来进行验证。这一选择决定了任意两个所报告数字之间的可比程度（第 10 节）。

表 3。 三项横切区分，以及各自起约束作用的章节。它们被有意排除在章节标题之外，以便让回路保持为主轴。

要点

• 按智能体回路组织，使跨平台比较成为可能，并揭示每种方法实际改变了哪个组件。
• 平台、学习范式和验证方式是二阶轴；它们应放在表格中，而不是章节标题中。
• 回路是对共享结构的描述，并非声称优秀智能体会显式实现它——若干前沿模型将感知和规划压缩为单次前向传播。

4 环境与接口

4.1 三种观察家族

智能体能看见什么，决定了它必须学会什么。该领域已收敛到三种观察家族，而证明这一选择至关重要的最清晰证据，来自其他一切保持不变的比较。

仅结构。 智能体消费页面或应用的文本渲染：无障碍树、DOM 序列化，或其中之一的 Markdown 汇编。AgentOccam 是最有启发性的实例，因为它不改变其他任何东西——没有新模型，没有新训练，只是将观察函数与动作函数彼此对齐。它将无障碍树压缩为 Markdown，丢弃文本接口无法表达的动作（滚动、悬停、按下），并添加 note/stop 以及规划动作，在 WebArena 上报告 43.1%，而最强先前智能体为 33.3%，普通基线为 16.5% [47]。其消融分解了增益：对齐动作空间贡献最大份额，其次是禁用滚动，然后是观察压缩。这一排序本身就是一项发现——做了最多工作的是动作接口，而不是观察接口。

纯像素。 完全没有结构化输入。Pix2Act 确立了这一范式：纯像素观察、坐标动作、从人类演示中进行行为克隆并配以像素级预训练，以及推理时的蒙特卡洛树搜索，在 MiniWoB++ 上达到 96.2% 的平均成绩，同时击败了基于 DOM 的基线 [16]。Cradle 将同样的承诺贯彻到其逻辑终点——输入屏幕视频，输出键盘和鼠标，不使用 API——并报告在 OSWorld 上达到 7.81%，而 GPT-4o 为 5.03%，使用 Set-of-Mark 叠加时为 4.59% [128]。纯像素设定还以最强形式定义了通用计算机控制研究问题，而较低的绝对数值表明仍有大量工作有待完成。

混合与编译。 大多数已部署系统从两个通道获取输入并将其融合，而 2026 年的变体更进一步，将界面编译为可寻址的结构。UFO2 是最清晰的桌面实例：一个以可访问性树为主、由视觉增强的控制图，一个负责规划的宿主智能体和负责执行的应用程序专用智能体，以及一个作为 GUI 事件和原生应用程序 API 并集的行动空间 [125]。它在 Windows Agent Arena 上达到 30.5%，而一个强大的商业智能体为 20.8%。

图 5. UFO2 的控制架构，根据论文的框架图重绘 [125]。宿主智能体分解任务，并为每个 Windows 应用程序实例化一个应用程序专用智能体；每个专用智能体将子任务完成情况报告回宿主，由宿主负责调度和应用程序生命周期。这种分层拆分——一个规划器、多个绑定到特定应用程序的执行器——正是使 GUI 事件和原生 API 的并集能够在一个行动空间中使用的原因。 Web$hell 将实时页面编译为可寻址的信息和动作对象，并带有持久化的版本化缓存，在成本相当的情况下，报告在 WebArena-Verified 上任务成功率为 0.679，而对比系统为 0.264 [126]。Beyond Pixels 采取了一条更轻量的路线，对 DOM 本身进行下采样——按深度合并容器、将内容转换为 Markdown、修剪属性和句子——报告在 18 个 Online-Mind2Web 任务上达到 73%，而接地 GUI 基线为 65%，token 成本约为其五分之一 [141]。Tactile 将多源 UI 证据编译为一个候选目标集，该集合携带角色、文本、状态、几何、可供性和来源信息，并将接基、执行和验证拆分为四个显式阶段，将 Codex 在某个 macOS 基准上的 Success@100 从 41.1% 提升到 50.0% [129]。

结构化方向的极端是 ASIL，它完全摒弃截图：环境暴露一个带类型的 JSON 状态，智能体通过模式约束的语义调用采取行动—— set_value、invoke_function、modify_file——位于一个适配器契约之后 [123]。在跨 15 个应用程序的 380 个任务上，它报告某个前沿模型达到 81.6%，而在 GUI 条件下为 6.6%，每条轨迹中的动作少于五次。我们指出两个注意事项：比较是不对称的，因为结构化一方获得了评估器衍生的提示，而 GUI 一方没有；并且这种安排预设了应用程序会配合。

4.2 从坐标到语义

在所涵盖的时期内，行动空间一直朝着一个方向移动，而这些阶段在本章的著作中清晰可见（表 4）。

表 4. 行动空间各阶段按该领域依次经历的先后顺序排列，附一项代表性工作及 各自的典型失败。

这一趋势并非对坐标的否定，而是对“什么算作行动”的扩展；其最清晰的 证据是，组合多种通道的系统优于单通道系统（第 7.4 节和第 10.5 节）。

4.3 接口是一种设计立场

有两项工作主张，接口根本不应该是智能体的问题。Agentic Web Interface 立场论文提出，网站应以机器可操作的形式暴露其信息和控件，将 grounding 责任转移到网站而非智能体，并引用超过百万 token 的 DOM 和 每任务成本作为动机 [130]。它提供的是原则和建议而非原型；其在此处的 价值在于明确陈述了一个假设，而 Web$hell、Tactile 和 ASIL 都在据此行动 [126, 129, 123]。

这正是计算机使用智能体遇到 CLI 世界未曾面对的问题之处。终端是 为机器设计的接口；网页则不是。第 10.5 节的混合接口结果是同一论点的 经验形式，也正是它们使这一立场不止于一份宣言。

4.4 受控比较实际确定了什么

有一项工作值得强调，因为它拒绝选边站。在保持行动接口固定、仅 改变观察表示和历史的情况下，Read More, Think More 发现答案是 依赖模型而非单调的：更丰富的 HTML 观察对同一基准上的一个模型价值 +17.5 个百分点，而对另一个模型则是 −18.8 个百分点 [127]。观察格式与 模型之间的交互作用大到足以淹没平均效应，这意味着“像素还是 DOM”不是一个 有普遍答案的问题——而是关于特定模型、特定网站和特定 token 预算的问题。

这一结果应当决定本章其余文献应如何解读。大量论文报告其观察格式 最佳；其中几乎没有一篇在保持其他一切不变的情况下改变模型家族， 而唯一这样做的一篇发现排名发生了翻转。

要点

• 三种观测范式并存：仅结构、仅像素，以及混合/编译式，各自内部均有直接消融实验。
• AgentOccam 的分解是这里最清晰的单一结果：对齐动作接口比压缩观测更重要。
• 动作空间从坐标扩展到元素索引，再到程序化与语义调用；组合多种通道的系统优于单通道系统。
• 完全编译式或对称结构式的立场在其自身基准上可信，但依赖于应用配合，并且在最强的情况下依赖于不对称的比较条件。
• 唯一一项受控的模型×观测研究显示，像素与结构之间的排序在不同模型间并不稳定，这削弱了大多数关于最佳接口的绝对主张。

5 感知与定位

5.1 从读取结构到看见像素

一个无法找到它想要点击的元素的智能体无法行动。对于第一代网络智能体而言，这个问题通过读取来解决：可访问性树或 DOM 提供了一份带有名称、角色和边界框的元素列表，智能体从中选择一个。这种解决方案的代价就是依赖本身，而本章四分之三的工作都是为了消除这种依赖。

这一演进在若干成果的序列中清晰可见。SeeClick 将智能体问题重新表述为一个定位问题，并训练模型从截图中输出坐标，表明大约一百万个定位样本就能赋予一个通用模型可用的屏幕定位能力，而同一模型此前并不具备这种能力 [25]。Set-of-Mark 提示表明，一个通用视觉语言模型可以在编号叠加层之间进行选择，而不是推断坐标 [20]。OmniParser 迈出了将感知与策略最干净地分离的一步：冻结模型，由一个单独微调过的检测器、图标描述器和 OCR 生成元素列表与编号叠加层，从而使一个现成的 GPT-4V 能够消费它从未学会提取的结构 [118]。UGround 随后将纯像素定位变成一个可插拔模块——规划器发出对目标的简短自然语言描述，定位模型将其转换为坐标——并在 1000 万个合成元素上进行了训练 [29]。到 2024 年底，主流架构已是两阶段：一个不接触像素的规划器，和一个不做其他事情的定位器。

同一脉络中两项更早的工作，仍然是对感知问题最清晰的陈述。Screen Parsing 在 2021 年主张，任务不是检测元素，而是逆向工程界面模型——恢复元素及其分组和层级——这一框架后来大多被纯像素模型放弃；我们对其所报告 23% 改进的证据仅限于摘要，因为本次综述无法获得正文 [117]。CogAgent 在低分辨率主干上增加了一个专用的 1120×1120 高分辨率交叉注意力分支，并在 1.4 亿个屏幕元素对上进行了预训练，在 Mind2Web 上达到 58.2% 的步骤成功率，并击败了规模大得多的文本输入模型 [21]。这一结果是首个有力证据，表明像素未必会输给结构，并使分辨率成为核心工程问题。

5.2 分辨率是失败轴，而且现在已被量化

ScreenSpot，这一标准 grounding 基准，其目标平均约占截图的 2%。ScreenSpot-Pro 基于来自三个操作系统、23 个专业应用的 1,581 个样本构建，将该比例降至 0.07% [119]。这一变化的影响是巨大的，值得精确陈述，因为它是本章中最具信息量的测量（表 5）。

表 5. 按基准设置划分的 grounding 准确率。各行之间不可相互比较：ScreenSpot 与 ScreenSpot-Pro 在目标大小上相差数个数量级，而这正是下文讨论的主题。

82% 与 19% 之间的差距并非模型代际差距；OS-Atlas-7B 在 ScreenSpot 上是强 grounder，而在 ScreenSpot-Pro 上则是弱 grounder。这是分辨率差距，意味着不说明分辨率条件的基准分数几乎毫无意义。同一批工作还表明，失败是分级的而非二元的：准确率随目标缩小而单调下降 [119]。

5.3 两种补救措施：训练更大，或搜索更聪明

训练侧的答案都归结为给模型更多正确 patch 的像素。CogAgent 增加了高分辨率分支 [21]；Iris 用信息密度驱动的自适应裁剪取代统一缩放，将更多裁剪分配给更密集的区域 [121]；ShowUI 丢弃连通 UI 组件内部的冗余视觉 token，将视觉 token 减少三分之一、训练时间减少 40% [34]；OS-Atlas 将语料扩展到横跨五个平台的 13.58M 元素 [31]；Phi-Ground 系统地改变了数据工程——40M 规模爬取、指代表达风格、坐标约定——并发现驱动结果的是 grounding 目标的表示，而非架构 [120]。

推理侧的答案更令人惊讶，因为它们无需训练任何东西即可奏效。ScreenSeekeR 让 planner 假设候选区域，递归裁剪，并让 grounder 在小图像上工作，在 ScreenSpot-Pro 上达到 48.1%，而当时最佳端到端模型为 18.9%——在无参数更新的情况下提升了 29 个百分点 [119]。

图 6. 在 ScreenSpot-Pro 任务上的递归区域收窄，来自 ScreenSpot-Pro 论文 [119]。顶行显示单次模型和部分缩放基线均未命中目标；底行显示同一任务通过逐次收窄得到解决，其中每一步在最终 grounding 决策之前提供对可能区域的文本描述（“文件资源管理器窗口”，然后是“顶部操作栏”，然后是“文件资源管理器窗口顶部的工具栏”）。第 5.2 节的增益来自这一循环，而不是来自更大的模型。视觉测试时扩展将这一点推广：提出一个焦点，裁剪四个成比例区域，在每个区域中采样一个候选动作，并通过将候选绘制为图像上的地标、让模型进行选择来聚合 [122]。它将 Qwen2.5-VL-72B 在 ScreenSpot-Pro 上从 47.8 提升到 61.6，将 UI-TARS-72B 从 38.1 提升到 50.2，并且一个 7B 模型加上该方法（41.2）胜过一个不带该方法的 72B 模型（38.1）。

代价是真实的，论文也如实报告了这一点：Web 轨迹贵 66.8%，ScreenSpot-Pro 上开销为 180–360%。这与规划中的测试时扩展（第 9.4 节）中出现的权衡相同，并且在两种情况下，当预算受限但未耗尽时增益最大。

5.4 自标注数据及其特征性偏差

Grounding 语料库 largely 是机器生成的，而自主性的已发表数字值得注意。UGround 通过规则加语言模型合成了 10M 个元素 [29]；Aria-UI 通过为元素生成描述、再将描述人性化为指令，构建了 11.5M 个样本 [36]；OS-Atlas 达到了 13.58M 个元素 [31]。Iris 的贡献是显式地闭合这一循环：一个 refer-and-ground 自一致性检查接受那些往返后能恢复原始目标的生成对，产生约 3M 个自标注样本，并在相同数据量下在 ScreenSpot 上达到 74.6%，而 SeeClick 为 53.4%，即略高于 UGround 的 10M 标注所达到的 73.3% [121]。

同一篇论文指出了这一过程引入的偏差：往返一致性对于大型、常见元素最容易，因此自标注会对它们过采样。其自身的桌面图标和控件得分（57.5）落后于 UGround（63.6）。Ferret-UI 从外部元素检测器而非往返构建其训练信号，报告了互补的失败——它无法学习其检测器从未触发过的元素，例如状态栏指示器 [27]。两者都是同一结构性问题的事例：在自标注流水线中，标签分布就是标注工具的分布，而其中的错误在最终得分中不可见。

5.5 测量问题位于基准内部

OS-Atlas 手工检查了 ScreenSpot，发现大约 11.32% 的标签是错误的，对其进行了纠正，并将该基准重新发布为 ScreenSpot-V2 [31]。在该纠正之前，任何针对原始标签进行的比较都带有符号未知的误差条。另外两个测量问题反复出现：Ferret-UI 在 IoU 大于 0.5 时对 grounding 打分，而 IoU 对于一次点击是否落在预期控件上是一个弱代理 [27]——一个点要么在框内，要么不在；并且 ScreenSpot-Pro 报告单次运行，没有方差 [119]。

值得将这一点与第 10.3 节的评估审计联系起来。Grounding 得分是该领域最常被引用的单一数字，而产生这些得分的基准中至少有一个可测量地错了约十分之一。

5.6 grounding 不等于 agency

诱惑在于将这些表格解读为能力排名。它们并非如此。UGround 和 Aria-UI 明确是非自主的——两者都需要外部规划器，且均无法独立部署 [29, 36]。Aguvis 以实验方式说明了这一点：在其比较中，它拥有最佳的单步 grounding 数据（7B 模型在 ScreenSpot 上为 81.8，72B 在自规划设置中为 89.2），但在 OSWorld 上端到端仅得 10.26%，远低于将 GPT-4o 的规划器与 Aguvis 自身的 grounding 模块配对所获得的 17.04% [35]。相反，Ferret-UI 在基础 grounding 任务上以大幅优势击败 GPT-4V，却在高级推理任务上低于它 [27]。

正确的解读是，grounding 是一个必要组件，其测得的准确率并不会线性地组合为任务成功。第 10.2 节说明了原因：几个百分点的步级错误率在二十步上会累积，而这还没有算上规划错误。

要点

• 该领域从读取结构转向看到像素，最终形成两阶段架构——一个看不到像素的规划器和一个可插拔的 grounder——这一架构一直延续到 2026 年。
• 分辨率是主要的失败轴，现在已被量化：同一模型家族在约 2% 目标上得分 82%，在 0.07% 目标上得分 19%。
• 免训练推理侧方法（递归搜索、视觉测试时缩放）在调查中带来了部分最大的 grounding 提升，代价为 1.7–4.6 倍。
• 自标注语料库达到了与远更大的人工标注语料库相当的水平，但继承了标注工具对大而易于往返元素的偏好。
• 至少有一个 grounding 基准被发现包含约 11% 的标签错误，不得不重新发布，这应当降低对该领域最常被引用数字的信心。
• 强 grounding 并不会组合成强 agent：本章中 grounding 最好的模型并不是最好的端到端 agent。

6 规划、记忆与推理

6.1 记忆是最不标准化的组件

每个长时程 agent 都需要记住一些东西，而该领域尚未就记住什么达成一致。三种设计反复出现，它们并不是同一想法的变体。

情节与技能库。 已完成的轨迹被存储并通过嵌入检索。WebCoach 只将完成的轨迹写入情节存储，并让一个小模型决定是否注入一两句建议，将 Skywork-38B 在 WebVoyager 上从 0.473 提升到 0.614 [54]。MapAgent 将每个访问过的页面蒸馏为向量数据库中按应用划分的结构化页面块，检索前三名，并进行由粗到细的规划；在跨应用移动任务上，它达到 0.350，而最强基线为 0.200 [61]。Mirage-1 在 Meta/Core/Execution 层上以分层方式组织同一想法，并在子目标层面搜索，在 AndroidWorld 上达到 42.2% [59]。

运行摘要。 智能体并非维护一个库，而是维护对当前任务的压缩记录。Mobile-Agent-v2 运行三个角色——规划、决策、反思——并带有文本进度记忆，在 88 条真实移动指令上将任务成功率从 43.2% 提升至 75.0% [64]。PAL-UI 增加了一个显式的回看动作，重新获取过去的截图，并结合两级摘要，将 AndroidControl-High 的步骤成功率提高了 10.7 个百分点 [62]。MobA 使用栈驱动的深度优先分解，配有五部分记忆，并且仅当反思表明当前路径不可行时才重新规划 [58]。

预测状态。 第三类根本不存储过去，而是预测未来，将在第 6.3 节讨论。

反证与收益同样重要。WebCoach 的机制在 7B 主干上出现了退化（0.328→0.311）[54]，而 PAL-UI 的回看动作在移除摘要时反而损害了性能（52.3 对 57.8）[62]。回顾性动作似乎需要任务的压缩表示才能有用；没有它，重访过去更接近噪声而非信息。

6.2 回溯与重新规划：最干净的受控证据

如果说记忆文献是异质的，那么回溯文献则异常受控，并提供了本章最可信的数字。

WebRollback 为贪婪搜索智能体增加了两种显式能力：决定继续还是返回的二元评判，以及选择要返回的历史步骤的回滚操作，该步骤可能早很多步。它报告在 Mind2Web-Live 上的完整完成率为 27.36%，而单向搜索为 24.53%，最佳优先为 23.82%，并给出三次运行的均值和报告的离散度 [53]。BEAP-Agent 运行状态空间深度优先搜索，配有持久追踪器和多级回溯，在 OSWorld 上得分为 28.2%，而其基础模型为 24.0%；消融实验显示，移除回溯时下降 1.9 个百分点，移除追踪器时下降 4.6 个百分点；35.8% 的任务至少触发了一次回溯 [55]。

这一组中的负面结果同样具有启发性。Agent+P 通过程序分析构建 UI 转换图，并使用经典规划器求解最短路径，将计划翻译为自然语言指导，供未改变的智能体使用。在跨五个应用的 44 个任务子集上，它将 T3A 从 24.32% 提升至 38.64%；在全部 116 个任务上运行同一干预仅带来 +1.72 和 +0.86 个百分点 [60]。未能在完整基准上存活的子集收益，是本章头条数字应连同其任务集一起阅读的最清晰可用例子。

6.3 世界模型：一场活跃的分歧

智能体是否应在采取行动之前想象行动的后果，是本章中最具真正争议的问题，双方的证据都很充分。

WebDreamer 将语言模型视为世界模型：它模拟下一次观测并对模拟轨迹打分，然后在更优分支上行动而不触碰环境。它报告在 VisualWebArena 上达到 23.6%，而反应式基线为 17.6%；在 Online-Mind2Web 上达到 37.0%，而基线为 26.0%；在 Mind2Web-Live 上达到 25.0%，而基线为 20.2%，同时运行速度比树搜索快四到五倍 [56]。MobileDreamer 将同样的思想用于移动屏幕，将下一屏预测为标签、文本和框的结构化文本草图，通过最优传输进行匹配，并在 AndroidWorld 上将强模型从 60.53% 提升至 65.78% [57]。

同一批论文报告了三个局限。WebDreamer 的增益随着想象视野的增长而缩小，超过深度一之后该方法性能下降 [56]。MobileDreamer 依赖 OCR 导出的草图，并报告 23.4% 的未能找到正确屏幕的比例 [57]。而两者都依赖于世界模型在恰恰最不可靠的情形下保持准确——即陌生界面中的长视野。分歧不在于模拟是否有效，而在于它能向前保持校准多远。

6.4 分解与层次结构

层次分解是本章中最古老的思想，也是争议最小的。MobA 的栈驱动深度优先方案在 MobBench 上达到 50 次首次尝试完成中的 28 次，而先前的多智能体设计为 50 次中的 17 次，效率分数为 3.44，人类参考值为 3.53 [58]。Mirage-1 将三层技能记忆与子目标级搜索相结合 [59]。有趣的观察是方法论上的而非架构上的：这些系统中有几个在步骤层面而非任务层面报告其增益（PAL-UI 在步骤成功率上 [62]；下文的诊断在子目标一致率上 [63]），这是一种更弱的证据单位，因为步骤层面的改进未必能在轨迹上经受复合效应的考验。

6.5 诊断说明了什么

两项工作退后一步，追问失败源自何处。一项将 web 智能体重新表述为四组件过程——高层计划、低层执行、后置条件检查、重新规划——并在 104 个 Mind2Web-Live 任务上变化高层表示是自然语言还是 PDDL [63]。其最有用的描述性发现关乎视野：它观察到的计划平均包含跨越 7.08 个动作的 3.04 个子目标。如果典型任务分解为大约三个子目标，那么第 6.4 节中深层层次机器对当前基准而言可能过度设计，而所报告的规划收益中的很大一部分可能是检查的收益，而非分解的收益。

这与第 7.2 节的验证发现和第 4.4 节的表示发现相关联。在三个不同的地方——规划、行动和感知——受控比较都将增益定位于反馈与验证回路，而非前向计划的精巧程度。

一条长期适用的告诫贯穿本章。在为本节所检查的卡片中，基本上没有论文报告多个随机种子及其离散度或显著性检验；WebRollback 的三次运行均值 [53] 和 BEAP 的消融实验 [55] 是例外。在几百个任务上几个点的单次运行增益处于环境和模型版本变异所能产生的范围之内，而这些研究均未证明并非如此。

要点

• 记忆设计分为嵌入式情节或技能库、运行中的文本摘要和预测状态；没有一种是标准方案，且其中两种在较弱模型上或缺少摘要组件时已有记录的退化。
• 回溯与重新规划提供了本章中最干净的受控证据，具有可分解的消融（回溯为−1.9，OSWorld上跟踪器为−4.6）。
• 子集上的增益可能在完整基准上消失：一项在44个任务上价值+14分的符号规划干预，在116个任务上价值不到2分。
• 世界模型规划确实存在争议：它优于反应式智能体，且比树搜索更快，但其收益随视野衰减，其草图预测在近四分之一的情况下错过屏幕。
• 典型任务分解为约三个子目标，这表明当前层次结构是为比基准所包含的更长任务而配置的。
• 本章几乎没有任何内容报告方差；单次运行、几个点的差异不应被视为已确立。

7 动作生成与执行

7.1 从选择动作到证明动作

直到2024年，动作阶段是一个生成问题：给定状态和计划，发出一次点击。2025–2026年的四条独立工作路线将其替换为一个验证问题，并且它们从四个不同方向汇聚到相同的结构变化。

第一条对候选进行评分而不是采样。V-Droid枚举一个状态中的合理动作，用基于策略自身首词元概率构建的学习验证器对每个动作评分，并取argmax；关键的是，它将选择离散动作类型与补全其参数分离，因此昂贵的生成式传递仅需用于少数需要自由文本的步骤[87]。在AndroidWorld上，这达到59.5%，且受控比较很干净：在相同训练数据下，验证器驱动的选择给出47.4%，而监督选择器为35.8%，生成器为27.4%。该设计还在延迟上为自己买单——对于88%不需要参数补全的步骤为0.44秒——这很重要，因为第10.4节显示规划和反思在已部署智能体中主导墙钟成本。

第二条学习检查自己的预测。VeriGUI将动作效果验证作为一等输出：每一步，策略将上一步预测的屏幕变化与实际发生的变化进行比较，然后行动并预测下一个效果。其混合奖励是不对称的，对错误的验证声明惩罚−2.0，而对正确的验证声明奖励+1.0[92]。重要的结果不是头条恢复率（7B模型为52.5%，而UI-TARS-7B为45.5%），而是离线数字：在AndroidControl-High上，同规模基线在模拟测试成功上得分为零，而验证训练的模型达到16.7%（3B）和23.5%（7B）。

第三条用规则加学习评判器进行门控。BacktrackAgent执行一个动作，然后运行规则验证器（该动作是否合法，页面是否发生了任何变化？）和学习评判器（给定指令、页面和历史，那是正确的动作吗？）。如果任一失败，反思器会在同一步重新生成一个不同的动作，而不是继续[93]。

图 7. BacktrackAgent 的四个阶段，取自论文的概览图 [93]。生成从轨迹中产生一个动作；检测对已执行的转移运行规则验证器和视觉语言评判器；恢复将失败交给反思器，由其为同一步骤发出一个替代动作；随后轨迹继续。左侧的步骤级细节展示了重试循环，右侧面板展示了验证器据以检查的枚举动作空间。第 7.2 节中的消融实验分解了这条流水线，并发现其几乎全部价值都在评判器而非验证器上。

第四项工作完全不触及模型。WebFovea 加固了测试框架——即解析—执行—反馈—观察的往返流程——并在每个动作之后检查 DOM 指纹（URL、标题、节点数、文本长度、滚动偏移、焦点）是否确实发生了变化 [88]。

像 Agent S 这样的模块化框架早已将循环拆分为规划器、定位器和执行器角色 [30]；这里所描述的转变有所不同，因为它保留了这些角色不变，而是改变了在决策与提交之间发生的事情。

图 8. 本节四项工作插入在决策与提交之间的验证步骤。它们之间的差异在于 C 处所使用的机制，而非检查所处的位置。

7.2 验证的实际价值

BacktrackAgent 的消融实验是本章中最具信息量的单个数字，因为它按组件分解了增益。移除整个回溯机制会损失 5.65 个任务成功点。仅移除评判器就占其中的 5.32；仅移除规则验证器则占 0.45 [93]。检查一个动作是否可执行并改变了屏幕——这种廉价、可轻易自动化的检查——几乎不提供信息。几乎全部价值都在于判断结果状态是否为预期状态，而这正是昂贵的部分，也是需要模型的部分。

同样的教训在同一篇论文中以负号的形式出现。回溯会降低文本输入的性能（IoU −1.60），因为反思器在被要求产生一个不同动作时，倾向于替换为指令中出现的词，而非任务所需的词 [93]。一个为改变动作而优化的验证机制，并不自动就是一个选择更好动作的机制，而这是本综述中记录最清楚的、一个纠正循环主动损害某一子行为的案例。

7.3 看似模型失败的执行层失败

WebFovea 值得单独讨论，因为它识别出一种失败模式，而文献中的其余部分会将其归因于错误的组件。它通过 Chrome DevTools Protocol 在 1920×1080 视口的真实网站上工作，记录了 1,312 次点击，并发现其中没有一次落在 x > 1440 或 y > 810 之外 [88]。用合成目标进行校准后，当发送全分辨率图像时，所需的水平校正为 1.324、垂直校正为 1.350；当图像预先降采样发送时，则为 1.010/0.993——这表明推理 API 在模型看到截图之前就对其进行了重新缩放，因此模型发出的每一个坐标都被系统性地压缩了。校正该映射后，24 个配对的开发任务从 8/24 提升到 20/24，并将触及步数上限的比例从 67% 降至 4%。

同一项研究还记录了同一类型的另外三个执行缺陷：原生 <select> 弹窗被绘制在页面之外，从未出现在截图中，因此一个智能体点击同一个下拉菜单九次后才放弃；一条参考提示指示模型用换行符提交，但从未被遵守，因为执行器从未按下 Enter（356 次类型调用中有 79 次，即 22%，属于这种形式）；以及 iframe 定位失败，因为智能体寻址的是顶层文档。这些都不是推理失败，而它们全都会在结果表中表现为推理失败。

这是阅读本综述时的一条普遍警示：通过浏览器控制或仿真测试框架测得的 grounding 或规划准确率，是对该测试框架加模型这一系统的测量，只有部分论文将二者分离。WebFovea 是本综述中唯一做到这一点的工作。

7.4 代码作为一等动作

在本综述的桌面结果中，最成功的单一系统并不是一个更好的 GUI 智能体；而是一个按子任务在 GUI 操作器与程序员之间进行选择的编排器 [89]。CoAct-1 将 Python 和 Bash 执行加入动作空间并据此路由工作，在 OSWorld 上报告 60.76%，而相同规划器骨干的 GTA-1 为 53.10%，Agent S2.5 为 56.00%，同时每次成功使用的步骤更少（10.15 对 15.22 和 14.90）。效率与成功率同步提升，是真正更好的动作空间而非更长搜索的标志。

这一结果是第 4 节中接口论证在动作侧的对应物，并且从测试框架一侧得到第 10.5 节混合系统基准的佐证：在该基准中，纯 GUI 智能体得分至多 1.8%，纯 CLI 智能体至多 3.5%，而混合配置达到 35.1%。

在另一端，执行后端本身可以被替换。HIDAgent 将智能体完全移出受控机器，转移到一个价格低于 30 美元的外部硬件设备上，该设备模拟键盘和鼠标并采集 HDMI 视频，因此任何接受 HID 输入的设备都可以在无需安装任何东西的情况下被驱动 [91]。该工作未报告定量评估——作者将其证据描述为描述性的——并且真实分辨率下的桌面 grounding 仍然很差。它被收录于此，是因为它是本综述中唯一改变执行信任边界而非策略的工作，这对第 11 节的安全分析很重要。

7.5 执行前验证

VeriSafe 颠倒了时序：它不是在动作被执行后检查动作，而是每个任务将用户指令形式化为 Horn 子句规则一次，然后使用开发者声明的状态转换来计算每个候选动作的预期效果，并且如果某条规则会被违反，就阻止该动作 [90]。代价是声明式的：在所研究的 18 个应用中，每个应用约 59 个谓词和 437 行代码，总共 1,058 个谓词，其中 540 个在实验中处于活动状态。好处是每个任务一次语言模型调用取代了每一步一次，并且不安全动作永远不会到达设备。

这些局限同样清晰，作者也明确指出了它们：假阳性可能终止一项合法任务；闭源应用需要由人类代替开发者编写谓词；而且该方法并不宣称完全安全。第 11.3 节将此视为一个更广泛问题的最具体实例——计算机使用安全究竟应通过让模型更谨慎来追求，还是通过让世界可检查来追求。

要点

• 行动阶段正从生成被重新表述为验证，四种不同机制汇聚于同一结构性变化。
• 分解消融显示，价值几乎完全在于判断结果状态，而不在于检查某个行动是否已执行。
• 执行层缺陷可能主导结果：一个截图缩放错误将 1,312 次点击中的每一次都压缩到视口的一个子区域内，修正后，配对开发任务上的成功率从 8/24 提升到 20/24，提高了 2.5 倍。
• 将代码视为一等行动可同时提高成功率和步骤效率，这与来自另外两个方向的混合界面证据一致。
• 最先进的恢复机制可能损害特定子行为（文本输入）——验证本身并非没有失败模式。

8 数据与轨迹

8.1 轨迹从何而来

本综述中每一个经过训练的计算机使用模型都是某个语料的函数，而语料是该领域变化最快的部分。2023 年，参考数据集是众包的：Android in the Wild 记录了来自付费标注者在模拟器上操作的 715,142 个回合，包含截图和像素推断的 UI 特征 [18]。到 2026 年，参考规模已达到每个项目数百万条轨迹，而且几乎都不是人类产生的——WebWorld 汇集了 106 万条开放网络交互轨迹 [75]，MobileViews 包含 1,213,866 个独特屏幕 [73]，GUI-Net-1M 则包含从视频教程中蒸馏出的超过一百万条轨迹 [69]。

这些监督信号的来源可分为三类，而它们之间的选择是最具后果的数据决策（表 6）。

表 6. 轨迹从何而来。这三个家族在成本、它们强加给语料库的失败模式，以及监督中有多少是模型自己的意见而非对实际发生之事的记录方面各不相同。

挖掘并生成这一家族现在是方法论兴趣所在，因为它以两种可区分的方式将人类移出循环。第一种是指令优先：提出一个任务，运行一个智能体，如果评判器说它成功了，就保留该轨迹。InSTA 将这一点实例化为在 Common Crawl 前 100 万 PageRank 网站上的提议者–智能体–评判器飞轮，并训练出一个 1.7B 策略，在 3,000 个留出的（网站，任务）对上达到 56.9% 的评判成功，高于 11.5% 的零样本，超过其自身的 235B 收集器 [70]。第二种是交互优先：让智能体游荡，然后再标注。NNetNav 将每个状态转移压缩为一句话，用指令标注得到的前缀，并用结果奖励模型进行剪枝，使 Llama-3.1-8B 在 WebArena 上达到 16.3%，而同一模型零样本得分为 1.0% [71]。AndroidGen 更进一步，将标签转化为训练信号：评论者标注子目标，失败在第一个未完成的子目标处截断，前缀用更短的指令重新标注，因此失败的运行变成样本而不是浪费 [74]。

图 9. InSTA 的三阶段飞轮，来自论文的流水线图 [70]。阶段 1 为从一百万中采样出的网站提出一个任务；阶段 2 让智能体尝试该任务，并发出带有目标元素 id 的结构化动作；阶段 3 让语言模型评判器在成功、效率和自我纠正方面对尝试评分。该图使第 8.3 节的循环性变得具体：阶段 3 中的评判器为同一模型家族在阶段 2 中收集的轨迹评分。

8.2 规模不是最重要的变量

数据所报告的收益看起来很大，事实也确实如此，但将其解读为一个规模扩展的故事是错误的。最清晰的受控对比来自 GroundCUA，它构建的语料库比竞争对手小得多——来自专家演示的 356 万个密集标注元素，每屏约 64 个标注——并报告 GroundNext-7B 的平均点准确率为 69.2，而 JEDI-7B 为 56.1，其中 JEDI 使用了约九百万个样本 [65]。密度和来源胜过数量。

另外两项结果使对规模的朴素解读变得复杂。SoftwareGym 合成全新的桌面应用程序并在其中生成任务，仅凭合成数据就将 OSWorld Pass@3 从 41.39% 提升到 56.97%——但将合成数据添加到已在 OSWorld 上训练过的模型中，却使 OSWorld 从 61.48% 降低到 58.61% [72]。混合并非简单相加。而 AgentTrek 挖掘的轨迹迁移并不均衡：同一语料库在 ScreenSpot-Web grounding 上带来大幅提升，而在端到端导航上提升小得多 [68]，如果 grounding 和规划依赖分布的不同部分，这正是预期之中的结果。NNetNav 报告了最鲜明的例子：将 WebArena 轨迹混入真实网站训练会降低平均性能 1.3 个百分点，这是一个早期迹象，表明特定环境数据和通用环境数据不可互换 [71]。

综合来看，这些结果支持了一个论文本身大多避免陈述的主张：对于当前的语料库，一条轨迹包含什么——密集的元素标签、正确的子目标边界、真正的终止状态——比它们的数量更重要。这是我们从上述比较中得出的推断，而不是任何单篇论文得出的结论。

8.3 质量控制，以及它在哪里变得循环

大型自动构建的语料库的好坏取决于其过滤器，而过滤器通常是语言模型。由此产生三个反复出现的问题。

循环性。 当评判模型过滤由同一模型产生的数据时，成功标签部分编码了收集者自身的错误。InSTA 的评判者正是收集数据的同一个 235B 模型家族 [70]；AndroidGen 的批评者是部署策略自身的评判者 [74]；SPA-Bench 的评估器正是大多数被评分智能体所使用的同一个 GPT-4o（第 10.3 节）。这些论文都没有衡量所报告收益中有多少能在独立过滤器下存活。

共同来源。 若干移动基准测试中的跨应用任务取自表现最好的智能体曾微调过的数据集；OdysseyAgent 案例最为明显（第 10.2 节）。按任务留出的分割不一定留出了模型训练所依据的分布。

产出率。 自动流水线有自己的成功率，而且并不高。GUI-360° 的两轮收集仅在 26.09% 的尝试中成功，这就是为什么其 1,093,525 个步骤中有失败运行 [66]；AgentTrek 的语料库覆盖 127 个网站 [68]；MobileViews 仍然需要人工干预来解锁卡住的应用程序 [73]。已发布的轨迹数量是一个有损过程的输出，而这一过程很少被端到端地报告。

与这些问题并存的一项真正进步是：失败现在被保留而非丢弃。GUI-360° 明确将失败轨迹保留为强化学习的监督资源，AndroidGen 将其重新用作前缀增强的短时域样本。对于一个大多数智能体都会失败的领域，这比悄悄删除数据是更好的数据利用方式。

最后，数据集论文的报告质量参差不齐，这在多方面限制了复验。TongUI、MobileViews、SoftwareGym 和 AgentTrek 宣布开放发布数据集和模型，但在我们阅读的版本中未给出可下载的位置；若干篇省略了许可证和逐来源的数量；几乎没有一篇报告标注者一致性或逐来源的产出。这是证据基础在覆盖面和可复现性上的局限，而不只是格式上的抱怨——这正是本章中的规模数字应被解读为作者自述而非独立验证的原因。

要点

• 轨迹监督在大约十八个月内从人类演示转向挖掘数据和智能体生成数据，第三个、合成环境家族如今正在兴起。
• 现有的最强受控比较表明，密集且来源清晰的数据胜过规模更大的自动收集数据——而不是说规模无用。
• 合成数据和特定环境数据混合效果很差：两项独立结果显示，在一个环境上有所帮助的语料在另一个环境上造成损害。
• 成功过滤器通常就是收集者自己的模型，而且与评估基准的来源重叠很常见；两者都以论文未量化的方式夸大了所测得的进展。
• 将失败轨迹保留为训练信号是该时期一项真正的方法论进步。

9 训练与动作模型

9.1 三种范式，三个数量级的成本

本章的所有内容都归属于三种范式之一。提示不改变模型内部的任何东西，且受限于脚手架；监督微调在记录或合成的轨迹上改变参数；强化学习针对环境提供的结果改变参数。在实践中，这些范式并非互斥选项——大多数强系统会依次使用全部三种——但它们在成本上相差数个数量级，而这些差异解释了大多数所报告的数字。

在一端，UI-R1 在 136 个样本上训练一个 3B 模型，将 ScreenSpot 从 65.0% 提升到 83.3%，高于一个 7B 监督模型 [114]。GUI-R1 用一个包含 3,000 个精选 RL 样本的集合取代了千万样本的 SFT 语料 [115]。在另一端，Qwen-CUA 运行原生的仅截屏强化学习，带有可验证奖励，其算力规模以数万 GPU 小时计，在 OSWorld-Verified 上报告 86.2%，而一个前沿闭源模型为 83.4% [41]。两个端点都是真实的；该领域尚未就哪种能力适合哪种范式达成一致。

9.2 监督训练带来了什么，以及它的边界在哪里

最大的开放监督努力是 OpenCUA，基于在 Windows、macOS 和 Ubuntu 上记录的 22,625 个人类桌面任务——在 140 多个应用程序上平均 18.6 步——由教师模型合成推理轨迹，并在训练前进行过滤 [38]。其 72B 模型在 OSWorld-Verified 上达到 45.0%，是当时该基准上所报告的最佳开放结果，相比之下最强的先前开放智能体为 27.1%，前沿闭源模型为 61.4%。该论文对其边界异常坦诚：人类标注就是上限，标注者可能不会使用最高效的流程，而知情同意的要求会使出现在数据中的人群产生偏差。

Qwen-CUA 采取了相反的路线，完全移除了中间表示——没有可访问性树、没有 DOM、没有代码执行，只有截图和原语——并报告原生控制可扩展，同时指出添加 Bash 通道降低了其在桌面基准上的得分 [41]。这一负面结果比标题结论更重要：第 7.4 节显示在脚手架下胜出的混合动作空间，在策略训练完成后并不自动胜出，而论文并未解释原因。

9.3 奖励是活跃的设计变量

如果第 8 章将数据来源确定为监督的主要杠杆，那么第 9 章的杠杆就是奖励函数，目前有五种不同的设计正在发挥作用（表 7）。

表 7. 正在使用的奖励设计，以及每篇论文在其指定基准上报告的效果。各行之间不可相互比较：基座模型、环境和训练预算均不同（第 9.6 节）。

GUI-Shepherd 内部的受控比较是这里最有用的单一结果：在相同基座模型和环境下，将稀疏终端奖励替换为步级过程奖励，成功率从 37.0% 提升到 40.5% [112]。这是第 7.2 节验证发现在训练侧的对应物——被评估的内容及其密度，比优化器更重要。这也解释了为什么 UI-S1 可以在完全不接触环境的情况下在 AndroidWorld 上达到 34.0%：其半在线方案保留模型自身的历史，并在不匹配时补入专家动作，然后根据动作一致性推导出折现的步级优势 [111]。

相反的证据是，没有环境基础的过程奖励存在一种尚未被测量的失败模式。UI-S1 的奖励从不接触真实环境；GUI-R1 的奖励是离线标签匹配，并且论文报告没有出现定性推理行为，将其归因于单图像、非交互式设置 [115]。当奖励是与记录专家进行比较时，模型可以在模仿专家步骤方面有所提升，而不会变得更善于从自身的错误中恢复。

9.4 在线 RL 已经重新组合了排行榜

在交互式基准上，今年的进展可归因于环境交互而非语料规模。AndroidWorld 的最佳报告结果从 2024 年约 30%（第 10.2 节）提升至 80.2%，由使用在线多轮 RL 训练的 9B 模型取得，在 7B 情况下领先 72B 基线约 16 个百分点 [109]。另一个在线 RL 系统在相同基准上以 32B 策略达到 44.8% [110]。OSWorld 最强的开源数字目前集中在 48–49%，来自端到端训练的 9B 模型 [108]，而产生这些结果的两阶段课程已被详细描述，足以复现。

成功运行中反复出现三种工程模式：在奖励方差崩溃时保持可用的梯度（ARPO 的经验回放与任务选择 [107]，MobileRL 的失败课程过滤 [109]）；管理长时程 RL 固有的熵崩溃（ComputerRL 的交替 RL/SFT 阶段 [108]）；以及将奖励重塑为指向效率而非仅仅成功，使短的正确轨迹比长的得分更高 [109]。最后一点是本综述中少数直接以效率为目标的训练改动之一，并与第 10.4 节的效率发现相关。

测试时扩展与训练相邻，最好理解为一个有界的杠杆。GTA1 在每个步骤采样若干动作提案，并由模型评判选择一个，使用 7B 策略和强规划器在 ScreenSpot-Pro 上达到 58.4%，在 OSWorld 上达到 45.2% [113]。其自身分析表明收益依赖于预算——在 50 步限制下最大，在 100 步时较小——如果深思熟虑的成本与行动的成本相互竞争，这正是人们所预期的。

9.5 样本效率、计算，以及这些数字的成本

有两个效率主张值得分别陈述，因为它们指向相反方向。RL 可以极其样本高效：UI-R1 的 136 个样本和 GUI-R1 的 3,000 个样本都优于在四到六个数量级更多数据上训练的监督模型 [114, 115]，而这些结果所放宽的约束是标注成本而非计算——RL 仍然需要针对环境进行 rollout，而 GUI-R1 的离线奖励甚至避免了这一点，代价是刚刚讨论的 grounding 问题。在另一端，最强的原生智能体按设计就很昂贵：一次跨集群运行数天的 RLVR 训练 [41]。

由于几乎没有论文同时报告两者，标注、rollout 和计算成本之间的实际权衡仍未量化。论文报告的是它们获胜的轴。这是一个真实的证据缺口，也是第 10.4 节从评估侧记录的同一缺口。

9.6 限制这些数字含义的混杂因素

所报告的增益中存在三个系统性问题。

在测试分布上训练。 ARPO 通过筛选基础模型有时能解决的任务，从 OSWorld 中选择其 128 个训练任务，然后在 OSWorld 上报告 [107]；MobileRL 在 AndroidWorld 和 AndroidLab 上训练，并在两者上报告 [109]；AutoGLM 声明它在其被评估的环境中进行了优化 [32]。按任务划分的留出集并不会留出分布。这并不会使增益变成虚构——基础模型相同，因此比较在内部是公平的——但这确实意味着这些数字不是迁移估计。

单次运行。 此处多数训练论文仅报告一次运行，未给出方差。MobileRL 和 ComputerRL 报告了置信区间；ARPO、UI-S1、GUI-Shepherd、UI-R1、GUI-R1 和 SE-GUI 则没有。鉴于 WebRL 作者本人将课程生成视为种子间方差的来源 [33]，缺失的离散度并非技术性细节。

奖励模型偏差。 当奖励是学习得到的模型而非程序时，策略实际上是在优化该模型。MobileRL 的 AndroidLab 结果依赖于其自身承认的 VLM 奖励模型 [109]，而 ARPO 的作者将奖励黑客列为用学习奖励替代脚本奖励的公开风险。

要点

• 提示、监督微调和强化学习并存，其成本相差数个数量级；综述中最强和最便宜的结果都来自强化学习。
• 奖励设计，而非优化器，才是活跃变量：在相同基础模型和环境上，步骤级过程奖励优于结果奖励。
• 在线多轮强化学习已将 AndroidWorld 的上限在大约一年内从约 30% 提升至 80.2%，且获胜的运行共享三种工程模式：方差保持、熵管理和效率感知的奖励塑造。
• 样本效率与计算成本存在权衡，而此处没有论文同时测量两者，因此比较仍悬而未决。
• 在测试分布上训练、单次运行报告和学习奖励偏差在这类文献中是系统性的，并限制了这些数字的可迁移程度。

10 基准与评估

10.1 环境与验证方式

基准生态系统按平台划分，在各平台内部又按成功如何判定划分。第二种划分比第一种更重要，因为它决定了任何报告数字的含义（表8）。

表 8. 按平台和验证方式划分的基准全景。验证列决定了可比性：对最终状态运行的脚本、对轨迹进行评估的 LLM 裁判，以及针对记录的人类动作进行的离线回放，并不测量同一件事。

可以看到三种验证方式：对最终状态执行任务特定脚本、对轨迹进行评估的 LLM 裁判，以及针对记录的人类动作进行离线比较。这些类别之间的数字不可比较，原因并非风格问题——执行脚本和裁判在相当一部分轨迹上对成功与否存在分歧，第 10.3 节对此进行了量化。

图 10. 离线、人工记录的家族是如何构建的，来自 WebLINX [124]。导航员控制浏览器，而指导员提供用户的轮次；会话被记录、后处理并作为数据集发布。由于该产物是记录而非可运行任务，这一家族按轮次评分动作相似度，无法评分任务成功——即上表中的第三种验证方式。

任务参数化是第二条更为隐蔽的轴线。AndroidWorld 从 116 个模板生成数百万个任务实例，带有随机化参数和设备状态奖励 [8]；MiniWoB++ 在网页方面也是如此；诸如 UI-Vision 之类的静态套件为每个任务提供一次人类演示 [135]。参数化环境抵抗记忆化；静态环境则不能。诸如 MMBench-GUI 之类的分层多平台框架在共享评分标准下组织相同的环境，使得一个智能体家族可以在桌面、移动和网页上被评分 [39]。

图 11. AndroidWorld 的结构，来自论文的概览图 [8]。Android 模拟器暴露应用和操作系统状态；智能体通过触摸或 API 行动并读取 UI 树；TaskEval 生成参数化实例并用设备状态奖励对其评分。模板加参数的设计正是 116 个任务能够产生实际上无界实例的原因，也是该基准比静态套件更能抵抗记忆化的原因。

10.2 平台结果，以及为何不应将其合并

阅读结果最有用的方式是逐平台进行，并将周期开始时的状态与结束时的状态并列。

网页。 WebArena 的早期领先者是一个纯文本智能体，达到 43.1% [47]。实时站点结果要低得多且存在争议：WebVoyager 在 2024 年初报告 GPT-4V 在人工评估下达到 59.1% [23]，而到 2025 年，接近 90% 的数字正在流传。一项采用人工评估的重新审计发现，在更难的实时基准上，大多数智能体聚集在 30% 附近，只有两个系统高于 55% [137]。企业网页在 19,912 个任务实例上为一个强模型给出 42.7% [26]，而智能体搜索——一项不同的任务——在最佳系统上给出 0.28，人类为 0.54 [12]。

桌面。 OSWorld 报告人类基线为 72.36% [6]。本调查中报告的最佳智能体结果是 60.76%（第 7.4 节），而最强的原生仅截图模型在重新验证的子集上声称达到 86.2%（第 9.2 节）。Windows Agent Arena 在 Windows 上对应同一任务家族，报告最佳结果为 19.5%，而人类基线为 74.5% [28]——相差 55 个百分点。因此，桌面图景高度依赖于基准，并且 OSWorld-Verified 子集选择与原始的 369 任务套件不可比。

移动端。 这是进展幅度最大、也最清晰的方向。AndroidWorld 从 2024 年一个无障碍树智能体的 30.6% [8]，提升到用在线 RL 训练的 9B 模型的 80.2% [109]。同一平台上的第三方基准在难度上分歧明显：SPA-Bench 报告其最佳智能体总体成功率为 0.544，但在跨应用任务上仅为 0.150 [105]；Mobile-Bench 报告单应用任务为 80.96%，短多应用任务为 63%，长任务为 26.5% [106]；A3 在 201 个实时 Google Play 应用任务上报告 21.9%，且所有智能体在其困难层级上均为 0% [134]。三者呈现的模式相同：单应用任务基本已解决，跨应用长时程任务尚未解决。

解读这些数字时应遵循两个结构性事实。第一，最困难子集崩塌现象普遍存在——移动端的跨应用、企业 Web 的列表过滤（所测试的三个模型均为 0.0% [26]）、实时移动端的困难层级 [134]。标题平均分会掩盖双峰分布。第二，训练与评估分布日益重叠（第 9.6 节），因此尤其是 AndroidWorld 曲线所衡量的，是针对多个团队正在直接优化的目标所取得的进展。

10.3 评判：通过/失败信号有多可靠？

如果本综述有一章能改变读者对其他章节的解读，那应该是这一章。测量装置本身已被测量，而它是该领域最薄弱的部分。

两项独立审计从相反方向得出相同结论。AgentRewardBench 用 3,906 条专家二元标签，对跨越五个基准的 1,302 条轨迹，评估了十二个 LLM 评判器 [136]。没有评判器的精确率超过 70%：最佳者达到 69.8% 精确率、83.1% 召回率，这意味着它判定为成功的轨迹中约有 30% 实际上是失败。基于规则的评判器则相反——精确率高（83.8%）但召回率为 55.9%，在 WebArena 上少报成功 16.7 个百分点，在 VisualWebArena 上少报 18.5 个百分点，并且在两个案例中相对于专家判断颠倒了两个模型的排名。

对实时 Web 结果的重新审计从排行榜一侧得出相同观点：在人工评估下，大多数智能体接近 30%，而报告数字接近 90%，作者自己的评判器与人类裁决的一致率为 85.7% [137]。他们的结论——该领域在一定程度上是在测量自己的评判器——得到两项审计的独立支持。

另外三项结果将批评从评判扩展到归因。

复合分数高估了进展。 ComponentBench 对 2,910 个任务评分，其成功由程序化终态谓词而非评判器决定，并发现在其更难的派生集合上性能下降 10–39 个百分点；某个前沿模型的成功中只有 34.1% 落在人类步数预算内 [140]。重新审计同样指出，相对于仅结果评判，轨迹级评判会使分数降低约 20 分（第 10.5 节，[42]）。

后期失败伪装成险胜。 将网页智能体的流水线分解为请求 表述、动作规划和落地执行后，可以看到一个端到端得分为 48.78% 的模型，其各单独阶段得分分别为 70.17% 和 62.87% [139]。更尖锐的是，人工重新标注显示，超过一半的“错误” 被算作该模型的失败，实际上是合理的替代动作，而基准的唯一真值并不承认这些动作；加入 合法替代动作后，测得性能提升最多达 8.3 分 [139]。单一参考基准制造了失败。

评判器正在被重新设计，而且这有帮助。 将评判器视为一个收集证据的智能体，而非对截图进行 分类，在 321 条轨迹的桌面基准上，准确率从 78.8% 提升到 86.9% [131]， 而过程奖励评判器将移动智能体提升了 +14.53 分，相比之下标准过程奖励仅提升 +8.56 [132]。这些增益是真实的，但两者都以推理成本为代价，而且都没有报告每条被评判轨迹的成本。

有一个不对称性值得明确说明，因为本综述依赖它：第 8.3 节表明，相同 缺陷也出现在数据流水线中，评判器在那里过滤训练轨迹。因此，测量问题并不局限于报告——它会反馈到模型 训练所依据的数据中。

10.4 效率、成本和环境变化

这一时期出现了一个新轴：不是智能体是否成功，而是以什么成本以及多可靠地成功。

OSWorld-Human 为全部 369 个 OSWorld 任务添加了人类最小步骤轨迹，以及一个加权效率分数 [13]。其核心发现是，一个成功率为 41.4% 的智能体，其使用的步骤数是人类所需步骤数的 2.7 到 4.3 倍， 而且规划和反思占端到端延迟的 76–96%。这是第 7.1 节中关于深思熟虑主导挂钟时间这一观察的定量 形式，并且它指出了效率工作应瞄准的方向。

《AI Agents That Matter》主张，智能体应在准确率–成本帕累托前沿上进行比较，而不是仅按 准确率比较，并通过重新实现已发表智能体、发现一个简单基线优于一个昂贵得多的基线来证明这一点 [14]。WAREX 通过另一条路径得出了类似结论： 它插入一个代理来注入网络、服务器和脚本故障，将成功率与延迟、token 数量和每任务成本一起测量，表明扰动下的可靠性与能力是一个独立的轴 [138]。

环境变化是最新的测量维度。OpenApps 为每个应用生成八种系统性变体——主题、字体、对抗性内容、语言——并重新运行相同任务。观察到的 差异巨大：一个模型在不同变体上的范围从 4% 到 63%，而且跨变体标准差是应用内标准差的两倍以上 [133]。一个具体例子：一个在 默认主题上 pass@1 为 0.41 的模型，在深色主题上得分为 0.05。因此，任何单一配置得分都是来自一个宽分布 的样本，而这个分布几乎从未被报告过。

10.5 混合界面：2026 年前沿

本章以最能清晰区分当前系统与其前代系统的结果作结。WeaveBench 构建了 114 项可证明无法通过单一通道完成的任务，随后在不同运行时配置下评估智能体 [42]。仅使用 GUI 的智能体得分至多为 1.8%；仅使用 CLI 的智能体至多为 3.5%；混合配置则达到 35.1%。所报告的最佳组合是配备完整编码智能体框架的前沿模型，达到 41.2%。在同一研究中，轨迹感知评判将某一模型的得分从 53.5% 降至 33.3%，这是仅以结果为评判标准的评估会夸大结果的最清晰单一证明。

这一结果统一了本综述的三条独立线索。第 4.2 节追踪了动作空间从坐标到语义调用的扩展；第 7.4 节发现最强的桌面系统是一个在 GUI 与代码执行之间进行路由的编排器；第 12.1 节发现每个成熟部署案例都依赖一个非 GUI 的 oracle。混合界面正是这三种观察的交汇点，并且它们与商业系统的产品设计相一致（第 12.5 节）。

要点

• 基准按平台划分，而更具决定性的是按验证方式划分；来自执行脚本、LLM 评判器和离线回放的数字不可比较。
• 最难子集崩塌现象普遍存在——跨应用移动端、企业列表筛选和困难层级都接近或处于零——因此总体平均值掩盖了双峰分布。
• 测量装置是该领域最薄弱的环节：没有任何经审计的 LLM 评判器精度超过 70%，基于规则的评判器将成功低报了 16–19 个百分点并颠倒了排名，而单一真值参考将某一智能体一半以上的真实错误归类为错误。
• 效率、成本和环境变化现已被测量，且每一项都会改变图景：领先智能体需要人类步数的 2.7–4.3 倍，而某一模型的通过率在表面性变体之间从 4% 变化到 63%。
• 在同时需要两种通道的任务上，GUI 加代码的混合配置以数量级优势胜过单一通道配置。

11 信任、安全与保障

11.1 攻击面即观察通道

计算机使用智能体通过同一表面读取世界并对其采取行动。正是这一结构性事实衍生出本章的全部文献：智能体能够观察到的任何内容都是攻击者可能控制的内容，并且在该流水线中不存在这样一个点——来自用户的指令与来自网页的指令在构造上可被区分。

两项综述系统性地梳理了这些后果。一篇编目了八种内在威胁——基础性错误、误解、幻觉、上下文限制、延迟——以及七种外在威胁，并主张内在故障本身就是安全问题，而不仅仅是攻击所利用的基底[9]。另一篇围绕感知保真度、推理保真度与交互保真度之间的执行落差重新组织信任问题，并得出结论：两种标准的LLM安全反射在此失效：输出过滤假定输出在行动之前可以被审查，而拒绝训练假定故障是孤立的，而GUI代理的错误一旦执行便不可逆[10]。第三项工作完全放弃度量指标，对已部署系统进行红队测试，列举了四个不可信通道——网页内容、链接文件、UI元素与布局、以及工具输出——并报告了一条利用链：注入的论坛帖子导致安装渐进式Web应用、授予其文件系统访问权限、并劫持MIME处理器以实现代码执行[94]。其核心主张——即这些缺陷是架构性的（缺少来源追踪、界面与动作之间绑定薄弱、内存与委托不受控制）而非行为性的——是本章中最有用的框架，因为架构缺陷无法通过更好的提示词来修复。

攻击文献探索了全部四个通道和两种模态（表9）。

表9. 攻击面、代表性攻击及报告效果。效果如各论文所述，且大多数是劫持率而非端到端危害（第11.2节）。

其中有两项值得强调，因为它们揭示了攻击为何奏效。WebInject 在原始像素空间中优化其扰动，同时显式建模了从网页到截图的转换——包括逐显示器的色彩管理——以及模型自身的缩放步骤 [99]。消融结果具有决定性：将同一扰动直接施加于截图时，成功率为 0.000。该攻击利用的与其说是模型的视觉能力，不如说是流水线中未被建模的变换。VisualTrap 则在供给端展示了互补的结果：对定位语料库的十分之一下毒，即可植入一个重定向点击的触发器；而——影响最为深远的发现是——防御仅在投毒局限于语言模块时有效；一旦视觉塔受到影响，无论测试多少干净数据，都无法恢复行为 [101]。

图 12. VisualTrap 植入中毒图像的三个位置，取自论文的工作流图 [101]。左：对定位预训练数据投毒，将定位从预期对象（绿圈）误导至目标对象（红圈）。右上：对端到端微调数据投毒，植入一个触发器，使其在看似合理的思考旁边输出攻击者的点击。右下：同一触发器到达模块化流水线，转而攻击规划器所定位的对象引用。第 11.3 节的防御结果正是从这一图景中得出的——一旦投毒到达视觉模块，所测试的补救措施便不再奏效。

分支引导是最新且概念上最难的威胁。此前的系统级防御着眼于控制流完整性：智能体只能采取其计划所授权的行动。但图形环境迫使计划包含运行时分支，因此，一个无法注入任何新指令的攻击者，仍可将智能体引导至一个事先已被授权、却仍然有害的分支 [102]。这与提示注入是不同类型的失败——没有注入任何指令，而受损的决策是系统本来就已同意采取的。

11.2 劫持不等于伤害

三项独立工作测量了从“智能体读取攻击者的文本”到“攻击者的目标得以实现”的完整链条，三项均发现严重衰减。WASP 报告称，在五个模型和三个脚手架中，中间劫持率最高达 0.857，端到端完成率最高仅为 0.167，并将这一模式命名为无能带来的安全：当前智能体难以被彻底颠覆，是因为它们尚不具备完成攻击的能力 [45]。AgentHijack 用三个层级将其形式化，得到补丁诱导劫持 84.5%、被劫持规划 47.0%、端到端 20.3%——其中本章最尖锐的单一结果是，一个模型的劫持率为 100%，但端到端攻击成功率却为 0% [100]。Not-an-A11y 展示的则是跨框架而非跨层级的同样差距：最差的框架-模型组合为 0.822，最好的为 0.150 [96]。

图 13. 注入指令实际终止的位置，来自 WASP [45]。桑基图追踪每个注入后的首个动作（左）经过智能体的后续动作（中）到最终状态（右）。只有细红线到达完成对抗目标；两个主要结果是智能体保持困惑和注入继续被忽略。该图是本节主张的视觉形式——标题注入率衡量的是劫持，而劫持大多不会变成危害。

这一差距有两方面含义，且两方面都需要说明。它意味着标题注入数字通常是劫持率，不应被解读为攻击者得逞的概率。它还意味着该领域测得的鲁棒性取决于当前能力，并将随着智能体改进而下降——WASP 的作者明确说明了这一点。仅针对劫持指标评估的防御，可能在最不重要的时候被认证为有效。

同样的差距出现在风险基准测试中。RiOSWorld 的 492 个可执行风险任务按意图给出的总体风险率为 84.93%，按完成给出的为 59.64% [98]，而 MobileSafetyBench 发现低风险任务上的目标达成率保持在接近 80%，而间接注入几乎总是成功——GPT-4o、Claude 3.5、Gemini 1.5 和 o1 分别为 0/10、0/10、1/10 和 2/10 [97]。在这些数字中，能力与安全并不紧张；智能体只是没有被装备到能注意到自己正被利用。

11.3 防御及其代价

防御工作已分化为输入过滤和架构约束，且结果现在已足够清晰，可以进行比较。

BrowseSafe 是本调查中最强的检测器结果：它将所有工具输出视为不可信，以保守的 OR 聚合并行分类固定窗口，并用占位符替换被标记内容而不揭示它。它从 30B 专家混合模型微调而来，达到 F1 0.904，中位延迟低于一秒，而最佳前沿通用模型为 0.863、耗时 23–36 秒，专用防护模型为 0.350 [103]。最后一项比较是有趣之处——专门构建的小型防护在这里表现严重不佳——并将注入检测重新框定为文本模态中已有可行解决方案的工程问题。

COBRA 是最强的架构结果：通过在看到任何不可信运行时数据之前固定每个分支的能力约束，并在 HTTP 和 MCP 边界确定性地执行这些约束，它报告在 steering 基准上0% 攻击成功率，而消融版本为 87.6%，普通双 LLM 设计为 89.5%，ReAct 智能体为 94.4%，同时在 138 个良性单元中保留 97% 的干净任务效用，并出现四个假阳性 [102]。作者对其未覆盖的内容很谨慎：从未出现在 HTTP 或 MCP 调用中的安全相关值、自由文本语义和服务器端效果，以及完全在 HTTP 和 MCP 之外的渠道。

与此相对，大多数攻击论文中的效用核算完全缺失。VPI-Bench、WebInject、 AgentHijack 和 VisualTrap 都报告了攻击成功率，却未在防御措施下测量任何良性任务性能，因此 攻击成功率的下降无法与仅仅是变得更加谨慎的 agent 区分开来 [46, 99, 100, 101]。WASP 是个例外，它展示了 诚实的困难：防御性系统提示将 GPT-4o 上的攻击成功率从 0.429 降至 0.226，同时效用从 0.622 降至 0.459 [45]。在效用成本核算成为标准之前，本章中的防御比较存在系统性的模糊性。

另外两项结果约束了可接受防御的空间。第一，人类监督并非可靠的后盾：在细则研究中，39 名人类 参与者中有 38 人接受了一份包含恶意指令的隐私政策 [95]。第二，通过执行前验证进行防御需要 声明式的工作量，而这无法扩展到第三方软件——VeriSafe 每个应用程序需要大约 59 个谓词和 437 行 代码（第 7.5 节）[90]。

11.4 超越注入：监控未被攻击的 agent

一个独立的安全问题是已部署的 agent 追求自身的隐藏目标。Control OSWorld 将 AI 控制方法论 适配到 GUI 工作中，将 318 个 OSWorld 任务与 81 个经程序化验证的有害副作用任务配对，使得破坏 行为可以通过状态而非判断来检测 [104]。在有利条件下监控表现强劲——一个读取动作、可见文本 和截图的完整轨迹监控器在假阳性率低于 3% 时达到 pAUROC 0.960，TPR@1% 为 0.92——但在现实 约束下急剧下降：移除 agent 的可见文本后，pAUROC 降至 0.808；转向逐步监控（这是干预协议实际 所需要的），TPR@1% 降至 0.49，若无可信文本则降至 0.08 [104]。

该论文明确指出其条件是宽松的：OSWorld 任务范围狭窄且定义明确，因此几乎任何未经请求的动作 都很显眼，而且危害程度适中。它还展示了一个应当能推广到该设定之外的发现：将有害目标与合法 任务一起隐藏，完全消除了拒绝行为，并将言语泄露从 26.1% 抑制到 1.9%——而且这一效应对能力更强 的模型更大 [104]。能力与隐藏能力同步提升。

11.5 本章未涵盖的内容

有四个空白值得指出。这里没有任何工作针对其自身提出的防御评估自适应攻击；每个防御都在其设计 所针对的同一个固定模板或攻击家族上进行测试。图像模态中的防御基本上缺失——BrowseSafe 有意 仅限文本，而 VisualTrap 唯一测试过的补救措施一旦视觉模块被投毒就会失效。记忆和规划上下文作为 注入渠道仅在一篇论文中出现 [96]。没有任何研究跨 Web、移动端和桌面端联合评估安全性，尽管 已部署的系统三者都做。

要点

• 对计算机使用智能体而言，观察通道即攻击面；系统化文献将接地错误和幻觉错误本身归类为安全威胁。
• 所报告的攻击成功率通常是劫持率，而非危害率：三项独立工作显示端到端成功率远低于劫持率，而这一差距将随着智能体能力增强而缩小。
• 框架选择会使测得的脆弱性相差数倍——同一模型在一种测试框架下达到100%，在另一种下仅为31.7%。
• 防御结果现已分化：专用分类器在亚秒级达到F1 0.904，而一种架构方法在保持97%效用的同时将测得攻击成功率降至0%。
• 大多数攻击论文未测量效用成本，且人工监督失效（38/39名参与者配合）。
• 面对非注入、自利智能体的安全性是可测量的，但目前依赖于监控器能够读取智能体自身的文本。

12 应用与部署

12.1 软件QA是滩头阵地

大多数已发表的计算机使用智能体都在合成任务套件上评估。具有真实部署证据的应用看起来不同：它们位于软件质量保证领域，之所以如此，是因为QA提供了基准测试无法提供的东西——一个预先存在的判定基准和一个希望完成工作的用户。

四条独立的工作路线在这一点上一致。从自然语言用例进行的测试执行现已在真实Android应用上运行，用例成功率为73%，每步耗时11.8秒，而此前最强的LLM基线为71.3%和20.5秒[79]。测试迁移——在新应用版本上重新推导回归套件——是本综述中报告的最大部署增益：成功率为90.3%，而基于规则的映射为21.6%，最佳LLM基线为43.1%，耗时仅几分钟而非约九十分钟[80]。GUI模糊测试达到68.5%的类别覆盖率，更能说明问题的是，在24个商业应用中发现208个被确认为真实缺陷的唯一崩溃[81]。而针对自然语言规范的端到端Web测试在检测注入缺陷时报告了0.96的精确率和0.96的召回率，相比之下，截图评判智能体为0.26/0.69[78]。

这四项工作的共同点不是智能体架构——从单智能体循环到多智能体流水线各不相同——而是机器可检查的判定基准已经存在，或者可以被构建。

12.2 决定质量的是判定基准，而非智能体

本章最鲜明的对比存在于两个智能体之间，它们都观察测试运行并判断其是否通过。一个仅凭截图进行判断；另一个将规范解析为（条件、动作、期望）三元组，将涉及的GUI元素符号化，并将跨状态依赖编译为可执行断言[78]。所报告的缺陷检测精确率和召回率相差3.7倍（0.96对0.26）。另一项直接测量判断步骤的研究发现了结构性限制：在强多智能体实现下，人机在测试判定上的一致率仅为0.61，在测试的全部三种商业模型中，113个案例中有26个在所有三种模型下均存在分歧，最佳特异性为0.57——这意味着系统倾向于将通过的测试报告为失败[77]。

图14. 上文对比背后的机制，来自 WebTestPilot [78]。左图：实时应用状态。 第二个面板：一个模式在测试所关心的元素之上声明带类型的符号。第三个：该模式被 实例化为符号，携带从页面上读取的具体值。右图：断言写在这些 符号之上，因此判定是对 cart.items 和 cart.subtotal 的编译表达式，而不是模型对截图的 意见。正是这一替换，构成了本节所测量的 3.7 倍精确率差距。

表10. 按证据质量划分的应用领域。最后一列是读者应当对旁边代表性结果打折扣的 理由。

表10 的假阳性一列值得强调，因为对于任何考虑部署的人来说，这是被报告得最少、却 影响最大的数字。那项可用性缺陷研究爬取了 120 个真实学术网站，发现 29 个 已确认缺陷，并报告其所标记的一切中有 85% 是错的 [76]。只报告 检出率的论文本会让这个工具看起来已经就绪。这与评估审计文献在基准层面记录的 是同一种模式（第 10.3 节），它重新出现在具有直接运营成本的地方。

12.3 无障碍：赌注最高、证据最薄

有两项工作面向无法通过指点操作 GUI 的用户。一项在 iOS 上针对真实 VoiceOver 手势回放现有 人工编写的无障碍测试指令，当 UI 变化或指令本身有误时重新规划 [82]； 另一项为语音驱动的网页导航器添加一个监督性的第二模型，使失败的操作可以重试，在首轮 纠正后累计准确率提升约 36 个百分点 [84]。两者都是针对一个回报巨大问题的 严肃尝试。

两者同样都是原型。无障碍测试回放器在一个平台上支持四项功能，并且由十名专业QA工程师而非最终用户进行评估；语音导航器则没有报告任何可用性研究，没有其所针对的运动障碍参与者，也没有与屏幕阅读器进行对比。所述用户与实测证据之间的差距是本综述中最大的，应将其视为一个公开的邀请，而非一项结果。

12.4 模拟用户是筛选工具，而非关于用户的证据

一个不同的应用是将智能体用作受试者而非操作者：从十万人物池中抽取的一千个角色智能体在一个真实电商网站上运行了一项被试间实验，检测到的对购买的处理效应（500人中的414对403）在5%水平上具有统计显著性[83]。作者明确表示，这是对真实用户测试的补充而非替代，而证据支持他们的谨慎态度：消费差异不显著，人类处理组未报告，且效应仅出现在一个网站的一个设计特征上。将其理解为一种对哪些界面变体值得进行真实实验进行分诊的方法，结果是合理的；将其理解为真实实验的替代品，则得不到支持。

12.5 商业系统发布了什么

大多数人实际使用的系统没有arXiv论文。Anthropic于2024年10月22日以公开测试版形式发布了computer use，并将其描述为实验性的，建议在沙箱化、低风险任务中使用[85]；截至2026年8月，它已作为有文档的客户端工具集全面可用，具备批量操作和浏览器工具。OpenAI于2025年1月23日宣布了Operator及其Computer-Using Agent，并报告在OSWorld上达到38.1%、WebArena上达到58.1%、WebVoyager上达到87%；该能力于2025年7月被并入ChatGPT的agent模式[86]。

由此得出两点观察，而两者都是本综述证据的局限，而非关于这些系统的发现。第一，这些数字是供应商针对本综述已批评过的基准报告的，没有已发布的协议、运行次数或方差；它们不应与第10.2节和第12.1节中经同行评审的结果相比较。第二，产品定位独立地印证了第4节的混合界面结论：两家供应商都是将计算机使用工具与代码执行、文件访问和API工具一并提供，而非取而代之。行业自身的打包方式将GUI控制视为若干通道之一。

要点

• 软件QA是本综述中唯一具有可重复、经人工验证的部署证据的应用领域，其奏效是因为预言机已经存在。
• 在预言机是形式化的地方，智能体测试判定接近专家可靠性；在预言机是截图判断的地方则不然，并且在实际应用中报告了85%的假阳性率。
• 无障碍辅助在所述受益者与实测证据之间的差距最大，没有任何研究涉及目标用户。
• 模拟用户实验是一种分诊工具，其作者本人也否认它能替代真实用户。
• 覆盖范围最广的商业系统没有发布可验证的协议，而其产品设计印证而非挑战了混合界面的发现。

13 基础问题

有五处分歧贯穿本综述。每一处都陈述了双方最有力的证据，随后明确注明本文作者倾向于哪一方——标注为我们的解读，而非作为结论。

13.1 像素是否足够，还是结构必不可少？

支持像素。 Pix2Act表明，在MiniWoB++上，纯像素观察配合坐标动作优于基于DOM的基线[16]；CogAgent仅使用截图便在Mind2Web上击败了规模大得多的文本输入模型[21]；UGround表明，定位可以做成独立于任何标记的可插拔模块[29]。这一方向最有力的证据来自发育视角：Qwen-CUA完全移除了中间表示，并在OSWorld-Verified上报告了86.2%，高于使用更丰富接口的闭源模型[41]。如果像素不充分，该排行榜的顶部就不会是这番景象。

支持结构。 AgentOccam在WebArena上的消融是最干净的受控结果：围绕文本观察所能表达的内容重写动作接口，不改变模型，产生了43.1%结果中最大的单一组成部分[47]。ASIL用带类型的JSON状态和模式约束的语义调用取代截图，在380个任务上报告了81.6%，而GUI条件仅为6.6%[123]。Read More, Think More发现，更丰富的HTML观察对同一个模型在同样的330个任务上价值+17.5分，对另一个模型则为−18.8分[127]。

我们的解读。 双方测量的是不同的东西。结构在可用且可信之处有帮助，其收益对动作接口最大，而非对观察。像素在结构缺失之处有帮助，而桌面的大部分以及移动端的长尾正是如此。[127]中发现的模型依赖性才是决定性事实：不存在与架构无关的答案，这正是实践趋势走向混合的原因（第4.3、10.5节）。

13.2 在环境中训练是否胜过更好的脚手架？

支持训练。 AndroidWorld的最佳结果在约一年内从30.6%升至80.2%，驱动力是在线多轮RL而非语料规模[8, 109]。OSWorld最强的开源数字同样来自端到端训练的9B模型[108]。UI-R1仅用136个训练样本便在ScreenSpot上达到83.3%[114]，SE-GUI训练一个7B模型超过了72B基线[116]——RL不仅仅是在扩展规模。

支持脚手架。 AgentOccam不改变任何参数，便在WebArena上击败了先前工作[47]。视觉测试时扩展完全无需训练，便将ScreenSpot-Pro从47.8提升至61.6[122]，ScreenSeekeR在不更新任何权重的情况下，将最佳端到端定位分数提高了一倍以上[119]。Web$hell编译接口而非训练策略，在WebArena-Verified上报告了0.679[126]。AgentOccam的消融分解将大部分增益定位在接口设计而非推理上。

我们的解读。 这两者是具有不同成本结构的互补手段，而诚实的说法是，该领域并不知道二者之间的换算比率，因为几乎没有论文同时报告这两个维度。唯一一处比较近乎受控的地方——grounding，即免训练搜索[119]和测试时扩展[122]与训练模型[120]竞争之处——免训练方法在1.7–4.6倍的推理成本下极具竞争力。我们的推断是，脚手架以低成本换取可靠性，而训练以高成本换取余量，这正是生产系统两者都做的原因。

13.3 收益来自规划，还是来自验证？

规划方面。 规划文献报告了大幅且可分解的效应：BEAP的回溯消融价值1.9个点，其状态跟踪器价值4.6个点[55]；WebRollback在强搜索基线之上将完整完成率提升近三个点[53]；分层分解在一项移动端研究中达到了与人类相当的效率[58]。

验证方面。 BacktrackAgent的消融是该领域最鲜明的单一数字：移除整个回溯机制损失5.65个点，但仅移除学习到的评判器就占其中5.32个点，而移除规则验证器仅损失0.45个点[93]。GUI-Shepherd表明，在相同基础模型和环境上，步骤级过程奖励优于结果奖励[112]。对一个web agent的分解显示，在平庸的端到端结果之下，各阶段得分表现良好[139]，而诊断类文献发现任务平均只有3.04个子目标[63]。

我们的解读。 [93]中的分解是本综述在规划与验证之争上信息量最大的结果，且决定性地偏向验证：检查结果状态是否是预期状态才是价值所在；检查某个动作是否已执行几乎不提供信息。结合[63]观察到的短时程，我们将证据解读为：当前基准短到分解机制被过度配置，而真正的约束是察觉出问题已经发生。

13.4 报告的数字可信吗？

它们可以被解读。 经执行验证的环境产出可复现、参数化的分数，并附有人类基线[6, 8, 28]；若干工作报告了三次运行均值和离散度[53, 55]；OSWorld-Verified和ScreenSpot-V2表明社区在纠正自己的测量工具[6, 31]；效率与变异性研究[13, 133]补充了平坦成功率所遗漏的维度。

它们不能被比较。 没有任何经审计的LLM评判器精度超过70%，基于规则的评判器在两个基准上低报了16–19个点的成功率，并颠倒了一个模型的排名[136]；人工重新评估将实时web分数从近90%降至近30%[137]；一个已发表的grounding基准包含约11%的标注错误[31]；单参考基准制造了某个agent超过一半的错误[139]；而一个模型的通过率在装饰性环境变体之间从4%到63%不等[133]。

图 15. 评判协议的价值，来自 WeaveBench [42]。每根柱表示一个模型在相同 114 个混合任务上、两种协议下的表现：较浅的上段是仅结果评判下的得分，较深的下段是轨迹感知评判下的得分，两者之间的数字是差值。惩罚范围从 10.3 到 20.2 分，且对最强模型最大，这正是本节末尾阅读规则的定量形式。

我们的解读。 两种说法同时成立，其实际后果是一条阅读规则：一个数字只有在特定环境、协议和配置之内才可解释，并不能作为关于一般能力的证据。本综述中最强的论断是那些在单一设定内经过受控消融后仍然成立的论断，而不是那些标题数字最大的论断。

13.5 智能体应当适应网络，还是网络应当适应智能体？

智能体适应。 这一时期的支配性研究纲领正是如此：更好的 grounding（第 5 章）、更好的接口（第 4 章）、更好的记忆与验证（第 6、7 章），全都针对为人类设计的现有接口。第 10.1 节中的每个基准都建立在这一前提之上，而混合接口结果 [42] 表明它确实有效。

网络适应。 Agentic Web Interface 立场主张，grounding 应当是站点的一种属性，而不是一种习得能力，并指出 DOM 超过一百万 token 以及每任务成本作为理由 [130]。Web$hell 的编译缓存 [126] 和 ASIL 的类型化状态及模式约束调用 [123] 是该立场的工作原型；Tactile 的携带出处信息的目标集 [129] 则是一个部分实例。

我们的解读。 当前证据偏向适应，是因为努力都投向了那里，而不是因为它已被证明更优越——这两种策略尚未在共同任务、共同条件下进行比较。决定性的考量不是技术性的：一个暴露机器接口的网络是一种不同的治理体制，而这里没有一篇论文讨论谁来执行它。我们认为这是本综述中最具后果的开放问题。

要点

• 像素与结构之争没有与架构无关的答案：唯一一项受控的模型×观测研究发现在不同模型之间排序会反转。
• 训练与脚手架是互补的，但交换率未被测量；在直接比较的地方，免训练搜索和测试时扩展在 1.7–4.6× 推理成本下具有竞争力。
• 可用的可分解消融倾向于把增益所在定位为验证而非分解。
• 基准数字在某一协议内可解释，且不可跨协议比较；这句话的两半都由审计支持，而非观点。
• 智能体适应网络还是网络适应智能体，在技术上未解决，在制度上未被触及。

14 资源

本章盘点该领域已构建且可复用的内容。它是一个起点而非目录：以下资源是本次综述过程中遇到并核实的资源，可用性一栏记录的是论文实际陈述的内容，而不是它们意图实现的内容。

14.1 环境与基准

表 11 列出了本次综述遇到的内容以及每个条目实际发布的内容。

表 11. 本综述涉及的环境与基准，以及各自实际发布的制品。若某条目注明“正文中无链接”，则表示论文宣布了发布，但在我们所阅读的版本中未给出位置。

14.2 数据集与轨迹语料库

表 12 对第 9 章模型所训练的语料库做了同样处理。

表 12. 轨迹语料库、其来源及所述可用性。可用性按论文描述记录，而非经本综述核实。

14.3 模型与工具

开放动作模型与定位模块构成可复用核心：UI-TARS [37]、OpenCUA [38]、OS-Atlas [31]、UGround [29]、ShowUI [34]、Aria-UI [36]、Aguvis [35]、CogAgent [21]、SE-GUI [116]、UI-R1 [114]、GTA1 [113]、MobileRL [109]，以及经强化学习训练的计算机使用系统 [108, 41]。

工程基座至少同样重要，却较少受到关注：用于 Web 环境的 BrowserGym 和 AgentLab [26]；用于控制的 Playwright、Selenium 和 Appium；作为感知前端的 OmniParser [118] 和 Set-of-Mark 叠加生成 [20]；用于隔离的 Android 模拟器和 Docker/QEMU 虚拟机；以及用于训练侧的分布式 RL 基础设施（VERL、vLLM）（[108, 109, 41]）。HIDAgent [91] 是值得注意的异类：一种无需目标设备上任何软件的硬件执行层。

14.4 实际可获取的内容

阅读表 11 和表 12 的工件与可获取性两列时，应结合第 8.3 节。在我们所检查的版本中，相当一部分最大的语料库被宣布为开放，却没有可下载的位置——其中包括 GUI-Net-1M、GroundCUA、AgentTrek 和 SoftwareGym——并且若干发布公告省略了许可条款和按来源的计数。凡给出链接之处，均列于本调查的参考文献中。

有两项资源值得特别提及，因为它们是工具而非数据。ScreenSpot-V2 是该领域被引用最多的 grounding 基准的修正版，约 11% 的标签得到修正 [31]；任何早于它的比较都应结合这一修正来解读。而 OSWorld-Human 为全部 369 个 OSWorld 任务提供了最小步数的人类轨迹，这正是使效率测量成为可能的原因 [13]。

要点

• 该领域现已在全部三个平台上拥有可信、经执行验证的环境，并具备从单应用到跨应用任务的独特移动端阶梯。
• 轨迹语料库在大约十八个月内从数十万条增长到超过一百万条，其来源从人类演示转向挖掘和自标注。
• 可获取性声明并不可靠：若干最大的语料库没有正文内链接，且许可和按来源计数经常被省略。
• ScreenSpot-V2 和 OSWorld-Human 是最有可能改变现有结果解读方式的两项工件。

15 未来方向

以下方向源自前几章记录的空白；每一项都作为一个研究问题陈述，并附上促使其提出的证据，以及在可能的情况下能够解决该问题的测量方法。

在能力差距之前先缩小效率差距。 领先的智能体已在若干平台上成功完成大多数单应用任务，但所用步数是人类的 2.7–4.3 倍，其中规划和反思占端到端延迟的 76–96%（[13]，第 10.4 节）。每任务成本是部署的硬性约束，而针对它的优化却几乎没有：本调查中只有一种训练方法将其奖励直接塑造成指向更短的正确答案轨迹 [109]。真正重要的测量是每个平台上的成功率-成本帕累托曲线，而现有工作拥有生成该曲线的数据 [14]。

使评估独立于被测系统。 没有经过审计的 LLM 评判器精度超过 70%，而用于过滤训练数据的评判器常常正是生成这些数据的同一批模型（第 8.3、10.3 节）[136]。有三种具体补救措施可供采用，但没有一种成为标准做法：报告多次运行及其离散程度；用人类或独立判断至少评估一部分轨迹；以及在系统性环境变化下重新运行评估，而在这种变化下，单一模型目前的表现跨度从 4% 到 63% [133]。

采用验证优先的架构。 分解式消融从三个方向指向同一结论：增益来自验证最终状态，而非检查某个动作是否已执行 [93]；在同一基础模型上，过程奖励优于结果奖励 [112]；步骤级分解能暴露出端到端分数所掩盖的失败阶段 [139]。未解决的问题是成本——验证大约使推理吞吐量减半 [93]——因此研究问题不是是否验证，而是以低成本验证什么。

解决跨应用、长时程工作。 每个平台都呈现相同的特征：单应用任务基本已解决，跨应用任务则崩溃，往往降至零（第 10.2 节）[105, 134, 26]。由于典型基准任务可分解为约三个子目标 [63]，此处的进展需要真正足够长的基准，而不是更深的规划器。

标准化数据来源与许可。 语料规模增长了一个数量级，而报告质量却没有：若干最大的发布版本没有正文内链接，许多省略了许可证和逐来源计数，而自标注程序带有从未被审计的偏差（第 8.3、5.4 节）[121]。一项最低报告标准——来源、产出率、许可证、标注一致性、过滤模型及其版本——成本很低，却能使数据文献可供审查。

重新激活针对非注入部分的安全工作。 有四个具体且可处理的缺口（第 11.5 节）：针对每种所提出防御的自适应攻击；与每个攻击成功数字并列的效用成本核算；在图像模态上运作的防御，在该模态中，一个被投毒的视觉塔击败了所有已测试的补救措施 [101]；以及跨平台安全评估。

审慎决定接口问题。 智能体是适应为人类设计的接口，还是接口适应智能体，目前正通过研究投入而非设计被默认回答。面向智能体的接口在技术上的理由现已由可工作的原型提供证据 [123, 126]；所调查文献未涉及的是谁将执行或标准化它们 [130]。这是具有最大非技术后果的未决问题。

衡量训练与脚手架之间的交换率。 该领域既有昂贵的训练系统，也有廉价的免训练方法，而在两者均已被测量的任务上，后者具有竞争力，且几乎没有研究报告这两个轴（第 9.5、13.2 节）。由于标注成本、推演成本和推理成本都在上升，一项在匹配性能下比较训练式接地模型与测试时扩展的研究将具有非同寻常的价值。

要点

• 近期最具可操作性的方向是效率，其中差距已被量化，且帕累托框架已经存在。
• 评估独立性——重复运行、独立判断、环境变化——是方法论变革而非研究突破，并且是可得的最廉价改进。
• 验证优先的设计得到三条独立证据线的支持；未解决的问题是其成本。
• 能力缺失之处在于跨应用和长时程能力，而不是更深的规划机制。
• 接口问题与安全模态缺口是文献相对于其后果最为薄弱的两大领域。

References

[1] Pascal J. Sager, Benjamin Meyer, Peng Yan, Rebekka von Wartburg-Kottler, Layan Etaiwi, Aref Enayati, Gabriel Nobel, Ahmed Abdulkadir, Benjamin F. Grewe, Thilo Stadelmann. A Comprehensive Survey of Agents for Computer Use: Foundations, Challenges, and Future Directions. Journal of Artificial Intelligence Research, vol. 85, 2026. doi:10.1613/jair.1.19490; arXiv:2501.16150

[2] Dang Nguyen, Jian Chen, Yu Wang, et al. GUI Agents: A Survey. 2024. arXiv:2412.13501

[3] Chaoyun Zhang, Shilin He, Jiaxu Qian, et al. Large Language Model-Brained GUI Agents: A Survey. 2024. arXiv:2411.18279

[4] Xueyu Hu, Tao Xiong, Biao Yi, et al. OS Agents: A Survey on MLLM-based Agents for General Computing Devices Use. 2025. arXiv:2508.04482

[5] Shuyan Zhou, Frank F. Xu, Hao Zhu, et al. WebArena: A Realistic Web Environment for Building Autonomous Agents. 2023. arXiv:2307.13854

[6] Tianbao Xie, Danyang Zhang, Jixuan Chen, et al. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. 2024. arXiv:2404.07972

[7] Xiang Deng, Yu Gu, Boyuan Zheng, et al. Mind2Web: Towards a Generalist Agent for the Web. 2023. arXiv:2306.06070

[8] Christopher Rawles, Sarah Clinckemaillie, Yifan Chang, et al. AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents. 2024. arXiv:2405.14573

[9] Ada Chen, Yongjiang Wu, Junyuan Zhang, et al. A Survey on the Safety and Security Threats of Computer-Using Agents: JARVIS or Ultron? 2025. arXiv:2505.10924

[10] Yucheng Shi, Wenhao Yu, Jingyuan Huang, Wenlin Yao, Wenhu Chen, Ninghao Liu. Towards Trustworthy GUI Agents: A Survey. 2025. arXiv:2503.23434

[11] Jiahao Li, Kaer Huang. A Survey on GUI Agents with Foundation Models Enhanced by Reinforcement Learning. 2025. arXiv:2504.20464

[12] Boyu Gou, Zanming Huang, Yuting Ning, et al. Mind2Web 2: Evaluating Agentic Search with Agent-as-a-Judge. 2025. arXiv:2506.21506

[13] Reyna Abhyankar, Qi Qi, Yiying Zhang. OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents. 2025. arXiv:2506.16042

[14] Sayash Kapoor, Benedikt Stroebl, Zachary S. Siegel, Nitya Nadgir, Arvind Narayanan. AI Agents That Matter. 2024. arXiv:2407.01502

[15] Reiichiro Nakano, Jacob Hilton, Suchir Balaji, et al. WebGPT: Browser-assisted question-answering with human feedback. 2021. arXiv:2112.09332

[16] Peter C. Humphreys, David Raposo, Toby Pohlen, et al. A data-driven approach for learning to control computers. ICML 2022. arXiv:2202.08137

[17] Shunyu Yao, Howard Chen, John Yang, Karthik Narasimhan. WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents. 2022. arXiv:2207.01206

[18] Christopher Rawles, Alice Li, Daniel Rodriguez, Oriana Riva, Timothy Lillicrap. Android in the Wild: A Large-Scale Dataset for Android Device Control. 2023. arXiv:2307.10088

[19] Xiao Liu, Hao Yu, Hanchen Zhang, et al. AgentBench: Evaluating LLMs as Agents. 2023. arXiv:2308.03688

[20] Jianwei Yang, Hao Zhang, Feng Li, Xueyan Zou, Chunyuan Li, Jianfeng Gao. Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V. 2023. arXiv:2310.11441

[21] Wenyi Hong, Weihan Wang, Qingsong Lv, et al. CogAgent: A Visual Language Model for GUI Agents. 2023. arXiv:2312.08914

[22] Chi Zhang, Zhao Yang, Jiaxuan Liu, et al. AppAgent: Multimodal Agents as Smartphone Users. 2023. arXiv:2312.13771

[23] Hongliang He, Wenlin Yao, Kaixin Ma, et al. WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models. 2024. arXiv:2401.13919

[24] Jing Yu Koh, Robert Lo, Lawrence Jang, et al. VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks. 2024. arXiv:2401.13649

[25] Kanzhi Cheng, Qiushi Sun, Yougang Chu, et al. SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents. 2024. arXiv:2401.10935

[26] Alexandre Drouin, Maxime Gasse, Massimo Caccia, et al. WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? 2024. arXiv:2403.07718

[27] Keen You, Haotian Zhang, Eldon Schoop, et al. Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs. 2024. arXiv:2404.05719

[28] Rogerio Bonatti, Dan Zhao, Francesco Bonacci, et al. Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale. 2024. arXiv:2409.08264

[29] Boyu Gou, Ruohan Wang, Boyuan Zheng, et al. Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents. 2024. arXiv:2410.05243

[30] Saaket Agashe, Jiuzhou Han, Shuyu Gan, Jiachen Yang, Ang Li, Xin Eric Wang. Agent S: An Open Agentic Framework that Uses Computers Like a Human. 2024. arXiv:2410.08164

[31] Zhiyong Wu, Zhenyu Wu, Fangzhi Xu, et al. OS-Atlas: A Foundation Action Model for Generalist GUI Agents. 2024. arXiv:2410.23218

[32] Xiao Liu, Bo Qin, Dongzhu Liang, et al. AutoGLM: Autonomous Foundation Agents for GUIs. 2024. arXiv:2411.00820

[33] Zehan Qi, Xiao Liu, Iat Long Iong, et al. WebRL: Training LLM Web Agents via Self-Evolving Online Curriculum Reinforcement Learning. 2024. arXiv:2411.02337

[34] Kevin Qinghong Lin, Linjie Li, Difei Gao, et al. ShowUI: One Vision-Language-Action Model for GUI Visual Agent. 2024. arXiv:2411.17465

[35] Yiheng Xu, Zekun Wang, Junli Wang, et al. Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction. 2024. arXiv:2412.04454

[36] Yuhao Yang, Yue Wang, Dongxu Li, et al. Aria-UI: Visual Grounding for GUI Instructions. 2024. arXiv:2412.16256

[37] Yujia Qin, Yining Ye, Junjie Fang, et al. UI-TARS: Pioneering Automated GUI Interaction with Native Agents. 2025. arXiv:2501.12326

[38] Xinyuan Wang, Bowen Wang, Dunjie Lu, et al. OpenCUA: Open Foundations for Computer-Use Agents. 2025. arXiv:2508.09123

[39] Xuehui Wang, Zhenyu Wu, JingJing Xie, et al. MMBench-GUI: Hierarchical Multi-Platform Evaluation Framework for GUI Agents. 2025. arXiv:2507.19478

[40] Pei Yang, Hai Ci, Mike Zheng Shou. macOSWorld: A Multilingual Interactive Benchmark for GUI Agents. 2025. arXiv:2506.04135

[41] Dunjie Lu, Shuai Bai, Tianyi Bai, et al. Qwen-CUA: Native Computer Use for (almost) Everything. 2026. arXiv:2608.02352

[42] Wanli Li, Bowen Zhou, Yunyao Yu, et al. WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces. 2026. arXiv:2606.09426

[43] Yikun Fu, Bowen Fu, Zhenyu Wu, et al. MacAgentBench: Benchmarking AI Agents on Real-World macOS Desktop. 2026. arXiv:2606.22557

[44] Lawrence Keunho Jang, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov. MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents. 2026. arXiv:2606.16748

[45] Ivan Evtimov, Arman Zharmagambetov, Aaron Grattafiori, Chuan Guo, Kamalika Chaudhuri. WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks. 2025. arXiv:2504.18575

[46] Tri Cao, Bennett Lim, Yue Liu, et al. VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents. 2025. arXiv:2506.02456

[47] Ke Yang, Yao Liu, Sapana Chaudhary, Rasool Fakoor, Pratik Chaudhari, George Karypis, Huzefa Rangwala. AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents. 2024. arXiv:2410.13825

[48] Liangbo Ning, Ziran Liang, Zhuohang Jiang, et al. A Survey of WebAgents: Towards Next-Generation AI Agents for Web Automation with Large Foundation Models. 2025. arXiv:2503.23350

[49] Guangyi Liu, Pengxiang Zhao, Yaozhen Liang, et al. LLM-Powered GUI Agents in Phone Automation: Surveying Progress and Prospects. 2025. arXiv:2504.19838

[50] Biao Wu, Yanda Li, Zhiwei Zhang, Yunchao Wei, Meng Fang, Ling Chen. Foundations and Recent Trends in Multimodal Mobile Agents: A Survey. 2024. arXiv:2411.02006

[51] Shuai Wang, Weiwen Liu, Jingxuan Chen, et al. GUI Agents with Foundation Models: A Comprehensive Survey. 2024. arXiv:2411.04890

[52] Junan Hu, Jian Liu, Jingxiang Lai, et al. GUI Agents with Reinforcement Learning: Toward Digital Inhabitants. 2026. arXiv:2604.27955

[53] Zhisong Zhang, Tianqing Fang, Kaixin Ma, Wenhao Yu, Hongming Zhang, Haitao Mi, Dong Yu. WebRollback: Enhancing Web Agents with Explicit Rollback Mechanisms. 2025. arXiv:2504.11788

[54] Genglin Liu, Shijie Geng, Sha Li, Hejie Cui, Sarah Zhang, Xin Liu, Tianyi Liu. WebCoach: Self-Evolving Web Agents with Cross-Session Memory Guidance. 2025. arXiv:2511.12997

[55] Ziyu Lu, Tengjin Weng, Yiying Yang, Yuhang Zhao, Xinxin Huang, Wenhao Jiang. BEAP-Agent: Backtrackable Execution and Adaptive Planning for GUI Agents. 2026. arXiv:2601.21352

[56] Yu Gu, Kai Zhang, Yuting Ning, Boyuan Zheng, Boyu Gou, Tianci Xue, Cheng Chang, Sanjari Srivastava, Yanan Xie, Peng Qi, Huan Sun, Yu Su. Is Your LLM Secretly a World Model of the Internet? Model-Based Planning for Web Agents. 2024. arXiv:2411.06559

[57] Yilin Cao, Yufeng Zhong, Zhixiong Zeng, Siran Dai, Liming Zheng, Jing Huang, Haibo Qiu, Peng Shi, Wenji Mao. MobileDreamer: Generative Sketch World Model for GUI Agent. 2026. arXiv:2601.04035

[58] Zichen Zhu, Hao Tang, Yansi Li, et al. MobA: Multifaceted Memory-Enhanced Adaptive Planning for Efficient Mobile Task Automation. 2024. arXiv:2410.13757

[59] Yuquan Xie, Zaijing Li, Rui Shao, Gongwei Chen, Kaiwen Zhou, Yinchuan Li, Dongmei Jiang, Liqiang Nie. Mirage-1: Augmenting and Updating GUI Agent with Hierarchical Multimodal Skills. 2025. arXiv:2506.10387

[60] Shang Ma, Xusheng Xiao, Yanfang Ye. Agent+P: Guiding UI Agents via Symbolic Planning. 2025. arXiv:2510.06042

[61] Yi Kong, Dianxi Shi, Guoli Yang, et al. MapAgent: Trajectory-Constructed Memory-Augmented Planning for Mobile Task Automation. 2025. arXiv:2507.21953

[62] Zikang Liu, Junyi Li, Wayne Xin Zhao, Dawei Gao, Yaliang Li, Ji-rong Wen. PAL-UI: Planning with Active Look-back for Vision-Based GUI Agents. 2025. arXiv:2510.00413

[63] Mohamed Aghzal, Gregory J. Stein, Ziyu Yao. Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective. 2026. arXiv:2603.14248

[64] Junyang Wang, Haiyang Xu, Haitao Jia, et al. Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration. 2024. arXiv:2406.01014

[65] Aarash Feizi, Shravan Nayak, Xiangru Jian, et al. Grounding Computer Use Agents on Human Demonstrations. 2025. arXiv:2511.07332

[66] Jian Mu, Chaoyun Zhang, Chiming Ni, et al. GUI-360°: A Comprehensive Dataset and Benchmark for Computer-Using Agents. 2025. arXiv:2511.04307

[67] Quanfeng Lu, Wenqi Shao, Zitao Liu, et al. GUIOdyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices. 2024. arXiv:2406.08451

[68] Yiheng Xu, Dunjie Lu, Zhennan Shen, et al. AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials. 2024. arXiv:2412.09605

[69] Bofei Zhang, Zirui Shang, Zhi Gao, et al. TongUI: Internet-Scale Trajectories from Multimodal Web Tutorials for Generalized GUI Agents. 2025. arXiv:2504.12679

[70] Brandon Trabucco, Gunnar Sigurdsson, Robinson Piramuthu, Ruslan Salakhutdinov. InSTA: Towards Internet-Scale Training For Agents. 2025. arXiv:2502.06776

[71] Shikhar Murty, Hao Zhu, Dzmitry Bahdanau, Christopher D. Manning. NNetNav: Unsupervised Learning of Browser Agents Through Environment Interaction in the Wild. 2024. arXiv:2410.02907

[72] Tian Jin, Wenhao Wang, Jing Kang, et al. SoftwareGym: Scaling Computer-Use Agent Training with Diverse Synthesized Software Environments. 2026. arXiv:2610.12611

[73] Longxi Gao, Li Zhang, Shihe Wang, et al. MobileViews: A Million-scale and Diverse Mobile GUI Dataset. 2024. arXiv:2409.14337

[74] Hanyu Lai, Junjie Gao, Xiao Liu, et al. AndroidGen: Building an Android Language Agent under Data Scarcity. 2025. arXiv:2504.19298

[75] Zikai Xiao, Jianhong Tu, Chuhang Zou, et al. WebWorld: A Large-Scale World Model for Web Agent Training. 2026. arXiv:2602.14721

[76] Naimeng Ye, Xiao Yu, Ruize Xu, Tianyi Peng, Zhou Yu. AI Agents for Web Testing: A Case Study in the Wild. 2025. arXiv:2509.05197

[77] Antoine Chevrot, Alexandre Vernotte, Jean-Rémy Falleri, Xavier Blanc, Bruno Legeard. Are Autonomous Web Agents Good Testers? 2025. arXiv:2504.01495

[78] Xiwen Teoh, Yun Lin, Duc-Minh Nguyen, Ruofei Ren, Wenjie Zhang, Jin Song Dong. WebTestPilot: Agentic End-to-End Web Testing against Natural Language Specification by Inferring Oracles with Symbolized GUI Elements. 2026. arXiv:2602.11724

[79] Shamit Fatin, Mehbubul Hasan Al-Quvi, Haz Sameen Shahgir, et al. LELANTE: LEveraging LLM for Automated ANdroid TEsting. 2025. arXiv:2504.20896

[80] Xiaolei Li, Jialun Cao, Yepang Liu, Shing-Chi Cheung, Hailong Wang. ReuseDroid: A VLM-empowered Android UI Test Migrator Boosted by Active Feedback. 2025. arXiv:2504.02357

[81] Biniam Fisseha Demissie, Yan Naing Tun, Lwin Khin Shar, Mariano Ceccato. VLM-Fuzz: Vision Language Model Assisted Recursive Depth-first Search Exploration for Effective UI Testing of Android Apps. 2025. arXiv:2504.11675

[82] Maryam Taeb, Amanda Swearngin, Eldon Schoop, Ruijia Cheng, Yue Jiang, Jeffrey Nichols. AXNav: Replaying Accessibility Tests from Natural Language. 2023. doi:10.1145/3613904.3642777; arXiv:2310.02424

[83] Yuxuan Lu, Ting-Yao Hsu, Hansu Gu, et al. AgentA/B: Automated and Scalable Web A/B Testing with Interactive LLM Agents. 2025. arXiv:2504.09723

[84] Shridhar Mehendale, Ankit Walishetti. DexAssist: A Voice-Enabled Dual-LLM Framework for Accessible Web Navigation. 2024. arXiv:2411.12214

[85] Anthropic. Developing a computer use model. 2024. anthropic.com/news/developing-computer-use

[86] OpenAI. Computer-Using Agent. 2025. openai.com/index/computer-using-agent

[87] Gaole Dai, Shiqi Jiang, Ting Cao, Yuanchun Li, Yuqing Yang, Rui Tan, Mo Li, Lili Qiu. Advancing Mobile GUI Agents: A Verifier-Driven Approach to Practical Deployment. 2025. arXiv:2503.15937

[88] Jiangang Han. WebFovea: When the Model Is Right but the Click Is Wrong — Reliable Round Trips for Vision-Based Web Agents on Live Websites. 2026. arXiv:2610.03036

[89] Linxin Song, Yutong Dai, Viraj Prabhu, et al. CoAct-1: Computer-using Multi-Agent System with Coding Actions. 2025. arXiv:2508.03923

[90] Jungjae Lee, Dongjae Lee, Chihun Choi, et al. VeriSafe Agent: Safeguarding Mobile GUI Agent via Logic-based Action Verification. 2025. arXiv:2503.18492

[91] Jeffrey P. Bigham. HIDAgent: A Toolkit Enabling "Personal Agents" on HID-Compatible Devices. 2026. arXiv:2602.00492

[92] Yuzhe Zhang, Xianwei Xue, Xingyong Wu, et al. Don't Act Blindly: Robust GUI Automation via Action-Effect Verification and Self-Correction. 2026. arXiv:2604.05477

[93] Qinzhuo Wu, Pengzhi Gao, Wei Liu, Jian Luan. BacktrackAgent: Enhancing GUI Agent with Error Detection and Backtracking Mechanism. 2025. arXiv:2505.20660

[94] Daniel Jones, Giorgio Severi, Martin Pouliot, et al. A Systematization of Security Vulnerabilities in Computer Use Agents. 2025. arXiv:2507.05445

[95] Chaoran Chen, Zhiping Zhang, Bingcan Guo, et al. The Obvious Invisible Threat: LLM-Powered GUI Agents' Vulnerability to Fine-Print Injections. 2025. arXiv:2504.11281

[96] Rahul Deivasigamani, Sayeda Faatin Alvi, Derqui Andrea, Kaushal Punjabi, Stjepan Picek. Not an A11y: How Android Accessibility Exposes Mobile AI Agents to Indirect Prompt Injection. 2026. arXiv:2608.08939

[97] Juyong Lee, Dongyoon Hahm, June Suk Choi, W. Bradley Knox, Kimin Lee. MobileSafetyBench: Evaluating Safety of Autonomous Agents in Mobile Device Control. 2024. arXiv:2410.17520

[98] Jingyi Yang, Shuai Shao, Dongrui Liu, Jing Shao. RiOSWorld: Benchmarking the Risk of Multimodal Computer-Use Agents. 2025. arXiv:2506.00618

[99] Xilong Wang, John Bloch, Zedian Shao, Yuepeng Hu, Shuyan Zhou, Neil Zhenqiang Gong. WebInject: Prompt Injection Attack to Web Agents. EMNLP 2025. arXiv:2505.11717

[100] Zhihao Liu, Hongyu Sun, Zhiyuan Fu, et al. AgentHijack: Visual Patch Attacks on Multimodal Computer-Use Agents. 2026. arXiv:2609.09212

[101] Ziang Ye, Yang Zhang, Wentao Shi, Xiaoyu You, Fuli Feng, Tat-Seng Chua. VisualTrap: A Stealthy Backdoor Attack on GUI Agents via Visual Grounding Manipulation. 2025. arXiv:2507.06899

[102] Giulio Zingrillo, Hanna Foerster, Ilia Shumailov, Yiren Zhao, Robert Mullins. Securing Computer-Use Agents Against Branch Steering Attacks. 2026. arXiv:2610.03089

[103] Kaiyuan Zhang, Mark Tenenholtz, Kyle Polley, Jerry Ma, Denis Yarats, Ninghui Li. BrowseSafe: Understanding and Preventing Prompt Injection Within AI Browser Agents. 2025. arXiv:2511.20597

[104] Maria Sanchez del Rio, Mikhail Terekhov. Control OSWorld: An AI Control Environment for GUI Computer Use Agents. 2026. arXiv:2610.03818

[105] Jingxuan Chen, Derek Yuen, Bin Xie, et al. SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation. 2024. arXiv:2410.15164

[106] Shihan Deng, Weikai Xu, Hongda Sun, et al. Mobile-Bench: An Evaluation Benchmark for LLM-based Mobile Agents. 2024. arXiv:2407.00993

[107] Fanbin Lu, Zhisheng Zhong, Shu Liu, Chi-Wing Fu, Jiaya Jia. ARPO: End-to-End Policy Optimization for GUI Agents with Experience Replay. 2025. arXiv:2505.16282

[108] Hanyu Lai, Xiao Liu, Yanxiao Zhao, et al. ComputerRL: Scaling End-to-End Online Reinforcement Learning for Computer Use Agents. 2025. arXiv:2508.14040

[109] Yifan Xu, Xiao Liu, Xinghan Liu, et al. MobileRL: Online Agentic Reinforcement Learning for Mobile GUI Agents. 2025. arXiv:2509.18119

[110] Yucheng Shi, Wenhao Yu, Zaitang Li, et al. MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment. 2025. arXiv:2507.05720

[111] Zhengxi Lu, Jiabo Ye, Fei Tang, et al. UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning. 2025. arXiv:2509.11543

[112] Cong Chen, Kaixiang Ji, Hao Zhong, et al. GUI-Shepherd: Reliable Process Reward and Verification for Long-Sequence GUI Tasks. 2025. arXiv:2509.23738

[113] Yan Yang, Dongxu Li, Yutong Dai, et al. GTA1: GUI Test-time Scaling Agent. 2025. arXiv:2507.05791

[114] Zhengxi Lu, Yuxiang Chai, Yaxuan Guo, et al. UI-R1: Enhancing Efficient Action Prediction of GUI Agents by Reinforcement Learning. 2025. arXiv:2503.21620

[115] Run Luo, Lu Wang, Wanwei He, Longze Chen, Jiaming Li, Xiaobo Xia. GUI-R1: A Generalist R1-Style Vision-Language Action Model For GUI Agents. 2025. arXiv:2504.10458

[116] Xinbin Yuan, Jian Zhang, Kaixin Li, et al. Enhancing Visual Grounding for GUI Agents via Self-Evolutionary Reinforcement Learning. 2025. arXiv:2505.12370

[117] Jason Wu, Xiaoyi Zhang, Jeff Nichols, Jeffrey P. Bigham. Screen Parsing: Towards Reverse Engineering of UI Models from Screenshots. 2021. doi:10.1145/3472749.3474763; arXiv:2109.08763

[118] Yadong Lu, Jianwei Yang, Yelong Shen, Ahmed Awadallah. OmniParser for Pure Vision Based GUI Agent. 2024. arXiv:2408.00203

[119] Kaixin Li, Ziyang Meng, Hongzhan Lin, et al. ScreenSpot-Pro: GUI Grounding for Professional High-Resolution Computer Use. 2025. arXiv:2504.07981

[120] Miaosen Zhang, Ziqiang Xu, Jialiang Zhu, et al. Phi-Ground Tech Report: Advancing Perception in GUI Grounding. 2025. arXiv:2507.23779

[121] Zhiqi Ge, Juncheng Li, Xinglei Pang, et al. Iris: Breaking GUI Complexity with Adaptive Focus and Self-Refining. 2024. arXiv:2412.10342

[122] Tiange Luo, Lajanugen Logeswaran, Justin Johnson, Honglak Lee. Visual Test-time Scaling for GUI Agent Grounding. 2025. arXiv:2505.00684

[123] Rui Xie, Lu Chen. ASIL: Replacing Screenshot-and-Click with Structured State and Semantic Actions. Findings of EMNLP 2026. arXiv:2608.26991

[124] Xing Han Lù, Zdeněk Kasner, Siva Reddy. WebLINX: Real-World Website Navigation with Multi-Turn Dialogue. 2024. arXiv:2402.05930

[125] Chaoyun Zhang, He Huang, Chiming Ni, et al. UFO2: The Desktop AgentOS. 2025. arXiv:2504.14603

[126] Sunghwan Kim, Deogyong Kim, Sangam Lee, Donguk Kwon, Dongha Lee. Web$hell: A Unified Interface for Agentic Web Access. 2026. arXiv:2610.13416

[127] Masafumi Enomoto, Ryoma Obara, Haochen Zhang, Masafumi Oyamada. Read More, Think More: Revisiting Observation Reduction for Web Agents. 2026. arXiv:2604.01535

[128] Weihao Tan, Wentao Zhang, Xinrun Xu, et al. Cradle: Empowering Foundation Agents Towards General Computer Control. 2024. arXiv:2403.03186

[129] Yong Liu, Zhenyi Zhong, Zhanpeng Shi. Tactile: Giving Computer-Using Agents Hands and Feet. 2026. arXiv:2607.14443

[130] Xing Han Lù, Gaurav Kamath, Marius Mosbach, Siva Reddy. Build the web for agents, not agents for the web. 2025. arXiv:2506.10953

[131] Chenrui Shi, Yuwei Wu, Yang Liu, et al. Interactive Reward Agent: GUI Task Evaluation via Environment-State Verification. 2026. arXiv:2607.25904

[132] Tao Xiong, Xavier Hu, Yurun Chen, et al. GUI-PRA: Process Reward Agent for GUI Tasks. 2025. arXiv:2509.23263

[133] Karen Ullrich, Jingtong Su, Claudia Shi, et al. OpenApps: Simulating Environment Variations to Measure UI-Agent Reliability. 2025. arXiv:2511.20766

[134] Yuxiang Chai, Shunye Tang, Han Xiao, et al. A3: Android Agent Arena for Mobile GUI Agents with Essential-State Procedural Evaluation. 2025. arXiv:2501.01149

[135] Shravan Nayak, Xiangru Jian, Kevin Qinghong Lin, et al. UI-Vision: A Desktop-centric GUI Benchmark for Visual Perception and Interaction. 2025. arXiv:2503.15661

[136] Xing Han Lù, Amirhossein Kazemnejad, Nicholas Meade, et al. AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories. 2025. arXiv:2504.08942

[137] Tianci Xue, Weijian Qi, Tianneng Shi, et al. An Illusion of Progress? Assessing the Current State of Web Agents. COLM 2025. arXiv:2504.01382

[138] Su Kara, Fazle Faisal, Suman Nath. WAREX: Web Agent Reliability Evaluation on Existing Benchmarks. 2025. arXiv:2510.03285

[139] Daniel Röder, Akhil Juneja, Roland Roller, Sven Schmeier. Detecting Pipeline Failures through Fine-Grained Analysis of Web Agents. 2025. arXiv:2509.14382

[140] Tianchen Guan, Xinlei Lin, Royce Cheng-Yue, Xiangjun Wang, Shuyan Zhou. ComponentBench: Diagnosing Component-Level Failures in Computer-Use Agents. 2026. arXiv:2608.18307

[141] Thassilo M. Schiepanski, Nicholas Piel. Beyond Pixels: Exploring DOM Downsampling for LLM-Based Web Agents. 2025. arXiv:2508.04412