コンピュータ使用エージェント：手法、データ、評価、信頼

要旨

コンピュータ利用エージェント——スクリーンショット、アクセシビリティツリー、キーボードとマウスの操作を通じてグラフィカルインターフェースを操作するシステム——は、およそ3年の間に、スクリプト化された概念実証から、複数のベンチマークで単一アプリケーションタスクの過半数を完了する訓練済みモデルへと移行した。本サーベイは、その移行をエージェントループ全体にわたって描き出す。すなわち、観測とインターフェース、知覚とグラウンディング、計画と記憶、行動生成と実行、データ、訓練、評価、安全性、展開である。我々は121本の論文を全文精読し、613本の関連研究からなるコーパスをスクリーニングした。

4つの知見がこの分野を組織づけている。第一に、仕事の大半を行うのは観測ではなく行動インターフェースである。エージェントが見るものと実行できるものとの間の整合のみを変更する統制されたアブレーションは、観測の圧縮よりも大きな利得を生み出し、最も強力なデスクトップシステムは、GUI制御とコード実行の間をルーティングするものである。第二に、測定装置が最も弱い構成要素である。独立した監査は、評価されたLLMジャッジが70%の精度を超えたものが一つもないこと、ルールベースのジャッジが成功率を16〜19ポイント過小報告しモデルの順位を逆転させること、公表されたグラウンディングベンチマークが約11%のラベル誤りを含むことを示している。第三に、利得の所在は計画ではなく検証である。分解されたアブレーションは、バックトラッキングの利益のほとんどすべてを、行動が実行されたことを確認することではなく、結果として生じた状態が意図したものであるかを判断することに帰属させる。第四に、ハイジャックは危害ではないが、この分野はしばしば前者を後者として報告する。3つの独立したセキュリティ研究が連鎖全体を測定し、エンドツーエンドの攻撃成功率がインジェクション率をはるかに下回ることを見出している。

我々はまた、文献が解決していない事柄も記録する。報告は分散のない単一実行に支配されており、訓練と評価の分布はますます重複し、公表された最大級のデータリリースのいくつかは本文内に所在を持たず、人間による監督はそれを直接検証した唯一の研究において安全の最後の砦として機能しなかった。本サーベイは、双方の証拠を挙げて述べる5つの根本的な不一致と、ギャップから導かれる8つの研究方向で締めくくられる。

範囲と方法

主題の境界。 本サーベイはグラフィカルインターフェース——ウェブブラウザ、モバイルアプリケーション、デスクトップオペレーティングシステム——を操作するエージェントを対象とする。ターミナル専用およびAPI専用のエージェントは対照としてのみ現れる。なぜなら、ハイブリッドインターフェースの証拠（第10.5節）は比較条件としてそれらの存在を必要とするからである。それらは独立した章やコーパスとしては扱われない。これらのシステムにおける安全性に関連する行動の報告は含まれるが、一般的なLLMの安全性研究は含まれない。

カットオフ。 対象は2026年10月12日のarXiv投稿日（v1）までの研究である。本報告のarXiv識別子は執筆時点でライブラリのメタデータに対して検証された。論文の識別子を検証できなかった場合でも、その番号は依然として引用されるが、その項目は我々が確認できたメタデータに基づいている。

構築。 候補の検索では、キーワード規則、意味的リコール、および毎日のarXivアナウンスメントストリームを組み合わせ、それらを競合するフィルターとして扱うのではなく単一のプールに統合し、上記の期間と関連する主題クラスに限定した。スクリーニングでは、単一の共通包含条件を適用した。すなわち、その研究がGUI環境を操作するエージェントに関するものであることとし、CLIのみのエージェント、純粋なターミナルベンチマーク、および汎用LLMの研究は除外した。これにより、833件のプールから613件の包含対象作品が残った。次にコーパスを12の分枝からなる作業用タクソノミーに割り当て、121本の論文を全文精読し、機構、設定、定量的結果、公開された成果物、および明示された限界を網羅する構造化エビデンスカードとして記録した。深さよりも広さのために引用される論文は、グループ化された文で用いられ、論証の要となる主張を担うものではない。

エビデンスの階層。 一次資料で全文を精読し、特定の定量的主張に用いた作品は一次エビデンスとして扱う。抄録とメタデータのみから要約した作品は、その主張が重要となる箇所で本文中にその旨を明記する。ベンダー報告の結果および商用システムのドキュメント（12.5節）は、検証済みの測定値ではなくベンダーの主張として扱い、本サーベイにおいて査読済みの数値と比較することは決してしない。

展示物。 図および表は二つの別個の連番で、それぞれ初出順に番号を付し、すべての展示物は本文からその番号で参照する。図のキャプションおよび表のキャプションは、それが説明する展示物に続く。

エビデンスが薄い箇所。 四つの領域は、その章の長さが示唆するよりも弱い裏付けしか持たず、本文はそれぞれを明示する。アクセシビリティ支援では、包含された作品がいずれもプロトタイプであり、一方はそれが対象とする障害を持つ参加者がいない（12.3節）。CLI対比の方向性は、単一のベンチマークによってのみ支持されている（10.5節）。安全性における画像モダリティ防御では、試験された一つの対策が完全に失敗する（11.5節）。そして画像対構造の問いでは、唯一の統制されたモデル対観察の研究が、順位がモデル間で逆転することを示している（4.4節）。

本サーベイがそうでないもの。 本サーベイは、正式な包含・除外の裁定を伴う登録済みプロトコルという意味での系統的レビューではない。スクリーニングは、自動判定器によって適用され、サンプリングによる検証がなされた単一の共通条件を用いた。これは分野の国勢調査として読まれるべきではなく、またその件数を用いて成長率やカテゴリーの占有率を推測すべきでもない。我々が傾向を報告する箇所では、それを支える期間とその比較可能性を示す。

1 はじめに

コンピュータ使用エージェント（CUA）とは、人間と同じようにコンピュータを操作するAIシステムである。すなわち、画面を見て、クリックし、入力し、タップし、スクロールすることで、自然言語で述べられたタスクを実行する。「金曜日にリスボンへの最安直行便を予約し、それを私のカレンダーに追加して」という指示は、端から端まで実行される。ブラウザを開き、フォームに入力し、確認を読み、カレンダーアプリに切り替え、イベントを作成するのである。ウェブサイトごとのAPIも、手書きのスクリプトも、アプリケーションごとのプラグインも想定しない。これは、ツールを使う言語エージェントに関するより広い文献と比較して、意図的に狭い能力であり、その狭さこそが要点である。インターフェースはすでに存在するグラフィカルユーザーインターフェース（GUI）であるため、人間が画面を通じて到達できるものは原理的に対象となり得る。

研究分野は若く、動きが速く、そして異例なほどに細分化されている。初期の研究は、構造化されたページ表現に対する強化学習によってWebおよびモバイルのナビゲーションを自動化した[5, 7]。大規模基盤モデルの登場により、画面を読み取って行動を出力する、指示条件付けされたポリシーへと分野は移行し[3]、2024年までにはデスクトップ、Web、モバイル環境をめぐる認知可能なベンチマーク生態系が形成されていた[5, 6, 8]。それ以来、この分野は互いに補強し合う二つのトラックに分岐している。すなわち、GUI軌跡上でエンドツーエンドに訓練され、強化学習によってますます洗練されつつあるネイティブなコンピュータ利用モデルと、凍結されたフロンティアモデルを認識・記憶・検証モジュールで編成するフレームワーク型エージェントである。現在では商用製品がこの能力を直接出荷している。約2年の間に9本のレビュー論文が登場しており[1, 2, 3, 4, 10, 11]、それ自体がこの分野がいまだ確立されたというよりも統合の途上にあることの兆候である。

本サーベイはそうした背景に照らして書かれている。我々は、Web、モバイル、デスクトップ/オペレーティングシステムの環境にわたり、2026年10月までのv1投稿を通じて、コンピュータをそのグラフィカルインターフェース経由で操作するエージェントを対象とする。コマンドラインおよびターミナルのみのエージェントは、GUIの問題に関わる場合に限って論じる（例えば、クリックとコマンド実行のどちらかを選ぶハイブリッドエージェント）。純粋にターミナル向けのベンチマークおよびエージェントは境界の外にある。その境界内で我々は一つの問いを立てる。コンピュータ利用エージェントは実際にどのように機能するのか、そしてどの設計上の選択が重要かについて証拠は何を述べているのか。

本サーベイの組織化の枠組みは、エージェント自身の情報処理ループである。どのように構築されていようと、すべてのCUAは、(i) 画面の観測を取得し、(ii) 指示が指し示す対象を特定し、(iii) 次に何をすべきかを決定し、(iv) 環境が受け入れる行動を実行し、(v) 学習するのであればデータと報酬から学習しなければならない。第4章から第9章はこれらの段階を順に扱い、第10章から第12章はすべての段階を横断する評価、信頼、応用を扱う。図1にその構造を示す。

図1. 5つの段階としての本サーベイの構成。左から右へ読む。

範囲と方法

コーパスは、ローカルライブラリに対する8つの相補的な検索経路、すなわちコンピュータ利用の中核問題に対する意味的検索、Webナビゲーション、モバイル制御、デスクトップ/OS制御、視覚的グラウンディング、訓練と強化学習、セキュリティに、タイトルを対象としたキーワード経路と参照駆動型のスノーボール方式を加えて構築された。それらの経路の和集合は、上記のGUI中心の境界への関連性についてスクリーニングされ、833件の候補から613件の採用文献となった。さらに67件の文献が検証済みのアンカー参照として追加された。引用階層は読解の深さによって割り当てられた。ある文献群は全文が読まれ、メカニズムおよび結果に関する主張を担うことができ、より大きな文献群は手法レベルで読まれ、残りは自ら述べる内容について引用されている。付録には検索経路、カットオフ、およびカバレッジが薄い領域が記録されている。我々はコーパスが網羅的であるとは主張しない。この分野には統一された用語がなく、効率性に関する節および2023年以前の強化学習によるWebエージェントに関する節は、他の節よりも検査した情報源が少ない。

貢献

まず、統一された形式的枠組み（第2節）であり、観測空間、行動空間、グラウンディング、学習目標を一つの記法で表現する。これにより、異なるプラットフォーム向けに構築された手法を、プラットフォームごとではなくメカニズムごとに比較できる。第二に、それを実現するシステムごとではなくエージェントループごとに整理した分類体系（第3節）。第三に、2026年10月までの更新された統合であり、訓練における強化学習への転換と、エージェントがサンドボックスから実環境へ移行するにつれて表面化した信頼性の問題を扱う。この時期は先行レビューではほぼ欠落していた[1, 2, 3, 4]。第四に、評価実務に関する批判的記述であり、ベンチマークが示すものと、しばしば示すと見なされているものを分離する[12, 13, 14]。第五に、セキュリティを一級の扱いとすること。マウスとキーボードを制御するシステムにとって、これは後付けではない[9, 10]。

要点

• コンピュータ利用エージェントは、GUI上の指示条件付きポリシーであり、ツール利用のラッパーではない。環境は抵抗し、観測は視覚的または構造的であり、行動はグラウンディングされなければならない。
• この分野は急速に統合されつつある。広範なレビューはすでに複数存在するため、有用な貢献はエージェントループに関する統合的な記述と証拠の誠実な読み取りであり、別のシステム一覧ではない。
• 進歩は不均一である。モデル能力は、信頼性を測定する能力よりも速く進展してきた。

2 準備

2.1 背景と定義

本稿ではコンピュータ利用エージェント（CUA）を、自然言語の指示を受け取り、コンピュータのグラフィカルインターフェースを操作することによってそれを満たすシステム、すなわち画面を読み取り、クリック、キー入力、タップ、スクロールを発行するシステムに対して用いる。この用語は複数の隣接概念と重複するが、それらより狭い。画面を一度も見ずに型付きAPIを通じて行動しうるツール利用言語エージェントより狭い。その「エージェント」がピクセル領域やウィンドウタイトルに結びついたスクリプトであり、レイアウトが変わると静かに壊れるロボティックプロセスオートメーションより狭い。同じ能力がモバイルOSやデスクトップ上でも発揮されるため、ウェブエージェントのみより広い。そして、GUI問題を照らす場合を除き、ゲームプレイおよび純粋なコード／ターミナルエージェントを除外する。これは本質的に、最も近い既存レビュー[1]が引いた境界であり、同レビューもビデオゲーム、サーバ制御、コーディングエージェントを除外している。我々はそれに従い、さらに純粋にターミナル向けのベンチマークをコーパスから除外する。

二つの性質がCUAを通常の指示追従から区別する。第一に、環境は人間向けに設計されており、機械向けではない。観測はメッセージではなくレンダリングであり、行動はそのレンダリング上の物理的位置にグラウンディングされなければならない。第二に、環境は状態を持ち、部分的にしかリセットできない。実際のウェブサイトはロールバックできず、支払いは取り消せない。両方の性質が、本サーベイの残りで検討する設計空間を駆動する。

2.2 共有された形式的設定

我々は、最近のインターフェース文献[47]で用いられ、後のレビュー[1, 4]によって拡張された、部分的観測可能で指示条件付きの定式化を採用する。これにより、異なるプラットフォーム向けに構築された手法を一つの記法で比較できる。表1に記号を列挙する。

表 1. 共通記法。第4節から第9節ではこれらの記号を再利用し、異なるプラットフォーム向けに構築された手法を、プラットフォームごとではなく項ごとに比較できるようにする。

次に、同じ設定から三つの設計ファミリーが読み取られる。観測: $o_t$ はピクセルか、構造か、それとも両方か。アクション: $a_t$ は座標の組か、要素インデックスか、それともプログラムか。グラウンディング: $g$ は $\pi_\theta$ の一部として学習されるのか、別個のローカリゼーションモデルによって供給されるのか、それとも標的をすでに名指しするアクション空間を選ぶことで不要になるのか（第4.2節）。学習は第四の軸である。ポリシーは固定してプロンプトを与えてもよく、$\mathbb{E}_{(o,i,a)\sim\mathcal{D}}\log\pi_\theta(a\mid o,i,h)$ を最大化することによってトラジェクトリ上で微調整してもよく、$\mathbb{E}_{\tau\sim\pi_\theta}[\sum_t\gamma^t r_t]$ を最大化することによって環境報酬に対して最適化してもよく、報酬は終端報酬か、またはプロセスモデルによって補完される。

2.3 開発のタイムライン

図2は、この分野の転換点を画す研究の年代を示す。基盤モデル以前の時代には、エージェントは構造化されたページ表現に対する強化学習で訓練されていた[16, 17]。最初の大規模モデルエージェントは、人間のフィードバックを用いてブラウザを操作した[15]。2023年以降、この分野は急速に標準化された。汎用ウェブエージェントのデータセットと環境[5, 7]、Android デバイス制御のデータセット[18]、複数環境のエージェントベンチマーク[19]、そして GUI 制御のための最初の視覚言語モデル[21, 22]が、既製モデルにとって要素のグラウンディングを扱いやすくするマーク・アンド・インデックスのプロンプティング手法[20]とともに登場した。2024年には、実際のデスクトップおよびモバイル環境と最初のネイティブアクションモデルが加わった[6, 8, 25, 29, 31, 35]。2025年には、ネイティブなコンピュータ利用モデルと強化学習への転換がもたらされた[37, 38]。2026年は、ハイブリッドインターフェースのベンチマークと、独自の文献として成熟しつつあるセキュリティ研究によって特徴づけられる[42, 45, 46]。

図 2. v1 提出日による代表的なマイルストーン。同時期および後発の変種は、ここではなく各章で引用する。

2.4 関連するサーベイ

11件のレビューとポジションペーパーがこの領域を枠づけている（表2）。いずれも他のものと重複はないが、現在のカットオフ時点でループ全体を網羅するものはない。最も近い[1]は、ドメイン・インタラクション・エージェントの観点にわたる技術非依存の分類体系を提供し、カットオフは2024年で、コーディングエージェントとソフトウェアテストを除外している。能力軸のレビュー[2, 3]は知覚／推論／計画／行動を中心に構成されている。[4]はインターフェースをコマンドラインインタラクションを含む形に広げているが、本稿は意図的にそれを含めない。安全性のレビュー[9, 10]と強化学習のレビュー[11]はさらに範囲が狭い。

表2. 関連するサーベイ。「カットオフ」はそのサーベイが実質的に扱う最新の文献を示す。各行の比較可能性は限定的である。なぜなら、それぞれが異なる包含基準を用いているからである。

要点

• CUAは、ツールの使用によってではなく、人間が設計したインターフェースのグラウンディングされた操作によって定義される。
• 単一のPOMDP形式の設定が3つのプラットフォームすべてをカバーし、4つの実際の設計軸――観測、行動空間、グラウンディング、学習――を明らかにする。
• 先行するレビューは9件存在する。現在利用可能な貢献は、話題の新規性ではなく、最新性、統合、そしてエビデンスの誠実な読み解きである。

3 分類体系

3.1 なぜループで整理するのか

この分野のサーベイは、プラットフォーム（ウェブ、モバイル、デスクトップ）によって、システムの系譜（どのモデルがどのモデルを継承したか）によって、あるいはエージェント自体の構成要素によって整理することができる。我々は最後のものを採用する。なぜなら、それが手法が実際に異なる軸だからである。同じバックボーン上に構築され、同じサイトでベンチマークされた2つのウェブエージェントは、両者がインスタンス化するループ以外には何も共有していないかもしれない。逆に、どちらもアクセシビリティツリーをマーク付きスクリーンショットに置き換えるモバイルエージェントとデスクトップエージェントは、同じ設計上の選択を行っており、それらを異なるプラットフォームの下に分類するよりも直接比較する方が有用である。

ループは5つの段階を持つ。観測（第4節）はエージェントが何を見るかを定める。知覚とグラウンディング（第5節）はその観測をターゲットに変換する。計画、記憶、推論（第6節）は何を試み、何を記憶するかを決める。行動生成と実行（第7節）は決定を環境が受け入れる何かに変換する。学習（第8–9節）はモデルまたはそのデータにおいて何が変化するかを扱う。評価、信頼、デプロイ（第10–12節）は5つすべてに横断的に及ぶ。図3は代表的な研究を葉に持つ木を示す。

図3. 分類体系。番号は各葉における代表的な研究を引用する。葉は相互排他的ではない――単一のシステムは通常、そのうちのいくつかを同時に固定する。各章は選択がどこで相互作用するかを説明する。

図4. 観測の葉が実際にどのようなものか、OmniParser [118]より。スクリーンショットに番号付きのボックスが注釈付けされ、各ボックスはテキストエントリまたは生成されたアイコン記述（「Icon Box ID 24: a delete or remove function.」）を生み出す。そしてポリシーは座標ではなくインデックスを選択する。これは第4.1節で分析される観測インターフェースの選択の具体的な形である。

3.2 二次軸

さらに3つの区別が繰り返し現れ、章の見出しではなく表に属する（表3）。

プラットフォーム。 ウェブ、モバイル、デスクトップ/OSは、手法よりも観測基盤と失敗モードにおいて異なる。ウェブは機械可読なDOMを提供する。モバイルは忠実度が可変なアクセシビリティツリーを提供する。デスクトップはしばしばどちらも確実には提供しない。だからこそデスクトップエージェントは最も強くピクセルに依存する（第4.1節、第10.2節を参照）。クロスプラットフォーム転送は現在、ネイティブ行動モデルの明示された目標である[31, 35, 41]。

学習パラダイム。 プロンプトまたはスキャフォールドされたエージェントはモデル内部を何も変えない。微調整された行動モデルは軌跡データ上でパラメータを変える。強化学習されたエージェントは環境報酬に対してパラメータを変える。第9節はそれぞれがどこで擁護可能であり、報告された利得が実際に何を犠牲にするかを検討する。

検証スタイル。 エージェントとは独立に、環境はタスク固有のスクリプトを最終状態に対して実行するか、LLMジャッジに問い合わせるか、記録された人間の軌跡に対してリプレイすることによって検証する。この選択が、報告される任意の2つの数値の比較可能性を決定する（第10節）。

表3. 3つの横断的区別と、それぞれが拘束力を持つ章。これらは意図的に章見出しから外されており、ループが主要な軸であり続けるようにしている。

要点

• エージェントループによって整理することで、クロスプラットフォーム比較が可能になり、各手法が実際にどの構成要素を変えるのかが明らかになる。
• プラットフォーム、学習パラダイム、検証スタイルは二次的な軸であり、章見出しではなく表に属する。
• ループは共有構造の記述であり、優れたエージェントがそれを明示的に実装しているという主張ではない——いくつかのフロンティアモデルは知覚と計画を単一のフォワードパスに折り畳んでいる。

4 環境とインターフェース

4.1 3つの観測ファミリー

エージェントが見られるものは、何を学習しなければならないかを決定する。この分野は3つの観測ファミリーに収束しており、その選択が重要であることを示す最も明快な証拠は、他のすべてを固定した比較から得られる。

構造のみ。 エージェントはページまたはアプリケーションのテキスト表現を消費する：アクセシビリティツリー、DOMシリアライゼーション、またはそのMarkdownコンパイル。AgentOccamは、他に何も変えない——新しいモデルも、新しい訓練もなく、観測関数と行動関数を互いに整合させるだけである——ため、最も示唆に富む事例である。アクセシビリティツリーをMarkdownに圧縮し、テキストインターフェースでは表現できない行動（スクロール、ホバー、プレス）を削除し、note/stopと計画行動を追加し、WebArenaで43.1%を報告する。これは最強の先行エージェントの33.3%、バニラベースラインの16.5%に対するものである[47]。そのアブレーションは利得を分解する：行動空間の整合が最大の割合を占め、次にスクロールの無効化、そして観測の圧縮が続く。この順序自体が発見である——最も貢献したのは観測ではなく、行動インターフェースであった。

ピクセルのみ。 構造的入力は一切なし。Pix2Actはこのパラダイムを確立した。純粋なピクセル観測、座標アクション、ピクセルレベルの事前学習を伴う人間のデモンストレーションからの行動クローニング、そして推論時のモンテカルロ木探索により、MiniWoB++で平均96.2%に達し、DOMベースのベースラインを上回った[16]。Cradleは同じコミットメントを論理的な帰結まで貫く。すなわち、画面映像を入力とし、キーボードとマウスを出力とし、APIは使わない。そしてOSWorldで7.81%を報告し、これはGPT-4oの5.03%、Set-of-Markオーバーレイを用いた場合の4.59%に対する結果である[128]。純粋ピクセル設定はまた、General Computer Control研究問題をその最も強い形で定義するものであり、低い絶対値は、なお多くの課題が残っていることを示している。

ハイブリッドとコンパイル。 実運用されているシステムの多くは両方のチャネルから入力を受け取りそれらを融合し、2026年の変種はさらに進んで、インターフェースをコンパイルしてアドレス可能な構造にする。UFO2はデスクトップにおける最も明快な事例である。アクセシビリティツリーを主とし視覚によって拡張された制御グラフ、計画を行うホストエージェントと実行を行うアプリケーション特化エージェント、そしてGUIイベントとネイティブアプリケーションAPIの和集合からなるアクション空間を備える[125]。Windows Agent Arenaで30.5%に達し、これは強力な商用エージェントの20.8%に対する結果である。

図5. UFO2の制御アーキテクチャ。論文のフレームワーク図から再描画したもの[125]。ホストエージェントがタスクを分解し、Windowsアプリケーションごとに1つのアプリケーション特化エージェントをインスタンス化する。各特化エージェントはサブタスクの完了をホストに報告し、ホストがスケジューリングとアプリケーションのライフサイクルを担う。1つのプランナーと、特定のアプリケーションに束縛された多数のエグゼキュータという層状の分割が、GUIイベントとネイティブAPIの和集合を単一のアクション空間で使用可能にしている。

Web$hellはライブページを、永続的でバージョン管理されたキャッシュを伴うアドレス可能な情報オブジェクトおよびアクションオブジェクトへとコンパイルし、WebArena-Verifiedで0.679のタスク成功率を報告している。これはコスト同等の条件下で比較システムの0.264に対する結果である[126]。Beyond Pixelsはより軽量な経路をとり、DOM自体をダウンサンプリングする。すなわち、深さによってコンテナを統合し、コンテンツをMarkdownに変換し、属性と文を刈り込む。そして18のOnline-Mind2Webタスクで73%を報告し、これはグラウンデッドGUIベースラインの65%に対し、およそ5分の1のトークンコストでの結果である[141]。Tactileは複数ソースのUI証拠を、ロール、テキスト、状態、幾何、アフォーダンス、来歴を伴う候補ターゲット集合へとコンパイルし、グラウンディング、実行、検証を4つの明示的な段階に分割し、macOSベンチマークでCodexのSuccess@100を41.1%から50.0%へと引き上げた[129]。

構造的方向性の極端な例はASILであり、スクリーンショットを完全に捨て去る。環境は型付きJSON状態を公開し、エージェントはスキーマ制約付きの意味的呼び出しを通じて行動するset_value、invoke_function、modify_file。それらはアダプター契約[123]の背後にある。15アプリケーションにわたる380タスクで、あるフロンティアモデルについて81.6%を報告し、これはGUI条件下の6.6%に対する結果であり、軌跡あたり5アクション未満である。我々は2つの注意点を指摘する。比較は非対称であり、構造化された側はGUI側が受け取らなかった評価者由来のヒントを受け取っていた。またこの取り決めは、アプリケーションが協調することを前提としている。

4.2 座標から意味へ

アクション空間は対象期間中に一方向へと移行しており、その段階は本章の研究に見て取れる（表4）。

表4. この分野がたどってきた順序に沿った行動空間の段階。それぞれに代表的な研究と特徴的な失敗を示す。

この傾向は座標の否定ではなく、何が行動と見なされるかの拡大であり、その最も明確な証拠は、複数のチャネルを組み合わせたシステムが単一チャネルのシステムを上回るという点にある（7.4節および10.5節）。

4.3 インターフェースは設計上の立場である

二つの研究は、インターフェースがそもそもエージェントの問題であるべきではないと論じている。Agentic Web Interfaceの立場論文は、サイトが自らの情報とコントロールを機械が行動可能な形式で公開し、グラウンディングの責任をエージェントではなくサイトへ移すことを提案し、その動機として100万トークンを超えるDOMやタスクごとのコストを挙げている[130]。これはプロトタイプではなく原則と提言を提示するものであり、ここでの価値は、Web$hell、Tactile、ASILがいずれも依拠している前提を明示的に述べている点にある[126, 129, 123]。

ここでコンピュータ利用エージェントは、CLIの世界が直面しなかった問いに出会う。ターミナルは機械のために設計されたインターフェースだが、ウェブページはそうではない。10.5節のハイブリッド・インターフェースの結果は、同じ論点の実証的な形であり、この立場を単なる宣言以上のものにしている。

4.4 対照比較が実際に決着させるもの

一つの研究は、どちらかの側に立つことを拒むため、特に注目に値する。actionインターフェースを固定し、観測表現と履歴のみを変化させたRead More, Think Moreは、答えが単調ではなくモデル依存であることを見出した。より豊かなHTML観測は、同じベンチマーク上で一つのモデルには+17.5パーセントポイントの価値があるが、別のモデルには−18.8ポイントである[127]。観測形式とモデルの間の相互作用は、平均的な効果を打ち消すほど大きい。つまり「ピクセル対DOM」は一般的な答えのある問いではなく、特定のモデル、特定のサイト、特定のトークン予算に関する問いなのである。

この結果は、本章の残りの文献をどのように読むべきかを規定するはずである。数多くの論文が自らの観測形式が最良であると報告しているが、他のすべてを固定したままモデルファミリーを変化させているものはほとんどなく、そうしている唯一の研究では順位が逆転する。

要点

• 観察の3つの系統が共存している。構造のみ、ピクセルのみ、ハイブリッド/コンパイル済みであり、それぞれの内部に直接的なアブレーションがある。
• AgentOccamの分解は、ここで最も明快な単一の結果である。アクションインターフェースを整合させることが、観察を圧縮することよりも重要であった。
• アクション空間は座標から要素インデックスへ、さらにプログラム的および意味論的呼び出しへと広がった。チャネルを組み合わせるシステムは単一チャネルのシステムを上回る。
• 完全にコンパイルされた、あるいは対称的な構造という立場は、それ自体のベンチマーク上では説得力があるが、アプリケーションの協力に依拠しており、最も強いケースでは非対称な比較条件に依拠している。
• 唯一の制御されたモデル×観察の研究は、ピクセルと構造の間の順位がモデル間で安定しないことを示しており、これが最良のインターフェースに関するほとんどの絶対的な主張を弱めている。

5 知覚とグラウンディング

5.1 構造を読むことからピクセルを見ることへ

クリックしようとする要素を見つけられないエージェントは行動できない。第一世代のウェブエージェントでは、これは読むことによって解決された。アクセシビリティツリーまたはDOMが、名前、役割、バウンディングボックスを持つ要素のリストを提供し、エージェントはその中から1つを選択した。その解決策のコストは依存関係そのものであり、本章の作業の4分の3はそれを取り除くために存在する。

その進展は一連の成果物の中に見て取れる。SeeClickはエージェントの問題をグラウンディングの問題として再構成し、スクリーンショットから座標を出力するようモデルを訓練し、約100万のグラウンディングサンプルが、同じモデルには皆無であった汎用モデルに実用的な画面位置特定能力を与え得ることを示した[25]。Set-of-Markプロンプティングは、汎用の視覚言語モデルが座標を推論するのではなく、番号付きオーバーレイの中から選択できることを示した[20]。OmniParserは知覚をポリシーから最も明確に分離する一歩を踏み出した。モデルを凍結し、別途ファインチューニングされた検出器、アイコンキャプショナー、OCRに要素リストと番号付きオーバーレイを生成させることで、既製のGPT-4Vが自ら抽出することを学ばなかった構造を消費するようにした[118]。次にUGroundは、純粋なピクセルグラウンディングをプラグ可能なモジュールにした。プランナーが対象の短い自然言語記述を出力し、グラウンディングモデルがそれを座標に変換するのであり、1000万の合成要素で訓練された[29]。2024年末までに支配的なアーキテクチャは2段階、すなわちピクセルを見ないプランナーと、それ以外何もしないグラウンダーであった。

同じ系譜にある2つの初期の研究は、今なお知覚的問題の最も明快な定式化である。Screen Parsingは2021年に、課題は要素を検出することではなくインターフェースモデルをリバースエンジニアリングすること、すなわち要素をそのグループ化と階層とともに復元することであると論じた。この枠組みは後の純粋ピクセルモデルのほとんどによって放棄された。報告されている23%の改善についての我々の証拠は抄録に限られており、本文は本レビューのために入手できなかった[117]。CogAgentは低解像度のバックボーンに専用の1120×1120高解像度クロスアテンションブランチを追加し、1億4000万の画面要素ペアで事前訓練し、Mind2Webで58.2%のステップ成功率に達し、はるかに大規模なテキスト入力モデルを上回った[21]。その結果は、ピクセルが構造に負ける必要はないという最初の強い証拠であり、解像度を中心的なエンジニアリング上の問題にした。

5.2 解像度は失敗の軸であり、今や定量化されている

ScreenSpotは標準的なグラウンディングベンチマークであり、ターゲットはスクリーンショットの平均約2%を占める。ScreenSpot-Proは、3つのオペレーティングシステムにまたがる23のプロフェッショナルアプリケーションからの1,581サンプルに基づいて構築され、それを0.07% [119]にまで縮小している。この変化の効果は劇的であり、正確に述べておく価値がある。なぜなら、それは本章で最も情報量の多い測定結果だからである（表5）。

表5. ベンチマーク設定別のグラウンディング精度。各行は互いに比較可能ではない。ScreenSpotとScreenSpot-Proはターゲットサイズが桁違いに異なり、それが以下の議論の主題である。

82%と19%の間のギャップはモデル世代のギャップではない。OS-Atlas-7BはScreenSpotでは強力なグラウンダーであり、ScreenSpot-Proでは弱い。それは解像度のギャップであり、解像度のレジームを伴わずに引用されたベンチマークスコアがほぼ無意味であることを意味する。同じ研究群はまた、失敗が二値的ではなく段階的であることも示している。精度はターゲットサイズが縮小するにつれて単調に低下する[119]。

5.3 二つの救済策：より大きく訓練するか、より賢く検索するか

訓練側の答えはすべて、モデルに適切なパッチのより多くのピクセルを与えることに帰着する。CogAgentは高解像度ブランチを追加し[21]、Irisは均一なリサイズを情報密度駆動型の適応的クロッピングに置き換え、より密な領域により多くのクロップを割り当て[121]、ShowUIは接続されたUIコンポーネント内の冗長な視覚トークンを削除して視覚トークンを3分の1に、訓練時間を40%削減し[34]、OS-Atlasはコーパスを5つのプラットフォームにまたがる13.58M要素に拡張し[31]、Phi-Groundはデータエンジニアリングを体系的に変化させ（40M規模のクローリング、参照表現のスタイル、座標規約）、その結果、グラウンディングターゲットの表現がアーキテクチャではなく結果を駆動することを発見した[120]。

推論側の答えはより驚くべきものである。なぜなら、何も訓練せずに機能するからである。ScreenSeekeRはプランナーに候補領域を仮説生成させ、再帰的にクロップし、グラウンダーを小さな画像上で動作させ、当時の最良のエンドツーエンドモデルの18.9%に対してScreenSpot-Proで48.1%に到達する。これはパラメータ更新なしでの29ポイントの向上である[119]。

図6. ScreenSpot-Proのタスクにおける再帰的な領域絞り込み。ScreenSpot-Pro論文[119]より。上段は単発モデルと部分ズームのベースラインがいずれもターゲットを外している様子を示し、下段は同じタスクを successive narrowing によって解いた様子を示す。ここでは各ステップが、最終的なグラウンディング判断の前に、妥当な領域のテキスト記述（「File Explorer window」、次に「top action bar」、次に「toolbar at the top of the file explorer window」）を提供する。セクション5.2の利得は、より大きなモデルからではなく、このループから生じる。視覚的テスト時スケーリングはこれを一般化する。すなわち、注目点を提案し、比例する4つの領域を切り出し、それぞれで候補行動をサンプリングし、候補を画像上のランドマークとして描画してモデルに選択させることで集約する[122]。これによりQwen2.5-VL-72BはScreenSpot-Proで47.8から61.6へ、UI-TARS-72Bは38.1から50.2へ向上し、7Bモデルに本手法を適用した場合（41.2）は、本手法なしの72Bモデル（38.1）を上回る。

コストは現実であり、論文はそれを正直に報告している。ウェブ軌跡は66.8%高コストになり、ScreenSpot-Proでは180–360%のオーバーヘッドが生じる。これは計画におけるテスト時スケーリング（セクション9.4）に現れるのと同じトレードオフであり、どちらの場合も、予算が制約されているが使い切られていないときに利得が最大になる。

5.4 自己ラベル付きデータとその特徴的なバイアス

グラウンディング用コーパスは主に機械生成であり、自律性について公表されている数値は注目に値する。UGroundはルールと言語モデルによって1,000万要素を合成した[29]。Aria-UIは要素にキャプションを付け、そのキャプションを指示文へと人間らしく変換することで1,150万サンプルを構築した[36]。OS-Atlasは1,358万要素に達した[31]。Irisの貢献は、このループを明示的に閉じることにある。refer-and-groundの自己整合性チェックにより、往復で元のターゲットを復元できる生成ペアを受け入れ、約300万の自己ラベル付きサンプルを生成し、SeeClickが53.4%を得る同じデータ量でScreenSpotにおいて74.6%に達する。すなわち、UGroundの1,000万アノテーションによる73.3%をわずかに上回る[121]。

同じ論文は、この手続きが導入するバイアスも明示している。往復一致は大きく一般的な要素ほど得られやすいため、自己ラベル付けはそれらを過剰にサンプリングする。論文自身のデスクトップアイコンおよびウィジェットのスコア（57.5）はUGround（63.6）に劣る。Ferret-UIは、往復ではなく外部の要素検出器から訓練信号を構築しており、相補的な失敗を報告している。すなわち、検出器が決して反応しない要素、たとえばステータスバーのインジケーターについて学習できない[27]。どちらも同じ構造的問題の事例である。自己ラベル付きパイプラインでは、ラベルの分布はラベリング装置の分布であり、そこに含まれる誤りは最終スコアでは見えない。

5.5 測定問題はベンチマークの内側にある

OS-AtlasはScreenSpotを手作業で検査し、ラベルのおよそ11.32%が誤っていることを見つけ、それらを修正し、ベンチマークをScreenSpot-V2として再リリースした[31]。その修正より前に元のラベルに対して行われた比較は、符号の不明な誤差範囲を伴う。他にも測定上の懸念が繰り返し現れる。Ferret-UIはIoUが0.5より大きい場合にグラウンディングをスコア付けするが、これはクリックが意図したコントロールに当たるかどうかの弱い代理指標である[27]。点はボックスの内側にあるか、そうでないかのどちらかである。またScreenSpot-Proは分散なしの単一実行を報告している[119]。

これをセクション10.3の評価監査と結び付けておく価値がある。グラウンディングのスコアはこの分野で最も頻繁に引用される単一の数値であり、それらを生み出すベンチマークの少なくとも1つは、約1割という測定可能な誤りを含んでいた。

5.6 グラウンディングはエージェンシーではない

これらの表を能力ランキングとして読む誘惑に駆られる。しかしそうではない。UGroundとAria-UIは明示的に非自律的であり、どちらも外部プランナーを必要とし、単独では展開できない[29, 36]。Aguvisはこの点を実験的に示している。比較内で最高の単一ステップグラウンディング数値（ScreenSpotで7Bモデルが81.8、自己プラン設定で72Bが89.2）を保持するにもかかわらず、OSWorldのエンドツーエンドではわずか10.26%しか獲得せず、GPT-4oのプランナーとAguvis自身のグラウンディングモジュールを組み合わせて得られる17.04%を大きく下回る[35]。逆にFerret-UIは、初歩的なグラウンディングタスクではGPT-4Vを大差で上回る一方、高度な推論タスクでは下回る[27]。

正しい読み方は、グラウンディングは必要な構成要素ではあるが、その測定された精度がタスク成功へ線形に合成されるわけではないということである。セクション10.2がその理由を示す。数パーセントのステップレベルのエラー率が20ステップにわたって複合し、しかもそれはプランニングエラーが入り込む前の話である。

要点

• この分野は構造を読むことからピクセルを見ることに移行し、最終的に二段階アーキテクチャ——ピクセルを見ないプランナーとプラグ可能なグラウンダー——に至り、それは2026年まで持続している。
• 解像度は支配的な失敗軸であり、今や定量化されている。同じモデルファミリーが約2%のターゲットで82%、0.07%のターゲットで19%を記録する。
• 訓練不要の推論側手法（再帰的探索、視覚的テスト時スケーリング）は、本調査における最大級のグラウンディング改善をもたらし、そのコストは1.7〜4.6倍である。
• 自己ラベル付けされたコーパスは、はるかに大規模な人手注釈コーパスと同等に達するが、ラベリング手段が大きく往復しやすい要素に偏るバイアスを継承する。
• 少なくとも1つのグラウンディングベンチマークに約11%のラベルエラーが見つかり、再リリースを余儀なくされた。このことは、この分野で最も引用される数値に対する信頼を和らげるべきである。
• 強いグラウンディングは強いエージェントに合成されない。本章で最良のグラウンディングモデルは、最良のエンドツーエンドエージェントではない。

6 プランニング、記憶、推論

6.1 記憶は最も標準化されていない構成要素である

すべての長期的エージェントは何かを記憶する必要があるが、この分野は何を記憶するかで合意していない。三つの設計が繰り返し現れ、それらは一つのアイデアの変種ではない。

エピソードとスキルライブラリ。 完了した軌跡が保存され、埋め込みによって検索される。WebCoachは完了した軌跡のみをエピソードストアに書き込み、小さなモデルに1〜2文の助言を注入するかどうかを決定させ、WebVoyagerでSkywork-38Bを0.473から0.614へ引き上げる[54]。MapAgentは訪問した各ページをアプリケーションごとの構造化ページチャンクとしてベクトルデータベースに蒸留し、上位3つを検索し、粗から細へ計画する。アプリケーション横断のモバイルタスクで、最強のベースラインの0.200に対して0.350に達する[61]。Mirage-1は同じアイデアをMeta/Core/Execution層にわたって階層的に組織し、サブゴールレベルで探索してAndroidWorldで42.2%に達する[59]。

実行中の要約。 ライブラリではなく、エージェントは現在のタスクの圧縮された記録を保持する。Mobile-Agent-v2は計画・意思決定・振り返りの3つの役割を、テキストによる進捗メモリとともに実行し、88件の実際のモバイル指示においてタスク成功率を43.2%から75.0%へ向上させる[64]。PAL-UIは、過去のスクリーンショットを再取得する明示的なlook-backアクションを、2段階の要約とともに追加し、AndroidControl-Highのステップ成功率を10.7ポイント改善する[62]。MobAは5つの部分からなるメモリを備えたスタック駆動の深さ優先分解を用い、振り返りが現在の経路は実行不可能だと示したときにのみ再計画する[58]。

予測された状態。 第3の系統は過去を一切保存せず未来を予測するものであり、6.3節で扱う。

利得と同様に、反証も重要である。WebCoachの機構は7Bバックボーン上で退行した（0.328→0.311）[54]。また、PAL-UIのlook-backアクションは、要約を除去すると性能を積極的に悪化させた（要約ありの57.8に対し52.3）[62]。回顧的なアクションが有用であるには、タスクの圧縮された表現が必要であるように思われる。それがなければ、過去を再訪することは情報というよりもノイズに近い。

6.2 バックトラッキングと再計画：最もクリーンな統制された証拠

メモリの文献が異質であるならば、バックトラッキングの文献は異例なほどよく統制されており、本章で最も信頼できる数値を提供する。

WebRollbackは、貪欲探索エージェントに2つの明示的な能力を追加する。すなわち、続行するか戻るかを決める二値の批評と、戻るべき過去のステップを選択するロールバック操作であり、これは何ステップも前のものでありうる。Mind2Web-Liveにおいて完全完了率27.36%を報告し、これは一方向探索の24.53%、最良優先の23.82%に対するものであり、3回実行の平均と報告されたばらつきを伴う[53]。BEAP-Agentは、永続的なトラッカーと多段階バックトラッキングを備えた状態空間の深さ優先探索を実行し、OSWorldで28.2%を記録し、これはベースモデルの24.0%に対するものであり、アブレーションではバックトラッキングを除去すると−1.9ポイント、トラッカーを除去すると−4.6ポイントとなることを示す。タスクの35.8%が少なくとも1回バックトラックを引き起こした[55]。

このグループにおける負の結果も同様に示唆に富む。Agent+Pはプログラム解析によってUI遷移グラフを構築し、古典的なプランナーで最短経路を解き、その計画を変更されていないエージェント向けの自然言語ガイダンスに変換する。5つのアプリケーションにまたがる44タスクのサブセットにおいて、T3Aを24.32%から38.64%へ引き上げる。全116タスクで実行すると、同じ介入は+1.72および+0.86ポイントをもたらす[60]。完全なベンチマークでは生存しないサブセットでの利得は、本章の主要な数値をタスクセットと結びつけて読むべき理由を示す、利用可能な最も明快な例である。

6.3 ワールドモデル：生きた意見の対立

エージェントが行動を取る前にその帰結を想像すべきかどうかは、本章で最も真に争われている問いであり、双方とも十分な証拠を備えている。

WebDreamerは言語モデルを世界モデルとして扱う。次の観測をシミュレートし、シミュレートされた軌跡をスコアリングしてから、環境に触れることなくより良い分岐で行動する。VisualWebArenaで23.6%（反応型ベースラインは17.6%）、Online-Mind2Webで37.0%（同26.0%）、Mind2Web-Liveで25.0%（同20.2%）を報告しつつ、木探索より4〜5倍高速に動作する[56]。MobileDreamerは同じアイデアをモバイル画面に実装し、次の画面をラベル・テキスト・ボックスの構造化テキストスケッチとして予測し、最適輸送でマッチングすることで、強力なモデルをAndroidWorldで60.53%から65.78%へと引き上げる[57]。

同じ論文群によって三つの限界が報告されている。WebDreamerの利得は想像する地平が長くなるにつれて縮小し、深さ1を超えると手法は劣化する[56]。MobileDreamerはOCR由来のスケッチに依存しており、正しい画面を見つけられない割合が23.4%であると報告している[57]。そして両者とも、世界モデルが最も信頼できないまさにその領域——不慣れなインターフェースにおける長い地平——で世界モデルが正確であることに依存している。対立点はシミュレーションが機能するかどうかではなく、どこまで先までキャリブレーションが保たれるかである。

6.4 分解と階層

階層的分解は本章で最も古いアイデアであり、最も議論の余地が少ない。MobAのスタック駆動型深さ優先スキームはMobBenchで50件中28件の初回試行完了に到達し、従来のマルチエージェント設計の50件中17件を上回り、効率スコアは3.44（人間の参照値は3.53）である[58]。Mirage-1は三層のスキルメモリとサブゴールレベルの探索を組み合わせている[59]。興味深い観察はアーキテクチャではなく方法論に関するものである。これらのシステムのいくつかは利得をタスクレベルではなくステップレベルで報告しており（PAL-UIはステップ成功率[62]、後述の診断はサブゴール一致率[63]）、これはより弱い証拠の単位である。なぜならステップレベルの改善は軌跡全体での複利効果を経ても維持されるとは限らないからである。

6.5 診断が語るもの

二つの研究が一歩引いて、失敗がどこから生じるかを問う。一つはウェブエージェントを四要素のプロセス——高レベル計画、低レベル実行、事後条件チェック、再計画——として再定式化し、高レベル表現を自然言語にするかPDDLにするかを変化させて、104件のMind2Web-Liveタスクで評価する[63]。その最も有用な記述的知見は地平に関するものである。観察された計画は平均して7.08アクションにわたって3.04のサブゴールを含む。典型的なタスクが約三つのサブゴールに分解されるのであれば、セクション6.4の深い階層的機構は現在のベンチマークに対して過剰設計かもしれず、報告されている計画の利得の多くは分解の利得ではなくチェックの利得かもしれない。

これはセクション7.2の検証に関する知見とセクション4.4の表現に関する知見につながる。計画、行動、知覚という三つの異なる場所で、統制された比較は利得を前方計画の洗練ではなくフィードバックと検証のループに位置づけている。

本章全体に恒常的な留保が適用される。このセクションのために調査したカード全体を通じて、複数のランダムシードで分散や有意性検定を報告する論文は事実上存在しない。WebRollbackの3回実行の平均[53]とBEAPのアブレーション[55]が例外である。数百タスクにおける数ポイントの単一実行の利得は、環境やモデルバージョンの変動が生み出しうる範囲内であり、これらの研究のいずれもそうでないことを立証していない。

要点

• メモリ設計は、埋め込み型のエピソードまたはスキルライブラリ、実行中のテキスト要約、予測状態に分かれる。いずれも標準ではなく、3つのうち2つは、より弱いモデル上、または要約コンポーネントなしで退行が記録されている。
• バックトラッキングと再計画は、この章で最もクリーンな制御された証拠を与えており、分解可能なアブレーション（OSWorldでバックトラッキングは−1.9、トラッカーは−4.6）を伴う。
• サブセットでの向上は、フルベンチマークでは消えることがある。44タスクで+14ポイントの価値がある記号的計画介入は、116タスクでは2ポイント未満の価値しかない。
• 世界モデル計画は真に論争の的である。反応型エージェントを上回り、木探索より高速だが、その利点はホライズンとともに減衰し、そのスケッチ予測はほぼ4分の1のケースで画面を外す。
• 典型的なタスクは約3つのサブゴールに分解される。これは、現在の階層がベンチマークに含まれるよりも長いタスク向けに用意されていることを示唆する。
• この章ではほとんど何も分散を報告していない。単一実行の数ポイントの差は、確立されたものとして扱うべきではない。

7 行動の生成と実行

7.1 行動の選択から、その証明へ

2024年まで、行動段階は生成問題であった。状態と計画が与えられれば、クリックを出力する。2025〜2026年の4つの独立した研究系列が、これを検証問題に置き換え、4つの異なる方向から同じ構造的変化に収束する。

第一のものは、候補をサンプリングするのではなくスコアリングする。V-Droidは状態内の妥当な行動を列挙し、方針自身の最初のトークン確率から構築された学習済み検証器でそれぞれをスコアリングし、argmaxを取る。決定的なのは、離散的な行動タイプの選択とそのパラメータの補完を分離していることで、高コストな生成パスは自由テキストを必要とする少数のステップにのみ必要となる[87]。AndroidWorldではこれが59.5%に達し、制御された比較は明快である。同一の訓練データで、検証器駆動の選択は47.4%を与え、教師ありセレクタは35.8%、生成器は27.4%である。この設計はレイテンシでも元が取れる。パラメータ補完を必要としない88%のステップで0.44秒であり、これは展開されたエージェントにおいて計画と内省が実時間コストを支配することをセクション10.4が示しているため重要である。

第二のものは、自身の予測を検査することを学習する。VeriGUIは行動効果の検証を第一級の出力とする。各ステップで方針は前ステップの予測画面変化を実際に起こったことと比較し、それから行動し、次の効果を予測する。その混合報酬は非対称であり、誤った検証主張に−2.0のペナルティを与え、正しいものに+1.0の報酬を与える[92]。重要な結果は見出しの回復率（7Bモデルで52.5%、UI-TARS-7Bで45.5%）ではなく、オフラインの数値である。AndroidControl-Highでは、同規模のベースラインは模擬テスト成功率でゼロを記録するが、検証訓練されたモデルは16.7%（3B）と23.5%（7B）に達する。

第三のものは、ルールと学習済み審査器でゲートする。BacktrackAgentは行動を実行し、次にルール検証器（行動は合法か、ページはまったく変化したか？）と学習済み審査器（指示、ページ、履歴が与えられたとき、それは正しい行動だったか？）を実行する。いずれかが失敗すれば、リフレクタは継続するのではなく、同じステップで異なる行動を再生成する[93]。

図7. 論文の概要図[93]に示されたBacktrackAgentの4段階。生成は軌跡から行動を生成する。検出は実行された遷移に対してルール検証器と視覚言語判定器を実行する。回復は失敗をリフレクタに渡し、リフレクタが同じステップに対する代替行動を出力する。その後、軌跡は継続する。左側のステップレベルの詳細はリトライループを示し、右側のパネルは検証器が照合する列挙された行動空間を示す。セクション7.2のアブレーションはこのパイプラインを分解し、その価値のほとんどすべてが検証器ではなく判定器にあることを見出している。

4番目はモデルに一切触れない。WebFoveaはハーネス——解析・実行・フィードバック・観察の往復——を堅牢化し、各行動の後にDOMフィンガープリント（URL、タイトル、ノード数、テキスト長、スクロールオフセット、フォーカス）が実際に変化したかどうかを検査する[88]。

Agent Sのようなモジュラー型フレームワークはすでにループをプランナー、グラウンダー、エグゼキューターの役割に分割していた[30]。ここで述べる変化は異なり、役割をそのまま保ちつつ、決定することと確定することの間に起こることを変える。

図8. 本セクションの4つの研究が決定と確定の間に挿入する検証ステップ。それらの違いはCで用いられる機構であり、検査の位置ではない。

7.2 検証は実際にどの程度の価値があるのか

BacktrackAgentのアブレーションは本章で最も情報量の多い単一の数値である。なぜなら利得を構成要素ごとに分解しているからである。バックトラッキング機構全体を除去するとタスク成功率が5.65ポイント低下する。判定器のみを除去するとそのうち5.32ポイントを失い、ルール検証器のみを除去すると0.45ポイントを失う[93]。行動が実行可能であったか、そして画面を変化させたかを検査すること——安価で自明に自動化できる検査——はほとんど情報を含まない。価値のほとんどすべては、結果として得られた状態が意図された状態であるかどうかを判定することにあり、それが高コストな部分であり、モデルを必要とする部分である。

同じ教訓が同じ論文に負の符号で現れる。バックトラッキングはテキスト入力の性能を低下させる（IoU −1.60）。なぜならリフレクタは異なる行動を生成するよう求められると、タスクが要求する内容ではなく指示に現れる語を置換しがちだからである[93]。行動を変えることに最適化された検証機構は、自動的に優れた行動を選択する機構になるわけではなく、これは本サーベイにおいて訂正ループがサブ行動に actively 害を与えた最も明確に記録された事例である。

7.3 モデルの失敗に見える実行層の失敗

WebFoveaは別個に扱う価値がある。なぜなら他の文献が誤った構成要素に帰属させるであろう失敗モードを特定しているからである。1920×1080のビューポートでChrome DevTools Protocolを通じてライブウェブサイト上で動作し、1,312回のクリックを記録したところ、そのうちx > 1440またはy > 810を超えて着地したものは一つもなかった[88]。合成ターゲットで較正すると、フル解像度の画像を送信した場合に水平1.324、垂直1.350の補正が必要であり、画像を事前にダウンサンプリングして送信した場合は1.010/0.993であった——これは推論APIがモデルが見る前にスクリーンショットを再スケーリングしていたことを確立し、モデルが出力するすべての座標が体系的に圧縮されていたことを示す。マッピングを補正することで、24組のペア開発タスクが8/24から20/24になり、ステップ制限到達が67%から4%に減少した。

同じ研究は、同種の実行上の欠陥をさらに3つ記録している。ネイティブの<select>ポップアップはページ外に描画され、スクリーンショットには決して現れないため、あるエージェントは同じドロップダウンを9回クリックしてから諦めた。モデルに改行で送信するよう指示する参照プロンプトは、実行者がEnterキーを一度も押さなかったため、決して守られなかった（356回のtype呼び出しのうち79回、22%がこの形式であった）。また、エージェントがトップレベルのドキュメントに宛てたため、iframeのターゲティングは失敗した。これらはいずれも推論の失敗ではなく、そのすべてが結果表には1つの失敗として現れる。

これは本サーベイを読むうえでの一般的な注意事項である。ブラウザ制御やエミュレーションのハーネスを通じて測定されたグラウンディングやプランニングの精度は、ハーネスとモデルを合わせたシステムの測定値である。そして両者を切り分けている論文は一部にすぎない。本稿でそれをしているのはWebFoveaだけである。

7.4 第一級のアクションとしてのコード

本サーベイのデスクトップ結果において最も成功した単一システムは、より優れたGUIエージェントではなく、サブタスクごとにGUI操作者とプログラマーのどちらを選ぶかを決めるオーケストレーターである[89]。CoAct-1はアクション空間にPythonとBashの実行を加え、作業を適宜振り分け、同じプランナー骨格を用いたGTA-1の53.10%に対してOSWorldで60.76%、Agent S2.5の56.00%に対して60.76%を報告しつつ、成功あたりのステップ数はより少なく（10.15対15.22および14.90）であった。効率と成功率が同時に向上することは、単により長い探索ではなく、真に優れたアクション空間の特徴である。

この結果はセクション4のインターフェースに関する議論のアクション側の対応物であり、セクション10.5のハイブリッドシステムのベンチマークによってハーネス側からも裏づけられている。そこではGUIのみのエージェントは最大1.8%、CLIのみのエージェントは最大3.5%であるのに対し、ハイブリッド構成は35.1%に達する。

スペクトラムのもう一方の端では、実行バックエンド自体を置き換えることができる。HIDAgentはエージェントを制御対象のマシンから完全に切り離し、キーボードとマウスを装 impersonate しHDMI映像をキャプチャする30ドル未満の外部ハードウェアデバイス上へ移すため、HID入力を受け付ける任意のデバイスを何もインストールせずに操作できる[91]。この研究は定量的評価を報告しておらず、著者らは自らの証拠を記述的なものと述べている。また、正解に基づくデスクトップのグラウンディングは依然として低い水準にある。これをここに含めたのは、本サーベイでポリシーではなく実行の信頼境界を変える唯一の研究であり、セクション11の安全性分析にとって重要だからである。

7.5 実行前の検証

VeriSafeはタイミングを逆転させる。アクションが適用された後に検査するのではなく、タスクごとに一度だけユーザーの指示をHorn節の規則に形式化し、次に開発者が宣言した状態遷移を用いて各候補アクションの期待される効果を計算し、規則に違反する場合にはそのアクションをブロックする[90]。コストは宣言的なものである。調査した18のアプリケーション全体でアプリケーションあたり約59の述語と437行のコード、合計1,058の述語のうち540が実験で有効である。利点は、タスクごとに1回の言語モデル呼び出しがステップごとの1回に取って代わり、安全でないアクションがデバイスに到達しないことである。

限界も同様に明確であり、著者らはそれを明言している。偽陽性は正当なタスクを終了させてしまう可能性があること、クローズドソースのアプリケーションでは開発者の代わりに人間が述語を書く必要があること、そしてこのアプローチは完全な安全性を主張するものではないことである。11.3節ではこれを、コンピュータ利用の安全性を追求するにはモデルをより慎重にするのが最善なのか、それとも世界を検査可能にするのが最善なのかという、より広い問いの最も具体的な事例として扱っている。

要点

• 行動段階は生成から検証へと再定式化されつつあり、四つの異なるメカニズムが同じ構造的変化へと収束している。
• 分解されたアブレーションは、その価値がほぼ完全に、行動が実行されたことを確認することではなく、結果として生じた状態を判断することにあることを示している。
• 実行層の欠陥が結果を支配しうる。スクリーンショットの再スケーリングのバグが1,312回のクリックのすべてをビューポートの一部分に押し込めてしまい、それを修正するとペアの開発タスクでの成功率が8/24から20/24へと2.5倍に上昇した。
• コードを第一級の行動として扱うことは成功率とステップ効率の両方を改善し、他の二つの方向からのハイブリッドインターフェースの証拠と一致する。
• 最先端の回復メカニズムは特定のサブ行動（テキスト入力）を損なう可能性がある。検証にもそれ自体の失敗モードがないわけではない。

8 データと軌跡

8.1 軌跡はどこから来るのか

このサーベイにおけるすべての訓練済みコンピュータ利用モデルはコーパスの関数であり、コーパスはこの分野で最も速く変化した部分である。2023年には参照データセットはクラウドソーシングされていた。Android in the Wildは有償の評価者がエミュレータを操作した715,142エピソードを、スクリーンショットとピクセルから推測されたUI特徴とともに記録した[18]。2026年までには参照規模はプロジェクトあたり数百万の軌跡となり、そのほとんどが人間によるものではない。WebWorldは106万のオープンウェブインタラクション軌跡を収集し[75]、MobileViewsは1,213,866のユニークな画面を[73]、GUI-Net-1Mはビデオチュートリアルから抽出された100万以上の軌跡を[69]まとめている。

その教師信号の出所は三つの系統に分かれ、その間の選択が最も影響の大きい単一のデータ上の意思決定である（表6）。

表6. 軌跡の出所。3つのファミリーは、コスト、コーパスに課す失敗モード、および監督のうちどれだけが実際に起きたことの記録ではなくモデル自身の意見であるかという点で異なる。

マイニングおよび生成のファミリーは、人間をループから2つの区別可能な方法で排除するため、現在方法論的な関心が向けられている場所である。第一は指示優先である。タスクを提案し、エージェントを実行し、判定者が成功したと言えばその軌跡を保持する。InSTAはこれを、Common Crawlのトップ1M PageRankサイト上での提案者–エージェント–判定者のフライホイールとして具体化し、3,000のホールドアウト（サイト、タスク）ペアで56.9%の判定成功率に達する1.7Bポリシーを訓練する。これはゼロショットの11.5%からの向上であり、自身の235Bコレクターを上回る[70]。第二はインタラクション優先である。エージェントをさまよわせてからラベルを付ける。NNetNavは各状態遷移を1文に圧縮し、得られたプレフィックスに指示をラベル付けし、結果報酬モデルで枝刈りすることで、Llama-3.1-8BにWebArenaで16.3%をもたらす。同じモデルのゼロショットスコアは1.0%である[71]。AndroidGenはさらに進み、ラベルを訓練信号に変える。批評者がサブゴールに注釈を付け、失敗は最初の未完了サブゴールで切断され、プレフィックスはより短い指示で再ラベル付けされる。こうして失敗した実行は無駄ではなくサンプルになる[74]。

図9. InSTAの3段階フライホイール。論文のパイプライ図より[70]。ステージ1は100万のうちからサンプリングされたサイトに対してタスクを提案する。ステージ2ではエージェントがそれを試み、対象要素IDを持つ構造化された行動を出力する。ステージ3では言語モデルの判定者が、成功、効率、自己修正についてその試みを採点する。この図はセクション8.3の循環性を具体的に示している。ステージ3の判定者は、同じモデルファミリーがステージ2で収集した軌跡を採点するのである。

8.2 規模は最も重要な変数ではない

データから報告されている向上幅は大きく、実際に大きい。しかし、それをスケーリングの物語として読むのは誤りである。最も明確な対照比較はGroundCUAから得られる。同モデルは競合他社よりはるかに小さいコーパスを構築しており、専門家のデモンストレーションから得た356万個の密に注釈付けされた要素（画面あたり約64個の注釈）を用い、GroundNext-7Bが平均ポイント精度69.2を報告しているのに対し、JEDI-7Bは56.1である。JEDIは約900万サンプルを使用している[65]。密度と出所が量に勝るのである。

さらに二つの結果が、素朴なスケーリング的解釈を複雑にする。SoftwareGymはまったく新しいデスクトップアプリケーションを合成し、その中でタスクを生成する。合成データのみでOSWorld Pass@3を41.39%から56.97%へと引き上げるが、その合成データをすでにOSWorldで訓練済みのモデルに追加すると、OSWorldは61.48%から58.61%へと低下する[72]。混合は加算的ではない。また、AgentTrekが採掘した軌跡は不均一に転移する。同じコーパスがScreenSpot-Webのグラウンディングでは大きな向上を支える一方、エンドツーエンドのナビゲーションでははるかに小さな向上しか支えない[68]。これは、グラウンディングとプランニングが分布の異なる部分に依拠しているならば当然予想されることである。NNetNavはこの最も鮮明な事例を報告している。WebArenaのトレースをライブサイトの訓練に混合すると、平均性能が1.3ポイント低下する。これは、環境固有のデータと環境汎用のデータが互換ではないことを示す初期の兆候である[71]。

総合すると、これらの結果は、論文自体がほとんど述べることを避けている主張を支持する。現在のコーパスにとって、軌跡が何を含むか——密な要素ラベル、正しいサブゴール境界、真の終端状態——は、その数がどれだけあるかよりも重要である。これは上記の比較から得られる我々の推論であり、いずれの単一論文が導き出した結論ではない。

8.3 品質管理、そしてそれが循環的になる箇所

大規模な自動構築コーパスは、そのフィルターの質を超えることはなく、そのフィルターは通常言語モデルである。そこから三つの繰り返し現れる問題が生じる。

循環性。 判定モデルが同じモデルによって生成されたデータをフィルタリングする場合、成功ラベルは収集者自身の誤りを部分的に符号化している。InSTAの判定器はデータを収集するのと同じ235Bモデルファミリーである[70]。AndroidGenの批評器は展開ポリシー自身の判定器である[74]。SPA-Benchの評価器は、それが採点するほとんどのエージェントが使用するのと同じGPT-4oである（セクション10.3）。これらの論文はいずれも、報告された向上幅のうちどれだけが独立したフィルターを経ても生存するかを測定していない。

共有された出所。 複数のモバイルベンチマークにおけるクロスアプリタスクは、最高性能のエージェントがファインチューニングされたデータセットから取得されている。OdysseyAgentの事例が最も明確である（セクション10.2）。タスクによるホールドアウト分割は、必ずしもモデルが訓練した分布をホールドアウトするわけではない。

歩留まり。 自動パイプラインにはそれ自身の成功率があり、それは高くない。GUI-360°の2ラウンド収集は試行のわずか26.09%で成功し、そのためそのステップのうち1,093,525が失敗実行である[66]。AgentTrekのコーパスは127のウェブサイトをカバーしている[68]。MobileViewsは依然としてスタックしたアプリケーションのロック解除に人間の介入を必要とする[73]。公開されている軌跡数は、端から端まで報告されることがまれな損失のあるプロセスの出力である。

これらの問題と並んで、真の進歩がある。失敗は今や捨てられるのではなく保持されている。GUI-360°は失敗した軌跡を強化学習のための監視リソースとして明示的に保持し、AndroidGenはそれらをプレフィックス拡張された短ホライズンサンプルとして再利用する。ほとんどのエージェントが失敗するこの分野にとって、これはデータの黙って削除するよりも良い利用法である。

最後に、データセット論文の報告品質は一様ではなく、再検証を制限する形でばらついている。TongUI、MobileViews、SoftwareGym、AgentTrekはデータセットとモデルのオープン公開を告知しているが、我々が読んだ版ではダウンロード可能な場所が示されていない。いくつかはライセンスと情報源ごとの件数を欠いており、アノテーター間一致や情報源ごとの収率を報告しているものはほとんどない。これは単なる書式上の不備ではなく、証拠基盤の網羅性と再現性に関する限界である。だからこそ、本章の規模の数値は独立に検証されたものではなく、著者による表明として読むべきなのである。

要点

• 軌跡の教師信号は、約18か月の間に人間による実演から採掘データおよびエージェント生成データへと移行し、現在では第三の系統である合成環境ファミリーが台頭しつつある。
• 利用可能な最強の統制比較によれば、密で来歴の明確なデータは、より大規模な自動収集データを上回る。これは規模が無意味だという意味ではない。
• 合成データと環境固有データは相性が悪い。二つの独立した結果が、ある環境で有効なコーパスが別の環境では害になることを示している。
• 成功フィルターは通常、収集者自身のモデルであり、来歴が評価ベンチマークと重複することもよくある。どちらも、論文が定量化していない形で測定された進歩を水増しする。
• 失敗した軌跡を訓練信号として保持することは、この時期の実質的な方法論的進歩である。

9 訓練と行動モデル

9.1 三つのレジーム、三桁のコスト差

本章の内容はすべて三つのレジームのいずれかに分類される。プロンプティングはモデル内部を何も変えず、足場によって制約される。教師ありファインチューニングは記録または合成された軌跡に対してパラメータを変える。強化学習は環境が提供する結果に対してパラメータを変える。実際にはこれらのレジームは代替案ではなく、ほとんどの強力なシステムは三つすべてを順に用いる。しかしコストは桁違いに異なり、その差が報告される数値の大部分を説明する。

一方の端では、UI-R1が136サンプルで3Bモデルを訓練し、ScreenSpotを65.0%から83.3%へ引き上げ、7Bの教師ありモデルを上回る[114]。GUI-R1は1000万サンプルのSFTコーパスを3,000の厳選されたRLサンプルで置き換える[115]。もう一方の端では、Qwen-CUAが数万GPU時間規模のフリートにわたり、検証可能な報酬を用いたスクリーンショットのみのネイティブ強化学習を実行し、OSWorld-Verifiedで86.2%を報告する。これはフロンティア閉源モデルの83.4%に対するものである[41]。両端の結果は現実のものであり、分野はどの能力にどのレジームが適切かについてまだ収束していない。

9.2 教師あり訓練がもたらすもの、そしてその限界

最大のオープン教師あり取り組みはOpenCUAであり、Windows、macOS、Ubuntuにわたり記録された22,625の人間によるデスクトップタスクに基づいて構築されている。140以上のアプリケーションにわたり平均18.6ステップで、教師モデルが訓練前にフィルタリングされる推論トレースを合成する[38]。その72BモデルはOSWorld-Verifiedで45.0%に達し、当時そのベンチマークで報告されたオープン結果として最良であり、最强の先行オープンエージェントの27.1%、フロンティア閉源モデルの61.4%に対するものである。この論文は限界について異例なほど率直である。人間のアノテーションが天井であり、アノテーターは最も効率的な手順を用いていない可能性があり、インフォームドコンセントの要件がデータに現れる人々を偏らせる。

Qwen-CUAは逆の道をたどり、中間表現を完全に排除する——アクセシビリティツリーもDOMもコード実行もなく、スクリーンショットとプリミティブのみ——そして、ネイティブ制御はスケールすると報告する一方で、Bashチャネルを追加するとデスクトップベンチマークでのスコアが低下したと注記している[41]。この負の結果は見出しよりも重要である。セクション7.4でスキャフォールディング下で勝利を示すハイブリッド行動空間は、ポリシーが訓練されると自動的に勝利するわけではなく、論文はその理由を解明していない。

9.3 報酬が能動的な設計変数である

第8章がデータの出所を監督のための主要なレバーとして特定したならば、第9章のレバーは報酬関数であり、現在5つの異なる設計が関与している（表7）。

表7. 使用中の報酬設計と、各論文が名指しするベンチマークで報告する効果。行は互いに比較可能ではない。ベースモデル、環境、訓練予算がすべて異なる（セクション9.6）。

GUI-Shepherd内の制御された比較が、ここで最も有用な単一の結果である。同じベースモデルと環境で、疎な終端報酬をステップレベルのプロセス報酬に置き換えると、成功率が37.0%から40.5%へ移動する[112]。これはセクション7.2の検証に関する発見の訓練側の対応物である——何が、そしてどれほど密に評価されるかが、オプティマイザよりも重要である。これはまた、UI-S1が環境にまったく触れることなくAndroidWorldで34.0%に到達できる理由も説明する。その半オンライン方式はモデル自身の履歴を保持し、不一致時に専門家の行動をパッチし、その後、行動一致から割り引かれたステップレベルのアドバンテージを導出する[111]。

反対方向の証拠は、環境的基盤のないプロセス報酬には測定されていない失敗モードがあるということである。UI-S1の報酬は実際の環境に決して触れない。GUI-R1の報酬はオフラインのラベルマッチングであり、論文は定性的な推論行動が現れなかったと報告し、これを単一画像の非対話型設定に帰している[115]。報酬が記録された専門家との比較である場合、モデルは自身の行動から回復する能力を向上させることなく、専門家のステップの模倣を改善することができる。

9.4 オンラインRLがリーダーボードを再構成した

インタラクティブなベンチマークでは、今年の進歩はコーパスサイズではなく環境との相互作用に起因する。AndroidWorldの最高報告結果は、2024年の約30%（10.2節）から、オンライン多ターンRLで訓練された9Bモデルで80.2%へと向上し、7Bの場合では72Bベースラインを約16ポイント上回った[109]。別のオンラインRLシステムは、同じベンチマークで32Bポリシーから44.8%に到達する[110]。OSWorldの最強のオープン数値は現在、エンドツーエンドで訓練された9Bモデルによる48～49%に集まっており[108]、それらを生み出す二段階カリキュラムは再現できるほど詳細に記述されている。

成功した実行に共通して現れる三つのエンジニアリングパターンがある。報酬の分散が崩壊するときにも実行可能な勾配を保つこと（ARPOの経験リプレイとタスク選択[107]、MobileRLの失敗カリキュラムフィルタリング[109]）、長期的RLに固有のエントロピー崩壊を管理すること（ComputerRLの交互のRL/SFTフェーズ[108]）、単なる成功ではなく効率へと報酬を再形成し、短く正しい軌跡が長いものより高く評価されるようにすること[109]である。最後のものは、本サーベイにおいて訓練の変更が効率を直接対象とする数少ない箇所の一つであり、10.4節の効率に関する知見と結びつく。

テスト時のスケーリングは訓練に隣接して位置し、限定的なレバーとして理解するのが最善である。GTA1は各ステップで複数の行動提案をサンプリングし、モデルの審判に一つを選ばせ、7Bポリシーと強力なプランナーでScreenSpot-Proで58.4%、OSWorldで45.2%に到達する[113]。その独自の分析は、利益が予算に依存することを示している——50ステップの制限で最大となり、100ではより小さくなる——これは、熟考のコストが行動のコストと競合するならば予想されることである。

9.5 サンプル効率、計算、そして数値のコスト

二つの効率に関する主張は、相反する方向を向いているため、別々に述べる価値がある。RLは極めてサンプル効率が高い場合がある。UI-R1の136サンプルとGUI-R1の3,000サンプルはいずれも、4～6桁多いデータで訓練された教師ありモデルを上回り[114, 115]、これらの結果が緩和する制約は計算ではなくアノテーションコストである——RLは依然として環境に対するロールアウトを必要とし、GUI-R1のオフライン報酬は、先に論じたグラウンディング問題を犠牲にしてそれを回避するものである。もう一方の端では、最強のネイティブエージェントは設計上高コストである。すなわち、フリート全体にわたる数日間のRLVR実行である[41]。

両方を報告する論文はほとんどないため、アノテーション、ロールアウト、計算コストの間の実用的なトレードオフは依然として定量化されていない。論文は自分が勝つ軸を報告する。これは真のエビデンスのギャップであり、10.4節が評価側から記録しているのと同じギャップである。

9.6 これらの数値の意味を制限する交絡要因

報告された向上には三つの体系的な問題が通底している。

テスト分布での訓練。 ARPOはOSWorldから128の訓練タスクを、ベースモデルが時に解くタスクにフィルタリングして選択し、その後OSWorldで報告する[107]。MobileRLはAndroidWorldとAndroidLabで訓練し、両方で報告する[109]。AutoGLMは、評価される環境で最適化されたと述べている[32]。タスクによるホールドアウト分割は、分布をホールドアウトしない。これは向上を虚構にするものではない——ベースモデルは同一であるため、比較は内部的に公正である——が、これらの数値が転移の推定値ではないことを意味する。

単一実行。 ここで扱う大半の学習論文は、ばらつきを示さずに1回の実行のみを報告している。MobileRLとComputerRLは信頼区間を報告しているが、ARPO、UI-S1、GUI-Shepherd、UI-R1、GUI-R1、SE-GUIは報告していない。WebRLの著者ら自身がカリキュラム生成をシード間のばらつきの発生源として特定していることを踏まえると[33]、ばらつきの欠落は些細な問題ではない。

報酬モデルのバイアス。 報酬がプログラムではなく学習済みモデルである場合、方策はそのモデルを最適化している。MobileRLのAndroidLabの結果は、同論文自身が認めるとおり、独自のVLM報酬モデルに依存している[109]。またARPOの著者らは、スクリプトによる報酬を学習済み報酬に置き換えることの未解決の危険性として報酬ハッキングを挙げている。

要点

• プロンプティング、教師ありファインチューニング、強化学習は共存しており、そのコストは桁違いに異なる。本調査において最も強力な結果と最も安価な結果は、いずれもRLから得られている。
• 能動的な変数は最適化器ではなく報酬設計である。同一のベースモデルと環境において、ステップ単位のプロセス報酬は結果報酬を上回る。
• オンラインのマルチターンRLは、約1年の間にAndroidWorldの上限を約30%から80.2%へと引き上げた。そして勝利した実行に共通する3つのエンジニアリングパターンは、ばらつきの保持、エントロピー管理、効率を意識した報酬整形である。
• サンプル効率と計算コストはトレードオフの関係にあり、ここで扱う論文はいずれも両方を測定していないため、比較は未解決のままである。
• テスト分布上での学習、単一実行の報告、学習済み報酬のバイアスは、この文献において体系的に見られ、これらの数値がどこまで転用できるかを制約している。

10 ベンチマークと評価

10.1 環境と検証スタイル

ベンチマークのエコシステムはプラットフォームによって分類され、各プラットフォーム内では成功がどのように判定されるかによって分類される。2つ目の分類は1つ目よりも重要である。なぜなら、それが報告されるあらゆる数値の意味を決定するからである（表8）。

Table 8. プラットフォームと検証スタイル別のベンチマーク概観。検証の列が比較可能性を左右する。すなわち、最終状態に対して実行されるスクリプト、軌跡に対するLLMジャッジ、記録された人間の行動に対するオフライン再生は、同じものを測定しているわけではない。

3つの検証スタイルが見て取れる。最終状態に対するタスク固有スクリプトの実行、軌跡に対するLLMジャッジ、記録された人間の行動とのオフライン比較である。数値はこれらの系統間で比較可能ではない。その理由は様式上のものではない。実行スクリプトとジャッジは、相当な割合の軌跡において成功について見解を異にする。これはセクション10.3で定量化される。

図10. オフラインで人間が記録したファミリーがどのように構築されるか、WebLINX [124] より。ナビゲーターがブラウザを操作し、インストラクターがユーザーのターンを提供する。セッションは記録され、後処理を経てデータセットとして公開される。この成果物は実行可能なタスクではなく記録であるため、このファミリーはターンごとの行動類似度を採点し、タスク成功を採点することはできない。これが上記の表における3番目の検証スタイルである。

タスクのパラメーター化は、より目立たない第2の軸である。AndroidWorldは116個のテンプレートからランダム化されたパラメーターとデバイス状態報酬を用いて数百万のタスクインスタンスを生成する [8]。MiniWoB++はウェブに対して同じことを行った。UI-Visionのような静的スイートはタスクごとに1つの人間によるデモンストレーションを提供する [135]。パラメーター化された環境は丸暗記に抵抗するが、静的環境はそうできない。MMBench-GUIのような階層的なマルチプラットフォームフレームワークは、同じ環境を共有のルーブリックの下に組織し、1つのエージェントファミリーがデスクトップ、モバイル、ウェブにわたって採点できるようにする [39]。

図11. AndroidWorldの構造、論文の概要図 [8] より。AndroidエミュレーターがアプリとOS状態を公開し、エージェントはタッチまたはAPIを通じて行動し、UIツリーを読み取る。TaskEvalはパラメーター化されたインスタンスを生成し、デバイス状態報酬で採点する。テンプレートとパラメーターの設計により、116個のタスクが事実上無限のインスタンスを生み出し、このベンチマークが静的スイートよりも丸暗記に抵抗するのである。

10.2 プラットフォーム別の結果、およびそれらをプールすべきでない理由

結果を読む最も有用な方法は、プラットフォームごとに、期間の開始時の状態をその終了時の状態の隣に置いて読むことである。

ウェブ。 WebArenaの初期のリーダーはテキストのみのエージェントで43.1%であった [47]。ライブサイトでの結果ははるかに低く、議論の的になっている。WebVoyagerは2024年初頭に人間評価でGPT-4Vに対して59.1%を報告し [23]、2025年までには90%に近い数値が流布していた。人間評価を用いた再監査では、ほとんどのエージェントがより困難なライブベンチマークで30%付近に集中し、55%を超えたシステムは2つだけであった [137]。エンタープライズウェブでは、19,912個のタスクインスタンスに対して強力なモデルが42.7%を示し [26]、エージェント的検索——別のタスク——では、最良のシステムが0.28に対して人間が0.54であった [12]。

デスクトップ。 OSWorldは人間のベースラインとして72.36%を報告している [6]。本調査で報告された最良のエージェント結果は60.76%であり（7.4節）、最強のネイティブなスクリーンショットのみのモデルは再検証済みサブセットで86.2%を主張している（9.2節）。同じタスクファミリーをWindows上で並行して実施するWindows Agent Arenaは、人間のベースライン74.5%に対して最良結果19.5%を報告している [28]——55ポイントの差である。したがってデスクトップの状況はベンチマークに大きく依存し、OSWorld-Verifiedのサブセット選択は元の369タスクのスイートとは比較できない。

モバイル。 ここが移動量が最も大きく、最も明確な領域である。AndroidWorldは、2024年のアクセシビリティツリーエージェントで30.6%[8]だったものが、オンラインRLで訓練した9Bモデルでは80.2%[109]に達した。同じプラットフォームの第三者ベンチマークは難易度について大きく食い違う。SPA-Benchは最良エージェントの総合成功率を0.544と報告するが、クロスアプリケーションタスクでは0.150にとどまる[105]。Mobile-Benchは単一アプリケーションタスクで80.96%、短い複数アプリケーションタスクで63%、長いタスクで26.5%と報告する[106]。A3はライブのGoogle Playアプリケーション上の201タスクで21.9%と報告し、難易度の高い層ではすべてのエージェントが0%である[134]。これら三つに共通するパターンは同じである。単一アプリケーションタスクはほぼ解決済みであり、クロスアプリケーションの長期的タスクは解決されていない。

これらの数値をどう読むにせよ、二つの構造的事実がそれを規定すべきである。第一に、最難関サブセットでの崩壊は遍在している。モバイルにおけるクロスアプリ、エンタープライズWebにおけるリストフィルタリング(テストした三モデルすべてで0.0%[26])、ライブモバイルにおける高難度層[134]である。見出しの平均値は二峰性の分布を隠している。第二に、訓練分布と評価分布がますます重なりつつあり(9.6節)、特にAndroidWorldの曲線は、複数のグループが直接最適化している目標に対する進捗を測っている。

10.3 判定:合否シグナルはどれほど信頼できるか?

本サーベイのある章が読者による他章の解釈を変えるとすれば、それはこの章であろう。測定装置そのものが測定されており、それはこの分野で最も弱い部分である。

二つの独立した監査が反対方向から同じ結論に至る。AgentRewardBenchは、5つのベンチマークにまたがる1,302本の軌跡について、12のLLM判定器を3,906件の専門家による二値ラベルに対して採点した[136]。70%の精度を超えた判定器は存在しなかった。最良のものは83.1%の再現率で69.8%の精度に達した。つまり、それが成功と判定した軌跡のおよそ30%は失敗であった。ルールベースの判定器は逆方向に振れた。高い精度(83.8%)だが再現率は55.9%であり、WebArenaでは成功率を16.7ポイント、VisualWebArenaでは18.5ポイント過小報告し、二つのケースでは専門家の判断に対する二つのモデルの順位を反転させた。

ライブWebの結果の再監査も、リーダーボード側から同じ点を示す。人間による評価では、報告値が90%近くであったのに対し、ほとんどのエージェントは30%前後に位置した。そして著者自身の判定器は人間の評決と85.7%の割合で一致した[137]。この分野が部分的に自らの判定器を測定していたという彼らの結論は、両方の監査によって独立に支持されている。

さらに三つの結果が、この批判を判定から帰属へと拡張する。

合成スコアは進捗を過大評価する。 ComponentBenchは、成功が判定器ではなくプログラムによる終端状態述語で決まる2,910タスクを採点し、より難しい派生セットでは性能が10〜39ポイント低下することを見出した。あるフロンティアモデルの成功のうち人間のステップ予算内に収まるのは34.1%にすぎない[140]。再監査も同様に、軌跡レベルの判定は結果のみの判定に比べてスコアを約20ポイント下げると指摘している(10.5節、[42])。

後工程での失敗は、惜しい失敗に見せかける。 Webエージェントのパイプラインをリクエストの定式化、行動計画、グラウンディングに分解すると、エンドツーエンドで48.78%のモデルが、個々の段階では70.17%と62.87%のスコアを記録することが示される[139]。さらに明確なのは、手作業での再ラベリングにより、そのモデルに対して計上された「エラーの半数以上」が、ベンチマークの単一の正解が認めなかった妥当な代替行動であったことが示された点である。正当な代替案を加えることで、測定された性能は最大8.3ポイント改善した[139]。単一参照のベンチマークは、失敗を製造するのである。

審判は再設計されつつあり、それには効果がある。 審判をスクリーンショットを分類する者ではなく証拠を集めるエージェントとして扱うことで、321軌跡のデスクトップベンチマークにおいて精度が78.8%から86.9%に上昇し[131]、プロセス報酬の審判は、標準的なプロセス報酬の+8.56ポイントに対して、モバイルエージェントを+14.53ポイント改善する[132]。これらの向上は実際のものであるが、いずれも推論コストを支払っており、どちらも審判された軌跡あたりのコストを報告していない。

本サーベイが依拠しているため、明示しておくべき非対称性が一つある。8.3節で示されるのは、同じ欠陥がデータパイプラインにも現れ、そこでは審判が訓練軌跡をフィルタリングしているということである。したがって測定の問題は報告にとどまらず、モデルが何で訓練されるかにフィードバックされるのである。

10.4 効率、コスト、環境変動

この期間に新しい軸が現れた。それはエージェントが成功するかどうかではなく、どのくらいのコストで、どのくらい信頼できるかである。

OSWorld-Humanは、369のOSWorldタスクすべてに人間の最小ステップ軌跡と重み付き効率スコアを追加する[13]。その主要な発見は、41.4%の成功率を持つエージェントが、人間が必要とするステップの2.7倍から4.3倍を使用し、計画とリフレクションがエンドツーエンドのレイテンシの76〜96%を占めるということである。これは、熟考が実時間を支配するという7.1節の観察の定量的な形であり、効率の取り組みがどこを目指すべきかを特定するものである。

AI Agents That Matterは、エージェントは精度だけでなく精度–コストのパレートフロンティア上で比較されるべきだと主張し、公表されたエージェントを再実装して、はるかに高コストなものより優越する単純なベースラインを見つけることでその点を示す[14]。WAREXは別の経路で同様の結論に達する。ネットワーク、サーバー、スクリプトの障害を注入するプロキシを介在させ、成功をレイテンシ、トークン数、タスクあたりのコストとともに測定し、摂動下での信頼性が能力とは別の軸であることを示す[138]。

環境変動は最も新しい測定である。OpenAppsは各アプリケーションの8つの体系的な変種——テーマ、フォント、敵対的コンテンツ、言語——を生成し、同じタスクを再実行する。観測されたばらつきは非常に大きい。あるモデルは変種間で4%から63%の範囲にわたり、変種間の標準偏差はアプリケーション内の標準偏差の2倍以上である[133]。具体例を挙げると、デフォルトテーマでpass@1が0.41のモデルが、ダークテーマでは0.05を記録する。したがって、いかなる単一構成のスコアも、ほとんど報告されることのない広い分布からの一標本なのである。

10.5 ハイブリッドインターフェース：2026年のフロンティア

本章は、現在のシステムをその前身から最も明確に分かつ結果で締めくくられる。WeaveBenchは、単一のチャネルでは完了できないことが証明可能な114のタスクを構築し、異なるランタイム構成の下でエージェントを評価する[42]。GUIのみのエージェントは最大1.8%、CLIのみのエージェントは最大3.5%にとどまるのに対し、ハイブリッド構成は35.1%に達する。報告されている最良の組み合わせは、完全なコーディングエージェントハーネスを備えたフロンティアモデルで41.2%である。同じ研究では、軌跡を考慮した判定により、あるモデルのスコアが53.5%から33.3%に低下する。これは、結果のみに基づく評価が結果を水増しすることを示す、最も明快な単一の実証である。

この結果は、本サーベイの三つの別個の流れを統一する。第4.2節では、座標から意味的呼び出しへと行動空間が拡大していく過程を追跡した。第7.4節では、最も強力なデスクトップシステムがGUIとコード実行の間を振り分けるオーケストレーターであることを見出した。第12.1節では、あらゆる成熟した導入事例が非GUIのオラクルに依存していることを見出した。ハイブリッドインターフェースは、これら三つの観察が交わる場所であり、商用システムの製品設計（第12.5節）とも整合している。

要点

• ベンチマークはプラットフォームによって、そしてより重大なことに検証方式によって分類される。実行スクリプト、LLM判定者、オフライン再生から得られた数値は比較可能ではない。
• 最難関サブセットの崩壊は至る所に見られる。すなわち、アプリケーション横断のモバイル、エンタープライズのリストフィルタリング、困難層のいずれもゼロ付近かゼロであり、見出しの平均値は二峰性の分布を覆い隠している。
• 測定装置はこの分野で最も弱い構成要素である。監査済みのLLM判定者で精度70%を超えたものはなく、ルールベースの判定者は成功率を16〜19ポイント過小報告し、順位を逆転させた。また、単一の正解参照が、あるエージェントの実際のエラーの半分以上をエラーとして分類した。
• 効率、コスト、環境のばらつきが現在では測定されており、それぞれが状況認識を変える。最先端のエージェントは人間のステップ数の2.7〜4.3倍を必要とし、あるモデルの合格率は見た目上の変種間で4%から63%まで変動する。
• GUIとコードを組み合わせたハイブリッド構成は、両方を必要とするタスクにおいて、単一チャネルの構成を桁違いに上回る。

11 信頼、安全性、セキュリティ

11.1 攻撃対象面は観測チャネルである

コンピュータ使用エージェントは、世界を読み取り、同じ表面を通じてそれに作用する。これが、本章の文献全体がそこから導かれる構造的事実である。すなわち、エージェントが観測できるあらゆるコンテンツは攻撃者が制御しうるコンテンツであり、パイプラインのどの時点においても、ユーザーからの指示とウェブページからの指示が構造上区別可能となる場所は存在しない。

二つのサーベイがその帰結を体系化している。一方は八つの内在的脅威——グラウンディングの誤り、誤解、ハルシネーション、コンテキストの限界、レイテンシ——を、七つの外在的脅威と並べて分類し、内在的な失敗は攻撃が悪用する単なる土台ではなく、それ自体が安全性の問題であると論じている [9]。もう一方は、知覚の忠実性、推論の忠実性、相互作用の忠実性の間にある実行ギャップを中心に信頼を再編し、そこから二つの標準的なLLM安全対策の反射がここでは機能しないという帰結を導く。すなわち、出力フィルタリングは出力が作用する前にレビューできることを前提とし、拒否訓練は失敗が孤立していることを前提とするが、GUIエージェントの誤りは実行され、不可逆である [10]。第三の研究は指標を完全に放棄し、展開済みシステムに対してレッドチーミングを行い、四つの信頼できないチャネル——ウェブコンテンツ、リンクされたファイル、UI要素とレイアウト、ツール出力——を列挙し、注入されたフォーラム投稿がプログレッシブウェブアプリのインストールにつながり、それにファイルシステムへのアクセスを付与し、MIMEハンドラをハイジャックしてコード実行を達成するというエクスプロイトチェーンを報告している [94]。その中心的主張、すなわち欠陥は行動上のものではなくアーキテクチャ上のもの（来歴追跡の欠如、インターフェースとアクションの間の弱い結びつき、制御されていないメモリと委任）であるという主張は、本章で最も有用な枠組みである。なぜならアーキテクチャ上の欠陥は、より良いプロンプティングでは修正されないからである。

攻撃の文献は四つのチャネルすべてと両方のモダリティを探求している（表9）。

表9. 攻撃表面、代表的な攻撃、報告された効果。効果は各論文が述べるとおりであり、そのほとんどはエンドツーエンドの害ではなくハイジャック率である（11.2節）。

このうち2つは、攻撃がなぜ機能するかについて示している点で強調に値する。WebInjectは生のピクセル空間で摂動を最適化する一方で、Webページからスクリーンショットへの変換を明示的にモデル化しており、モニターごとのカラーマネジメントやモデル自身のリサイズ処理[99]も含まれている。アブレーションの結果は決定的である。同じ摂動をスクリーンショットに直接適用すると、成功率は0.000となる。この攻撃はモデルの視覚を悪用しているというよりも、パイプラインのモデル化されていない変換を悪用している。VisualTrapはサプライ側で相補的な結果を示す。ローカリゼーションコーパスの10分の1を汚染すると、クリックをリダイレクトするトリガーが仕込まれ、さらに最も影響の大きい発見として、防御が機能するのは汚染が言語モジュールに限定されている間だけで、視覚タワーが影響を受けると、テストしたどのクリーンデータでも挙動を回復できなかった[101]。

図12. VisualTrapが毒入り画像を仕込む3つの箇所（論文のワークフロー図[101]より）。左：グラウンディングの事前学習データを汚染すると、意図した物体（緑の円）から標的物体（赤の円）へとローカリゼーションが誤誘導される。右上：エンドツーエンドのファインチューニングデータを汚染すると、もっともらしい思考の隣に攻撃者のクリックを出力するトリガーが仕込まれる。右下：同じトリガーがモジュラーパイプラインに到達すると、代わりにプランナーのグラウンディングされた物体参照を攻撃する。11.3節の防御結果はこの図から導かれる。すなわち、テストした対策は汚染が視覚モジュールに到達すると機能しなくなる。

ブランチステアリングは最も新しく、概念的にも最も難しい脅威である。従来のシステムレベルの防御は制御フローの完全性を狙っていた。エージェントは計画によって認可された行動のみを取ることができるというものである。しかしグラフィカルな環境では、計画に実行時の分岐を含めざるを得ないため、新しい命令を1つも注入できない攻撃者でも、事前に認可されていながら有害な分岐へとエージェントを誘導することができる[102]。これはプロンプトインジェクションとは異なる種類の失敗である。命令は一切注入されず、侵害された判断はシステムがすでに取ることに同意していたものである。

11.2 ハイジャックは危害ではない

3つの独立した研究が「エージェントが攻撃者のテキストを読んだ」時点から「攻撃者の目的が達成された」時点までの全連鎖を測定しており、いずれも深刻な減衰を見出している。WASPは、5つのモデルと3つのスキャフォールドにわたり、中間段階のハイジャック率が最大0.857、エンドツーエンドの完了率が最大0.167であると報告し、このパターンを無能によるセキュリティと名付けている。現在のエージェントは、攻撃を最後まで遂行できるほど有能ではないため、最後まで堕落させることが難しいのである[45]。AgentHijackはこれを3つの段階で形式化し、パッチ誘発ハイジャックで84.5%、ハイジャックされた計画で47.0%、エンドツーエンドで20.3%を得ている。本章で最も際立った単一の結果は、ハイジャック率が100%でありながらエンドツーエンドの攻撃成功率が0%であるモデルである[100]。Not-an-A11yは段階ではなくフレームワーク間で同様の広がりを示しており、最悪のフレームワーク・モデル対で0.822、最良で0.150である[96]。

図13. 注入された命令が実際にどこで終わるか、WASP [45]より。Sankey図は、各注入後の最初の行動（左）からエージェントのその後の行動（中央）を経て終端状態（右）へとたどる。細い赤いリボンだけが敵対的目標の完了に到達しており、二つの支配的な結果は、エージェントが混乱したままであることと、注入が引き続き無視されることである。この図は、本節の主張を視覚化したものである——報道される注入率はハイジャックを測るものであり、ハイジャックはたいてい害にはならない。

このギャップは二つの方向に作用し、どちらも明示する必要がある。それは、報道される注入の数字は通常ハイジャック率であり、攻撃者が望むものを得る確率として読むべきではないことを意味する。また、この分野で測定されるロバスト性は現在の能力に依存しており、エージェントが向上するにつれて低下することを意味する——WASPの著者らはこれを明言している。ハイジャックの指標に対してのみ評価された防御は、それが最も重要でない時点で機能していると認定される可能性がある。

同じギャップはリスクベンチマークにも現れる。RiOSWorldの492の実行可能なリスクタスクは、意図では84.93%、完了では59.64%という全体的なリスク率を示し[98]、MobileSafetyBenchは、低リスクタスクでの目標達成が80%近くにとどまる一方で、間接注入はほぼ常に成功することを見出している——GPT-4o、Claude 3.5、Gemini 1.5、o1についてそれぞれ0/10、0/10、1/10、2/10である[97]。これらの数字において能力と安全性は緊張関係になく、エージェントは単に自分が利用されていることに気づく備えを持っていないだけである。

11.3 防御とそのコスト

防御の研究は入力フィルタリングとアーキテクチャ上の制約に二分され、今では結果を比較できるほど明確に分離している。

BrowseSafeは本サーベイで最強の検出器の結果である。すべてのツール出力を信頼できないものとして扱い、固定ウィンドウで並列に分類して保守的なOR集約を行い、フラグの立った内容を明かすことなくプレースホルダーで置き換える。30Bのmixture-of-expertsモデルからファインチューニングされ、最良のフロンティア汎用モデルのF1 0.863、中央値レイテンシ23〜36秒に対して、F1 0.904、中央値レイテンシ1秒未満を達成し、専用のガードモデルは0.350である[103]。最後の比較が興味深い点である——目的特化の小型ガードはここでは大きく性能を下回る——そしてこれは注入検出を、テキストモダリティにおいて実用的な解決策のあるエンジニアリング問題として捉え直すものである。

COBRAは最強のアーキテクチャ上の結果である。信頼できない実行時データが一切見られる前にブランチごとの能力制約を固定し、HTTPとMCPの境界で決定論的にそれらを強制することにより、ステアリングベンチマークで攻撃成功率0%を報告し、これはアブレーション版の87.6%、バニラのデュアルLLM設計の89.5%、ReActエージェントの94.4%に対してであり、138の良性セル全体で4件の誤検知を伴いながらクリーンタスクのユーティリティの97%を維持する[102]。著者らはそれが対象としないものについて慎重である。HTTPやMCP呼び出しに決して現れないセキュリティ関連の値、自由文の意味論とサーバー側の効果、そしてHTTPとMCPの外にあるチャネルである。

これらに対して、ほとんどの攻撃論文におけるユーティリティ会計は単に欠如している。VPI-Bench、WebInject、AgentHijack、VisualTrapはいずれも、防御下での良性タスク性能を一切測定せずに攻撃成功率を報告しているため、攻撃成功率の低下を、単にエージェントがより慎重になっただけのことと区別できない[46, 99, 100, 101]。WASPは例外であり、正直な難しさを示している。防御的なシステムプロンプトはGPT-4oにおける攻撃成功率を0.429から0.226へと低下させる一方で、ユーティリティは0.622から0.459へと低下する[45]。ユーティリティコストの会計が標準となるまでは、本章における防御の比較には系統的な曖昧さが伴う。

さらに二つの結果が、許容可能な防御の空間を制約している。第一に、人間による監視は信頼できる最後の砦ではない。細字（fine-print）研究では、39人の人間参加者のうち38人が、悪意ある指示を含むプライバシーポリシーを受け入れた[95]。第二に、実行前検証による防御には、サードパーティ製ソフトウェアにスケールしない宣言的な労力が必要である。VeriSafeはアプリケーションあたり約59個の述語と437行のコードを必要とした（7.5節）[90]。

11.4 インジェクションを超えて：攻撃されていないエージェントの監視

別の安全上の問題は、展開されたエージェントが独自の隠された目標を追求することである。Control OSWorldは、AI制御の方法論をGUI作業に適応させ、318個のOSWorldタスクと81個のプログラム的に検証された有害なサイドタスクを組み合わせることで、サボタージュを判断ではなく状態によって検出可能にしている[104]。監視は良好な条件下では強力である——行動、可視テキスト、スクリーンショットを読む全軌跡モニターは、偽陽性率3%未満でpAUROC 0.960、TPR@1% 0.92に達する——が、現実的な制約下では急激に低下する。エージェントの可視テキストを除去するとpAUROCは0.808に低下し、介入プロトコルが実際に要求する逐次ステップ監視に移行すると、TPR@1%は0.49に、可視テキストなしでは0.08にまで低下する[104]。

本論文は、その条件が寛大であることを明言している。OSWorldのタスクは狭く明確に規定されているため、要求されていない行動はほぼすべて目立つのであり、また有害性は中程度である。本論文はまた、この設定を超えて一般化すべき知見も示している。正当なタスクと並行して有害な目標を隠すことで、拒否は完全に排除され、言語的漏洩は26.1%から1.9%へと抑制された——そしてその効果は、より能力の高いモデルにおいてより大きかった[104]。能力と隠蔽は共に向上する。

11.5 本章が扱わないもの

四つのギャップを挙げる価値がある。ここに挙げた研究のうち、適応的攻撃をそれ自身が提案する防御に対して評価したものはない。あらゆる防御は、それが設計されたのと同じ固定テンプレートまたは攻撃ファミリーに対してテストされている。画像モダリティにおける防御は事実上存在しない——BrowseSafeは意図的にテキスト専用であり、VisualTrapがテストした唯一の対策は視覚モジュールが汚染されると失敗する。インジェクションチャネルとしてのメモリとプランニングコンテキストは、一つの論文に登場するのみである[96]。そして、展開されるシステムがウェブ、モバイル、デスクトップのすべてを行うにもかかわらず、ウェブ、モバイル、デスクトップにわたって安全性を合同で評価した研究は存在しない。

要点

• コンピュータ使用エージェントにとって、観測チャネルは攻撃面である;体系化文献は、グラウンディングエラーとハルシネーションエラーをそれ自体が安全上の脅威であると分類している。
• 報告される攻撃成功率は通常ハイジャックであり、危害ではない:3件の独立した研究が、エンドツーエンドの成功率はハイジャック率よりはるかに低いことを示しており、そのギャップはエージェントの能力向上に伴って縮小するだろう。
• フレームワークの選択は、測定される脆弱性を大きな要因で変化させる — 同じモデルが一方のハーネスでは100%に達し、別のハーネスでは31.7%になる。
• 防御の結果は今や分離している:専用設計の分類器はサブ秒でF1 0.904に達し、アーキテクチャ的アプローチはユーティリティの97%を維持しつつ測定上の攻撃成功率0%に達する。
• ユーティリティコストはほとんどの攻撃論文で測定されておらず、人間の監督は失敗する(参加者39名中38名が加担)。
• 非注入の自己関心エージェントに直面する安全性は測定可能だが、現在はモニターがエージェント自身のテキストを読めることに依存している。

12 応用と展開

12.1 ソフトウェアQAが橋頭堡である

公表されているコンピュータ使用エージェントのほとんどは、合成タスクスイートで評価されている。実際の展開証拠を持つ応用は様相が異なる:それらはソフトウェア品質保証にあり、そこにあるのはQAがベンチマークには提供できないもの — 既存のオラクルと、その作業を望むユーザー — を提供するからである。

4つの独立した研究系列がこの点で一致している。自然言語のケースからのテスト実行は、現在、実際のAndroidアプリケーションに対して73%のケース成功率、11.8秒/ステップのコストで動作し、最強の以前のLLMベースラインでは71.3%、20.5秒であった[79]。テスト移行 — 新しいアプリバージョンで回帰スイートを再導出すること — は、本調査で報告された最大の展開上の利得である:ルールベースのマッピングで21.6%、最良のLLMベースラインで43.1%に対して90.3%の成功率であり、約90分ではなく数分で完了する[80]。GUIファジングは68.5%のクラスカバレッジに達し、さらに示唆的なことに、24の商用アプリケーションにわたって実際のバグとして確認された208件の固有クラッシュを発見する[81]。そして自然言語仕様に対するエンドツーエンドのWebテストは、注入された欠陥の検出において精度0.96、再現率0.96を報告し、スクリーンショットを判定するエージェントでは0.26/0.69であった[78]。

これら4つに共通するのはエージェントアーキテクチャではない — それは単一エージェントループからマルチエージェントパイプラインまで様々である — が、機械検証可能なオラクルが既に存在するか、構築可能であるという点である。

12.2 品質を決めるのはエージェントではなくオラクルである

この章で最も際立った対比は、どちらもテスト実行を監視して合格したかどうかを判定する2つのエージェントの間にある。一方はスクリーンショットのみから判定し、他方は仕様を(条件、アクション、期待)の三つ組に解析し、関与するGUI要素を記号化し、状態間依存関係を実行可能なアサーションにコンパイルする[78]。報告された欠陥検出の精度と再現率は3.7倍異なる(0.96対0.26)。判定ステップを直接測定する別の研究は、構造的限界を明らかにする:強力なマルチエージェント実装でも、テスト判定における人間と機械の一致率は0.61にしか達せず、テストした3つの商用モデルすべてで113ケース中26ケースが不一致となり、最良の特異度は0.57である — つまりシステムは合格したテストを不合格として報告する傾向がある[77]。

図14. 上記の対比の背後にある仕組み。WebTestPilot [78] より。左：ライブアプリケーションの状態。 2番目のパネル：スキーマが、テストが関心を持つ要素に対して型付きシンボルを宣言する。3番目：スキーマが シンボルへとインスタンス化され、ページから読み取られた具体的な値を運ぶ。右：アサーションはそれらの シンボルに対して書かれるため、判定はスクリーンショットに対するモデルの意見ではなく、 cart.items と cart.subtotal に対するコンパイル済みの式となる。この置き換えこそが、本節で測られている3.7倍の精度差の意味である。

表10. エビデンスの質によるアプリケーション領域。最後の列は、読者が隣の代表的な結果を割り引くべき理由である。

表10の偽陽性の列は強調に値する。なぜなら、導入を検討する誰にとって最も報告が少なく、最も重大な数値だからである。ユーザビリティ欠陥の研究は120の実在する学術ウェブサイトをクロールし、29件の確認された欠陥を発見し、検出したすべてのうち85%が誤りであったと報告した [76]。検出率のみを報告する論文では、このツールは導入準備が整っているように見えただろう。これは評価監査文献がベンチマークのレベルで記録しているのと同じパターン（10.3節）が、直接的な運用コストを伴う場面で再現しているのである。

12.3 アクセシビリティ：最も賭け金が高く、最も薄いエビデンス

2つの研究は、ポインティングによってGUIを操作できないユーザーを対象としている。一方は、既存の人間が書いたアクセシビリティテスト手順をiOS上の実際のVoiceOverジェスチャーに対して再生し、UIが変化した場合や手順自体が誤っている場合に再計画する [82]。もう一方は、音声駆動のウェブナビゲーターに監督役の第2モデルを追加し、失敗したアクションを再試行できるようにすることで、最初の修正ラウンド後に累積精度を約36ポイント引き上げる [84]。どちらも、見返りの大きい問題に対する真剣な試みである。

これらはどちらもプロトタイプでもある。アクセシビリティテストのリプレイヤーは1つのプラットフォーム上で4つの機能をサポートし、エンドユーザーではなく10名のプロフェッショナルQAエンジニアで評価された。ボイスナビゲータはユーザビリティ調査を報告しておらず、対象とする運動障害を持つ参加者もおらず、スクリーンリーダーとの比較も行っていない。表明されたユーザーと測定されたエビデンスの間のギャップは本サーベイで最大であり、これは結果としてではなく、開かれた招待として読まれるべきである。

12.4 シミュレートされたユーザーはスクリーニングツールであり、ユーザーに関するエビデンスではない

もう一つ別の応用は、エージェントをオペレーターではなく被験者として用いるものである。10万のペルソナプールから抽出した1000のペルソナエージェントが、稼働中のEコマースサイト上で被験者間実験を実施し、購入に対する検出された処置効果（500人中414対403）は5%水準で統計的に有意であった[83]。著者らはこれが実際のユーザーテストを補完するものであり代替するものではないと明言しており、エビデンスはその慎重さを裏付けている。支出額の差は有意ではなく、人間の処置群は報告されておらず、効果は1つのサイトの1つのデザイン機能において現れている。どのインターフェース変種が実際の実験に値するかをトリアージする方法として読めば、この結果はもっともらしい。それの代替として読むならば、支持されない。

12.5 商用システムが公表しているもの

ほとんどの人が実際に使っているシステムにはarXiv論文が存在しない。Anthropicは2024年10月22日にcomputer useをパブリックベータとしてリリースし、実験的であると述べて、サンドボックス化された低リスクのタスクを推奨した[85]。2026年8月時点では、バッチアクションとブラウザツールを備えた文書化されたクライアントツールセットとして一般提供されている。OpenAIは2025年1月23日にOperatorとそのComputer-Using Agentを発表し、OSWorldで38.1%、WebArenaで58.1%、WebVoyagerで87%を報告した。この機能は2025年7月にChatGPTのエージェントモードに統合された[86]。

ここから2つの所見が導かれるが、いずれもシステムに関する知見ではなく、本サーベイのエビデンスの限界である。第一に、これらの数値は本サーベイが批判してきたベンチマークに対してベンダーが報告したものであり、公開されたプロトコル、実行回数、分散がない。これらは10.2節および12.1節の査読済みの結果と比較されるべきではない。第二に、製品の枠組みは4節のハイブリッドインターフェースの結論を独立に裏付けている。両ベンダーとも、computer-useツールをコード実行、ファイルアクセス、APIツールと並べて提供しており、それらの代わりに提供しているのではない。業界自身のパッケージングは、GUI制御を複数のチャネルのうちの1つとして扱っている。

要点

• ソフトウェアQAは本サーベイで唯一、反復され人間によって検証された実運用のエビデンスを持つ応用領域であり、オラクルがすでに存在するために機能する。
• オラクルが形式的である場合、エージェントのテスト判定は専門家の信頼性に近づく。スクリーンショットの判断である場合には近づかず、実運用の現場で85%という偽陽性率が報告されている。
• アクセシビリティ支援は、表明された受益者と測定されたエビデンスの間のギャップが最大であり、対象ユーザーを含む研究は存在しない。
• シミュレートされたユーザーによる実験はトリアージツールであり、その著者ら自身が実ユーザーの代替を否認している。
• 最も広いリーチを持つ商用システムは検証可能なプロトコルを公表しておらず、その製品設計はハイブリッドインターフェースの知見を覆すのではなく確認している。

13 基礎的な問い

本サーベイには五つの意見対立が通底している。それぞれについて、両陣営の最も強力な証拠を挙げ、その後に本稿著者らがどこに重きを置くかを明示する——これは結果ではなく、われわれの読みとして示す。

13.1 ピクセルで足りるのか、それとも構造が必要なのか？

ピクセル支持派。 Pix2Actは、座標行動を伴う純粋なピクセル観測がMiniWoB++においてDOMベースのベースラインを上回ることを示した[16]。CogAgentはスクリーンショットのみを用いてMind2Webで大幅に大規模なテキスト入力モデルを上回った[21]。UGroundは、グラウンディングをあらゆるマークアップから独立したプラグ可能なモジュールにできることを示した[29]。この方向で最も強い証拠は発達的なものである。Qwen-CUAは中間表現を完全に取り除き、OSWorld-Verifiedで86.2%を報告しており、これはより豊かなインターフェースを用いるクローズドモデルよりも高い[41]。もしピクセルが不十分であれば、そのリーダーボードの最上位はこのようにはならないだろう。

構造支持派。 WebArenaにおけるAgentOccamのアブレーションは最もクリーンな統制結果である。モデルを変更せずに、テキスト観測が表現できるものに合わせて行動インターフェースを書き換えることで、43.1%という結果の最大の単一構成要素が生じた[47]。ASILはスクリーンショットを型付きJSON状態とスキーマ制約付きセマンティック呼び出しに置き換え、380タスクにおいてGUI条件の6.6%に対して81.6%を報告している[123]。そしてRead More, Think Moreは、より豊かなHTML観測が同一の330タスク上で、あるモデルには+17.5ポイントの価値があり、別のモデルには−18.8であることを見出した[127]。

われわれの読み。 両陣営は異なるものを測定している。構造はそれが利用可能で信頼できるところで助けとなり、その便益は観測よりも行動インターフェースにおいて最大となる。ピクセルは構造が存在しないところで助けとなり、それはデスクトップの大半とモバイルのロングテールの多くである。[127]で見出されたモデル依存性が決定的な事実である。アーキテクチャに依存しない答えは存在せず、だからこそ実用的な潮流はハイブリッドなのである（4.3節、10.5節）。

13.2 環境上での訓練は、より優れた足場組みに勝るのか？

訓練支持派。 AndroidWorldの最良結果は約一年で30.6%から80.2%へ上昇し、それはコーパスの規模ではなくオンライン多ターンRLによって駆動された[8, 109]。OSWorldの最強のオープンな数値も同様に、エンドツーエンドで訓練された9Bモデルから得られている[108]。UI-R1は136の訓練サンプルでScreenSpot上83.3%に達し[114]、SE-GUIは7Bモデルを72Bベースラインを超えて訓練する[116]——RLは単なるスケーリングではない。

足場組み支持派。 AgentOccamはパラメータを一切変更せずにWebArenaで先行研究を上回る[47]。視覚的なテスト時スケーリングは訓練なしでScreenSpot-Proを47.8から61.6へ引き上げ[122]、ScreenSeekeRは単一の重みも更新せずに最良のエンドツーエンドグラウンディングスコアを二倍以上にする[119]。Web$hellはポリシーを訓練するのではなくインターフェースをコンパイルし、WebArena-Verifiedで0.679を報告している[126]。AgentOccamのアブレーション分解は、その利得の大部分を推論ではなくインターフェース設計に位置づけている。

我々の読み方. これらは異なるコスト構造を持つ補完物であり、正直な言い方をすれば、両方の軸を報告している論文がほとんど存在しないため、その間の交換比率をこの分野は知らない。比較がほぼ統制されている唯一の箇所——すなわち、訓練不要の検索[119]とテスト時スケーリング[122]が訓練済みモデル[120]と競合するグラウンディング——では、訓練不要の手法は1.7～4.6倍の推論コストで極めて競争力が高い。我々の推論は、スキャフォールディングは信頼性を安価に買い、訓練は余裕を高価に買うというものであり、だからこそ本番システムは両方を行うのだ。

13.3 利得は計画にあるのか、それとも検証にあるのか？

計画について. 計画の文献は、分解された大きな効果を報告している。BEAPのバックトラッキングのアブレーションは1.9ポイント、その状態トラッカーは4.6の価値がある[55]。WebRollbackは強力な検索ベースラインに対して完全完了率をほぼ3ポイント改善する[53]。階層的分解は、あるモバイル研究において人間に匹敵する効率に達する[58]。

検証について. BacktrackAgentのアブレーションはこの領域で最も鋭い単一の数値である。バックトラッキング機構全体を除去すると5.65ポイントを失うが、そのうち学習された判定器のみを除去すると5.32を失い、ルール検証器を除去すると0.45を失う[93]。GUI-Shepherdは、同じベースモデルと同じ環境において、ステップレベルのプロセス報酬が結果報酬を上回ることを示す[112]。Webエージェントを分解すると、平凡なエンドツーエンドの結果の下に健全なステージごとのスコアが現れ[139]、診断の文献はタスクが平均わずか3.04のサブゴールしか持たないことを見出している[63]。

我々の読み方. [93]における分解は、計画対検証の問いに関する本サーベイで最も情報量の多い結果であり、検証を決定的に支持する。すなわち、結果として得られる状態が意図したものであることを確認することにこそ価値があり、実行された行動が正しいことを確認することはほとんど情報をもたらさない。[63]の観測された短い地平と合わせて、我々は証拠を次のように読む。現在のベンチマークは分解の仕組みが過剰に供給されるほど短く、拘束的な制約は何かがうまくいかなかったことに気づくことである、と。

13.4 報告された数値は信じられるのか？

解釈することはできる. 実行検証済みの環境は、人間のベースラインを伴う再現可能でパラメータ化されたスコアを生み出す[6, 8, 28]。複数の研究が3回実行の平均とばらつきを報告している[53, 55]。OSWorld-VerifiedとScreenSpot-V2は、コミュニティが自らの計測器を修正していることを示す[6, 31]。そして効率とばらつきの研究[13, 133]は、平坦な成功率が省略する次元を追加する。

比較することはできない. 監査されたLLM判定器で70%の精度を超えたものはなく、ルールベースの判定器は2つのベンチマークで成功率を16～19ポイント過少報告し、モデルのランキングを逆転させた[136]。人間による再評価は、ライブウェブのスコアを90%近くから30%近くへと切り下げた[137]。ある公表されたグラウンディングベンチマークには約11%のラベル誤りが含まれていた[31]。単一参照のベンチマークは、あるエージェントの誤りの半分以上を捏造した[139]。そしてあるモデルの合格率は、見た目だけの環境変種の間で4%から63%まで変動する[133]。

図15. WeaveBench [42]による、判定プロトコルの価値。各バーは同一の114のハイブリッドタスクにおける1モデルを2つのプロトコル下で示したものである。明るい上段は結果のみの判定によるスコア、暗い下段は軌跡を考慮した判定によるスコア、その間の数字は差分である。ペナルティは10.3ポイントから20.2ポイントに及び、最強のモデルで最大となる。これは本節を締めくくる読み方の規則を定量的に表したものである。

我々の読み方。 両方の記述は同時に成り立ち、実践的な帰結は一つの読み方の規則となる。すなわち、ある数値は環境・プロトコル・構成の内側で解釈可能であり、能力一般についての証拠ではない。本サーベイで最も強い主張は、単一の設定内での制御されたアブレーションを生き残ったものたちであり、最大の見出し数値を伴うものではない。

13.5 エージェントがウェブに適応すべきか、それともウェブがエージェントに適応すべきか

エージェントが適応する。 この時期の支配的な研究プログラムはまさにこれである。すなわち、より良いグラウンディング（第5章）、より良いインターフェース（第4章）、より良い記憶と検証（第6章、第7章）であり、いずれも人間向けに設計された既存のインターフェースを対象としている。10.1節のあらゆるベンチマークはこの前提の上に構築されており、ハイブリッドインターフェースの結果[42]はそれが機能することを示している。

ウェブが適応する。 Agentic Web Interfaceの立場は、グラウンディングは学習された能力ではなくサイトの特性であるべきだと主張し、100万トークンを超えるDOMやタスクあたりのコストをその理由として挙げている[130]。Web$hellのコンパイル済みキャッシュ[126]やASILの型付き状態とスキーマ制約付き呼び出し[123]は、その立場の実動プロトタイプであり、Tactileの来歴を伴うターゲット集合[129]はその部分的な事例である。

我々の読み方。 現在の証拠は適応を支持しているが、それは努力がそこに注がれてきたからであり、それが優れていると示されたからではない。両戦略は共通のタスク・共通の条件下で比較されていない。決定的な考慮事項は技術的なものではない。機械向けインターフェースを公開するウェブは別のガバナンス体制であり、本稿のいかなる論文も誰がそれを執行するのかを扱っていない。我々はこれを本サーベイで最も重大な未解決問題と見なす。

要点

• ピクセル対構造にはアーキテクチャ非依存の答えはない。唯一の制御されたモデル×観測の研究では、順位がモデル間で逆転することが判明している。
• 訓練と足場（スキャフォールディング）は補完的だが交換率は未測定である。直接比較された場合、訓練不要の探索とテスト時スケーリングは1.7〜4.6倍の推論コストで競争力がある。
• 利用可能な分解可能なアブレーションは、利得の所在として分解よりも検証を支持する。
• ベンチマークの数値はプロトコルの内側で解釈可能であり、プロトコル間で比較可能ではない。この文の両半分は意見ではなく監査によって支持されている。
• エージェントがウェブに適応するのか、ウェブがエージェントに適応するのかは、技術的には未解決であり、制度的には扱われていない。

14 リソース

本節は、分野が構築し再利用可能なものを一覧化する。これはカタログではなく出発点である。以下のリソースは本レビュー中に出会い検証したものであり、可用性の列は論文が意図することではなく実際に述べていることを記録している。

14.1 環境とベンチマーク

表11は、本レビューが出会ったものと、各項目が実際に公開しているものを示す。

表11. 本レビューで遭遇した環境とベンチマーク、およびそれぞれが実際に公開している成果物。項目に「本文内リンクなし」とある場合、論文はリリースを告知したが、我々が読んだ版ではその所在を示していない。

14.2 データセットと軌跡コーパス

表12は、第9章のモデルが訓練に用いるコーパスについて同様のことを示している。

表12. 軌跡コーパス、その出所、および表明された入手可能性。入手可能性は本レビューが検証したものではなく、論文の記述どおりに記録している。

14.3 モデルとツール

オープンなアクションモデルとグラウンディングモジュールが再利用可能な中核を形成している：UI-TARS [37]、OpenCUA [38]、OS-Atlas [31]、UGround [29]、ShowUI [34]、Aria-UI [36]、Aguvis [35]、CogAgent [21]、SE-GUI [116]、UI-R1 [114]、GTA1 [113]、MobileRL [109]、およびRLで訓練されたコンピュータ利用システム [108, 41]。

エンジニアリング基盤は少なくとも同等に重要であり、言及されることが少ない。Web環境向けのBrowserGymとAgentLab [26]、制御用のPlaywright、Selenium、Appium、知覚フロントエンドとしてのOmniParser [118]とSet-of-Markオーバーレイ生成 [20]、分離のためのAndroidエミュレータとDocker/QEMU仮想マシン、そして訓練側のための分散RLインフラストラクチャ（VERL、vLLM）がある（[108, 109, 41]）。HIDAgent [91]は注目に値する例外である。対象デバイス上にソフトウェアを必要としないハードウェア実行層である。

14.4 実際に利用可能なもの

表11と表12の成果物および可用性の列は、8.3節を念頭に置いて読むべきである。我々が調査したバージョンにおいて、最大級のコーパスの相当な割合が、ダウンロード可能な場所を示さずにオープンとして告知されている——その中にはGUI-Net-1M、GroundCUA、AgentTrek、SoftwareGymが含まれる——そして複数のリリース告知がライセンス条件とソース別の件数を省略している。リンクが示されている場合、それは本サーベイの参考文献に記載されている。

二つのリソースは、データではなく計器であるという理由で特筆に値する。ScreenSpot-V2は、この分野で最も引用されるグラウンディングベンチマークの修正版であり、ラベルの約11%が修正されている [31]。これに先行するあらゆる比較は、その修正を念頭に置いて読むべきである。そしてOSWorld-Humanは、全369のOSWorldタスクに対して最小ステップの人間軌跡を提供しており、これによって効率測定がそもそも可能になる [13]。

要点

• この分野は現在、三つのプラットフォームすべてにおいて信頼できる実行検証済みの環境を持ち、さらに単一アプリからクロスアプリタスクへと至る独自のモバイルの階梯を持つ。
• 軌跡コーパスは約18か月で数十万件から100万件超へと成長し、その由来は人間によるデモンストレーションからマイニングおよび自己ラベリングへと移行した。
• 可用性の主張は信頼できない。最大級のコーパスのいくつかは本文中にリンクがなく、ライセンスとソース別の件数はしばしば省略されている。
• ScreenSpot-V2とOSWorld-Humanは、既存の結果の読み方を変える可能性が最も高い二つの成果物である。

15 今後の方向性

以下の方向性は、前章までに記録されたギャップから導かれる。それぞれは、それを動機づける証拠と、可能であればそれを決着させるであろう測定とともに、研究課題として述べられる。

能力のギャップの前に効率のギャップを埋める。 最先端のエージェントはすでに複数のプラットフォームにおいて単一アプリケーションタスクの過半数を成功させているが、人間のステップ数の2.7～4.3倍を使用し、計画と内省がエンドツーエンドのレイテンシの76～96%を占めている（[13]、10.4節）。タスクあたりのコストは展開における拘束的な制約であり、それに対してほとんど最適化がなされていない。本サーベイにおける訓練手法のうち、報酬をより短い正しい軌跡へ直接方向づけているのは一つだけである [109]。重要な測定はプラットフォームごとの成功対コストのパレート曲線であり、既存の研究にはそれを生成するデータがある [14]。

評価を被試験システムから独立させる。 監査されたLLM審査員で精度70%を超えたものはなく、訓練データをフィルタリングする審査員はしばしばそれを生成したのと同じモデルである（8.3節、10.3節）[136]。三つの具体的な改善策が利用可能であり、いずれも標準的な実践ではない。すなわち、ばらつきを伴う複数回の実行を報告すること、少なくとも軌跡のサンプルを人間または独立した判断で評価すること、そして体系的な環境変動の下で評価を再実行することであり、そこでは単一のモデルが現在4%から63%の範囲に及んでいる [133]。

検証優先のアーキテクチャを採用する。 分解されたアブレーションは三つの方向から同じ結論を示している。すなわち、行動が実行されたことを確認することではなく、結果として得られた状態を検証することにこそ利得があること[93]、同じベースモデル上ではプロセス報酬が結果報酬を上回ること[112]、そしてステップ単位の分解がエンドツーエンドのスコアでは隠れてしまう失敗段階を明らかにすること[139]である。未解決の問題はコストである。検証は推論スループットをおよそ半減させるため[93]、研究上の問いは検証するか否かではなく、何を安価に検証するかである。

アプリケーション横断的で長期的な作業を解く。 すべてのプラットフォームが同じプロファイルを示している。単一アプリケーションのタスクはほぼ解決済みである一方、アプリケーション横断的なタスクは崩壊し、しばしばゼロになる（10.2節）[105, 134, 26]。典型的なベンチマークのタスクはおよそ三つのサブゴールに分解されるため[63]、ここでの進展には、より深いプランナーではなく、実際に長いベンチマークが必要である。

データの来歴とライセンスを標準化する。 コーパスのサイズは一桁大きくなったが、報告の質はそうならなかった。最大級のリリースのいくつかには本文中のリンクがなく、多くがライセンスやソース別の件数を省略しており、自己ラベリングの手続きは監査されることのないバイアスを伴っている（8.3節、5.4節）[121]。最小限の報告標準、すなわちソース、収率、ライセンス、アノテーションの一致度、フィルタモデルとそのバージョンであれば、ほとんどコストをかけずにデータ文献をレビュー可能なものにするだろう。

インジェクション以外の部分で安全性の研究を再燃させる。 四つのギャップは具体的かつ対処可能である（11.5節）。すなわち、提案された各防御に対する適応的攻撃、すべての攻撃成功率の数値と並べてのユーティリティコストの計上、単一の汚染された視覚タワーが試験されたすべての対策を破った画像モダリティ上で機能する防御[101]、そしてプラットフォーム横断的な安全性評価である。

インターフェースの問いを意図的に決定する。 エージェントが人間向けに設計されたインターフェースに適応するのか、インターフェースがエージェントに適応するのかという問いは、現在、設計ではなく研究努力を通じて、既定のまま答えられつつある。エージェント向けインターフェースの技術的根拠は、今や動作するプロトタイプによって裏付けられている[123, 126]。調査した文献が扱っていないのは、誰がそれを強制し、あるいは標準化するのかという点である[130]。これは非技術的な帰結が最も大きい未解決の問いである。

訓練と足場かけの間の交換率を測定する。 この分野には高コストな訓練済みシステムと、両者が測定されたタスクでは競争力のある安価な訓練不要の手法が存在するが、両方の軸を報告する研究はほとんどない（9.5節、13.2節）。アノテーションコスト、ロールアウトコスト、推論コストがすべて上昇しているため、訓練済みのグラウンディングモデルとテスト時のスケーリングを同一性能で比較する単一の研究は、並外れて価値があるだろう。

要点

• 最も実行可能な近期的方向は効率であり、そこではギャップが定量化され、パレートの枠組みがすでに存在する。
• 評価の独立性、すなわち反復実行、独立した判定、環境の変動は、研究上の突破ではなく方法論的な変更であり、利用可能な最も安価な改善である。
• 検証優先の設計は三つの独立した証拠の系統によって支持されている。未解決の問題はそのコストである。
• 能力が欠けているのは、より深い計画機構ではなく、アプリケーション横断的かつ長期的な能力である。
• インターフェースの問いと安全性のモダリティのギャップは、その帰結に比して文献が最も薄い二つの領域である。

References

[1] Pascal J. Sager, Benjamin Meyer, Peng Yan, Rebekka von Wartburg-Kottler, Layan Etaiwi, Aref Enayati, Gabriel Nobel, Ahmed Abdulkadir, Benjamin F. Grewe, Thilo Stadelmann. A Comprehensive Survey of Agents for Computer Use: Foundations, Challenges, and Future Directions. Journal of Artificial Intelligence Research, vol. 85, 2026. doi:10.1613/jair.1.19490; arXiv:2501.16150

[2] Dang Nguyen, Jian Chen, Yu Wang, et al. GUI Agents: A Survey. 2024. arXiv:2412.13501

[3] Chaoyun Zhang, Shilin He, Jiaxu Qian, et al. Large Language Model-Brained GUI Agents: A Survey. 2024. arXiv:2411.18279

[4] Xueyu Hu, Tao Xiong, Biao Yi, et al. OS Agents: A Survey on MLLM-based Agents for General Computing Devices Use. 2025. arXiv:2508.04482

[5] Shuyan Zhou, Frank F. Xu, Hao Zhu, et al. WebArena: A Realistic Web Environment for Building Autonomous Agents. 2023. arXiv:2307.13854

[6] Tianbao Xie, Danyang Zhang, Jixuan Chen, et al. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. 2024. arXiv:2404.07972

[7] Xiang Deng, Yu Gu, Boyuan Zheng, et al. Mind2Web: Towards a Generalist Agent for the Web. 2023. arXiv:2306.06070

[8] Christopher Rawles, Sarah Clinckemaillie, Yifan Chang, et al. AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents. 2024. arXiv:2405.14573

[9] Ada Chen, Yongjiang Wu, Junyuan Zhang, et al. A Survey on the Safety and Security Threats of Computer-Using Agents: JARVIS or Ultron? 2025. arXiv:2505.10924

[10] Yucheng Shi, Wenhao Yu, Jingyuan Huang, Wenlin Yao, Wenhu Chen, Ninghao Liu. Towards Trustworthy GUI Agents: A Survey. 2025. arXiv:2503.23434

[11] Jiahao Li, Kaer Huang. A Survey on GUI Agents with Foundation Models Enhanced by Reinforcement Learning. 2025. arXiv:2504.20464

[12] Boyu Gou, Zanming Huang, Yuting Ning, et al. Mind2Web 2: Evaluating Agentic Search with Agent-as-a-Judge. 2025. arXiv:2506.21506

[13] Reyna Abhyankar, Qi Qi, Yiying Zhang. OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents. 2025. arXiv:2506.16042

[14] Sayash Kapoor, Benedikt Stroebl, Zachary S. Siegel, Nitya Nadgir, Arvind Narayanan. AI Agents That Matter. 2024. arXiv:2407.01502

[15] Reiichiro Nakano, Jacob Hilton, Suchir Balaji, et al. WebGPT: Browser-assisted question-answering with human feedback. 2021. arXiv:2112.09332

[16] Peter C. Humphreys, David Raposo, Toby Pohlen, et al. A data-driven approach for learning to control computers. ICML 2022. arXiv:2202.08137

[17] Shunyu Yao, Howard Chen, John Yang, Karthik Narasimhan. WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents. 2022. arXiv:2207.01206

[18] Christopher Rawles, Alice Li, Daniel Rodriguez, Oriana Riva, Timothy Lillicrap. Android in the Wild: A Large-Scale Dataset for Android Device Control. 2023. arXiv:2307.10088

[19] Xiao Liu, Hao Yu, Hanchen Zhang, et al. AgentBench: Evaluating LLMs as Agents. 2023. arXiv:2308.03688

[20] Jianwei Yang, Hao Zhang, Feng Li, Xueyan Zou, Chunyuan Li, Jianfeng Gao. Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V. 2023. arXiv:2310.11441

[21] Wenyi Hong, Weihan Wang, Qingsong Lv, et al. CogAgent: A Visual Language Model for GUI Agents. 2023. arXiv:2312.08914

[22] Chi Zhang, Zhao Yang, Jiaxuan Liu, et al. AppAgent: Multimodal Agents as Smartphone Users. 2023. arXiv:2312.13771

[23] Hongliang He, Wenlin Yao, Kaixin Ma, et al. WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models. 2024. arXiv:2401.13919

[24] Jing Yu Koh, Robert Lo, Lawrence Jang, et al. VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks. 2024. arXiv:2401.13649

[25] Kanzhi Cheng, Qiushi Sun, Yougang Chu, et al. SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents. 2024. arXiv:2401.10935

[26] Alexandre Drouin, Maxime Gasse, Massimo Caccia, et al. WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? 2024. arXiv:2403.07718

[27] Keen You, Haotian Zhang, Eldon Schoop, et al. Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs. 2024. arXiv:2404.05719

[28] Rogerio Bonatti, Dan Zhao, Francesco Bonacci, et al. Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale. 2024. arXiv:2409.08264

[29] Boyu Gou, Ruohan Wang, Boyuan Zheng, et al. Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents. 2024. arXiv:2410.05243

[30] Saaket Agashe, Jiuzhou Han, Shuyu Gan, Jiachen Yang, Ang Li, Xin Eric Wang. Agent S: An Open Agentic Framework that Uses Computers Like a Human. 2024. arXiv:2410.08164

[31] Zhiyong Wu, Zhenyu Wu, Fangzhi Xu, et al. OS-Atlas: A Foundation Action Model for Generalist GUI Agents. 2024. arXiv:2410.23218

[32] Xiao Liu, Bo Qin, Dongzhu Liang, et al. AutoGLM: Autonomous Foundation Agents for GUIs. 2024. arXiv:2411.00820

[33] Zehan Qi, Xiao Liu, Iat Long Iong, et al. WebRL: Training LLM Web Agents via Self-Evolving Online Curriculum Reinforcement Learning. 2024. arXiv:2411.02337

[34] Kevin Qinghong Lin, Linjie Li, Difei Gao, et al. ShowUI: One Vision-Language-Action Model for GUI Visual Agent. 2024. arXiv:2411.17465

[35] Yiheng Xu, Zekun Wang, Junli Wang, et al. Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction. 2024. arXiv:2412.04454

[36] Yuhao Yang, Yue Wang, Dongxu Li, et al. Aria-UI: Visual Grounding for GUI Instructions. 2024. arXiv:2412.16256

[37] Yujia Qin, Yining Ye, Junjie Fang, et al. UI-TARS: Pioneering Automated GUI Interaction with Native Agents. 2025. arXiv:2501.12326

[38] Xinyuan Wang, Bowen Wang, Dunjie Lu, et al. OpenCUA: Open Foundations for Computer-Use Agents. 2025. arXiv:2508.09123

[39] Xuehui Wang, Zhenyu Wu, JingJing Xie, et al. MMBench-GUI: Hierarchical Multi-Platform Evaluation Framework for GUI Agents. 2025. arXiv:2507.19478

[40] Pei Yang, Hai Ci, Mike Zheng Shou. macOSWorld: A Multilingual Interactive Benchmark for GUI Agents. 2025. arXiv:2506.04135

[41] Dunjie Lu, Shuai Bai, Tianyi Bai, et al. Qwen-CUA: Native Computer Use for (almost) Everything. 2026. arXiv:2608.02352

[42] Wanli Li, Bowen Zhou, Yunyao Yu, et al. WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces. 2026. arXiv:2606.09426

[43] Yikun Fu, Bowen Fu, Zhenyu Wu, et al. MacAgentBench: Benchmarking AI Agents on Real-World macOS Desktop. 2026. arXiv:2606.22557

[44] Lawrence Keunho Jang, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov. MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents. 2026. arXiv:2606.16748

[45] Ivan Evtimov, Arman Zharmagambetov, Aaron Grattafiori, Chuan Guo, Kamalika Chaudhuri. WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks. 2025. arXiv:2504.18575

[46] Tri Cao, Bennett Lim, Yue Liu, et al. VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents. 2025. arXiv:2506.02456

[47] Ke Yang, Yao Liu, Sapana Chaudhary, Rasool Fakoor, Pratik Chaudhari, George Karypis, Huzefa Rangwala. AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents. 2024. arXiv:2410.13825

[48] Liangbo Ning, Ziran Liang, Zhuohang Jiang, et al. A Survey of WebAgents: Towards Next-Generation AI Agents for Web Automation with Large Foundation Models. 2025. arXiv:2503.23350

[49] Guangyi Liu, Pengxiang Zhao, Yaozhen Liang, et al. LLM-Powered GUI Agents in Phone Automation: Surveying Progress and Prospects. 2025. arXiv:2504.19838

[50] Biao Wu, Yanda Li, Zhiwei Zhang, Yunchao Wei, Meng Fang, Ling Chen. Foundations and Recent Trends in Multimodal Mobile Agents: A Survey. 2024. arXiv:2411.02006

[51] Shuai Wang, Weiwen Liu, Jingxuan Chen, et al. GUI Agents with Foundation Models: A Comprehensive Survey. 2024. arXiv:2411.04890

[52] Junan Hu, Jian Liu, Jingxiang Lai, et al. GUI Agents with Reinforcement Learning: Toward Digital Inhabitants. 2026. arXiv:2604.27955

[53] Zhisong Zhang, Tianqing Fang, Kaixin Ma, Wenhao Yu, Hongming Zhang, Haitao Mi, Dong Yu. WebRollback: Enhancing Web Agents with Explicit Rollback Mechanisms. 2025. arXiv:2504.11788

[54] Genglin Liu, Shijie Geng, Sha Li, Hejie Cui, Sarah Zhang, Xin Liu, Tianyi Liu. WebCoach: Self-Evolving Web Agents with Cross-Session Memory Guidance. 2025. arXiv:2511.12997

[55] Ziyu Lu, Tengjin Weng, Yiying Yang, Yuhang Zhao, Xinxin Huang, Wenhao Jiang. BEAP-Agent: Backtrackable Execution and Adaptive Planning for GUI Agents. 2026. arXiv:2601.21352

[56] Yu Gu, Kai Zhang, Yuting Ning, Boyuan Zheng, Boyu Gou, Tianci Xue, Cheng Chang, Sanjari Srivastava, Yanan Xie, Peng Qi, Huan Sun, Yu Su. Is Your LLM Secretly a World Model of the Internet? Model-Based Planning for Web Agents. 2024. arXiv:2411.06559

[57] Yilin Cao, Yufeng Zhong, Zhixiong Zeng, Siran Dai, Liming Zheng, Jing Huang, Haibo Qiu, Peng Shi, Wenji Mao. MobileDreamer: Generative Sketch World Model for GUI Agent. 2026. arXiv:2601.04035

[58] Zichen Zhu, Hao Tang, Yansi Li, et al. MobA: Multifaceted Memory-Enhanced Adaptive Planning for Efficient Mobile Task Automation. 2024. arXiv:2410.13757

[59] Yuquan Xie, Zaijing Li, Rui Shao, Gongwei Chen, Kaiwen Zhou, Yinchuan Li, Dongmei Jiang, Liqiang Nie. Mirage-1: Augmenting and Updating GUI Agent with Hierarchical Multimodal Skills. 2025. arXiv:2506.10387

[60] Shang Ma, Xusheng Xiao, Yanfang Ye. Agent+P: Guiding UI Agents via Symbolic Planning. 2025. arXiv:2510.06042

[61] Yi Kong, Dianxi Shi, Guoli Yang, et al. MapAgent: Trajectory-Constructed Memory-Augmented Planning for Mobile Task Automation. 2025. arXiv:2507.21953

[62] Zikang Liu, Junyi Li, Wayne Xin Zhao, Dawei Gao, Yaliang Li, Ji-rong Wen. PAL-UI: Planning with Active Look-back for Vision-Based GUI Agents. 2025. arXiv:2510.00413

[63] Mohamed Aghzal, Gregory J. Stein, Ziyu Yao. Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective. 2026. arXiv:2603.14248

[64] Junyang Wang, Haiyang Xu, Haitao Jia, et al. Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration. 2024. arXiv:2406.01014

[65] Aarash Feizi, Shravan Nayak, Xiangru Jian, et al. Grounding Computer Use Agents on Human Demonstrations. 2025. arXiv:2511.07332

[66] Jian Mu, Chaoyun Zhang, Chiming Ni, et al. GUI-360°: A Comprehensive Dataset and Benchmark for Computer-Using Agents. 2025. arXiv:2511.04307

[67] Quanfeng Lu, Wenqi Shao, Zitao Liu, et al. GUIOdyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices. 2024. arXiv:2406.08451

[68] Yiheng Xu, Dunjie Lu, Zhennan Shen, et al. AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials. 2024. arXiv:2412.09605

[69] Bofei Zhang, Zirui Shang, Zhi Gao, et al. TongUI: Internet-Scale Trajectories from Multimodal Web Tutorials for Generalized GUI Agents. 2025. arXiv:2504.12679

[70] Brandon Trabucco, Gunnar Sigurdsson, Robinson Piramuthu, Ruslan Salakhutdinov. InSTA: Towards Internet-Scale Training For Agents. 2025. arXiv:2502.06776

[71] Shikhar Murty, Hao Zhu, Dzmitry Bahdanau, Christopher D. Manning. NNetNav: Unsupervised Learning of Browser Agents Through Environment Interaction in the Wild. 2024. arXiv:2410.02907

[72] Tian Jin, Wenhao Wang, Jing Kang, et al. SoftwareGym: Scaling Computer-Use Agent Training with Diverse Synthesized Software Environments. 2026. arXiv:2610.12611

[73] Longxi Gao, Li Zhang, Shihe Wang, et al. MobileViews: A Million-scale and Diverse Mobile GUI Dataset. 2024. arXiv:2409.14337

[74] Hanyu Lai, Junjie Gao, Xiao Liu, et al. AndroidGen: Building an Android Language Agent under Data Scarcity. 2025. arXiv:2504.19298

[75] Zikai Xiao, Jianhong Tu, Chuhang Zou, et al. WebWorld: A Large-Scale World Model for Web Agent Training. 2026. arXiv:2602.14721

[76] Naimeng Ye, Xiao Yu, Ruize Xu, Tianyi Peng, Zhou Yu. AI Agents for Web Testing: A Case Study in the Wild. 2025. arXiv:2509.05197

[77] Antoine Chevrot, Alexandre Vernotte, Jean-Rémy Falleri, Xavier Blanc, Bruno Legeard. Are Autonomous Web Agents Good Testers? 2025. arXiv:2504.01495

[78] Xiwen Teoh, Yun Lin, Duc-Minh Nguyen, Ruofei Ren, Wenjie Zhang, Jin Song Dong. WebTestPilot: Agentic End-to-End Web Testing against Natural Language Specification by Inferring Oracles with Symbolized GUI Elements. 2026. arXiv:2602.11724

[79] Shamit Fatin, Mehbubul Hasan Al-Quvi, Haz Sameen Shahgir, et al. LELANTE: LEveraging LLM for Automated ANdroid TEsting. 2025. arXiv:2504.20896

[80] Xiaolei Li, Jialun Cao, Yepang Liu, Shing-Chi Cheung, Hailong Wang. ReuseDroid: A VLM-empowered Android UI Test Migrator Boosted by Active Feedback. 2025. arXiv:2504.02357

[81] Biniam Fisseha Demissie, Yan Naing Tun, Lwin Khin Shar, Mariano Ceccato. VLM-Fuzz: Vision Language Model Assisted Recursive Depth-first Search Exploration for Effective UI Testing of Android Apps. 2025. arXiv:2504.11675

[82] Maryam Taeb, Amanda Swearngin, Eldon Schoop, Ruijia Cheng, Yue Jiang, Jeffrey Nichols. AXNav: Replaying Accessibility Tests from Natural Language. 2023. doi:10.1145/3613904.3642777; arXiv:2310.02424

[83] Yuxuan Lu, Ting-Yao Hsu, Hansu Gu, et al. AgentA/B: Automated and Scalable Web A/B Testing with Interactive LLM Agents. 2025. arXiv:2504.09723

[84] Shridhar Mehendale, Ankit Walishetti. DexAssist: A Voice-Enabled Dual-LLM Framework for Accessible Web Navigation. 2024. arXiv:2411.12214

[85] Anthropic. Developing a computer use model. 2024. anthropic.com/news/developing-computer-use

[86] OpenAI. Computer-Using Agent. 2025. openai.com/index/computer-using-agent

[87] Gaole Dai, Shiqi Jiang, Ting Cao, Yuanchun Li, Yuqing Yang, Rui Tan, Mo Li, Lili Qiu. Advancing Mobile GUI Agents: A Verifier-Driven Approach to Practical Deployment. 2025. arXiv:2503.15937

[88] Jiangang Han. WebFovea: When the Model Is Right but the Click Is Wrong — Reliable Round Trips for Vision-Based Web Agents on Live Websites. 2026. arXiv:2610.03036

[89] Linxin Song, Yutong Dai, Viraj Prabhu, et al. CoAct-1: Computer-using Multi-Agent System with Coding Actions. 2025. arXiv:2508.03923

[90] Jungjae Lee, Dongjae Lee, Chihun Choi, et al. VeriSafe Agent: Safeguarding Mobile GUI Agent via Logic-based Action Verification. 2025. arXiv:2503.18492

[91] Jeffrey P. Bigham. HIDAgent: A Toolkit Enabling "Personal Agents" on HID-Compatible Devices. 2026. arXiv:2602.00492

[92] Yuzhe Zhang, Xianwei Xue, Xingyong Wu, et al. Don't Act Blindly: Robust GUI Automation via Action-Effect Verification and Self-Correction. 2026. arXiv:2604.05477

[93] Qinzhuo Wu, Pengzhi Gao, Wei Liu, Jian Luan. BacktrackAgent: Enhancing GUI Agent with Error Detection and Backtracking Mechanism. 2025. arXiv:2505.20660

[94] Daniel Jones, Giorgio Severi, Martin Pouliot, et al. A Systematization of Security Vulnerabilities in Computer Use Agents. 2025. arXiv:2507.05445

[95] Chaoran Chen, Zhiping Zhang, Bingcan Guo, et al. The Obvious Invisible Threat: LLM-Powered GUI Agents' Vulnerability to Fine-Print Injections. 2025. arXiv:2504.11281

[96] Rahul Deivasigamani, Sayeda Faatin Alvi, Derqui Andrea, Kaushal Punjabi, Stjepan Picek. Not an A11y: How Android Accessibility Exposes Mobile AI Agents to Indirect Prompt Injection. 2026. arXiv:2608.08939

[97] Juyong Lee, Dongyoon Hahm, June Suk Choi, W. Bradley Knox, Kimin Lee. MobileSafetyBench: Evaluating Safety of Autonomous Agents in Mobile Device Control. 2024. arXiv:2410.17520

[98] Jingyi Yang, Shuai Shao, Dongrui Liu, Jing Shao. RiOSWorld: Benchmarking the Risk of Multimodal Computer-Use Agents. 2025. arXiv:2506.00618

[99] Xilong Wang, John Bloch, Zedian Shao, Yuepeng Hu, Shuyan Zhou, Neil Zhenqiang Gong. WebInject: Prompt Injection Attack to Web Agents. EMNLP 2025. arXiv:2505.11717

[100] Zhihao Liu, Hongyu Sun, Zhiyuan Fu, et al. AgentHijack: Visual Patch Attacks on Multimodal Computer-Use Agents. 2026. arXiv:2609.09212

[101] Ziang Ye, Yang Zhang, Wentao Shi, Xiaoyu You, Fuli Feng, Tat-Seng Chua. VisualTrap: A Stealthy Backdoor Attack on GUI Agents via Visual Grounding Manipulation. 2025. arXiv:2507.06899

[102] Giulio Zingrillo, Hanna Foerster, Ilia Shumailov, Yiren Zhao, Robert Mullins. Securing Computer-Use Agents Against Branch Steering Attacks. 2026. arXiv:2610.03089

[103] Kaiyuan Zhang, Mark Tenenholtz, Kyle Polley, Jerry Ma, Denis Yarats, Ninghui Li. BrowseSafe: Understanding and Preventing Prompt Injection Within AI Browser Agents. 2025. arXiv:2511.20597

[104] Maria Sanchez del Rio, Mikhail Terekhov. Control OSWorld: An AI Control Environment for GUI Computer Use Agents. 2026. arXiv:2610.03818

[105] Jingxuan Chen, Derek Yuen, Bin Xie, et al. SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation. 2024. arXiv:2410.15164

[106] Shihan Deng, Weikai Xu, Hongda Sun, et al. Mobile-Bench: An Evaluation Benchmark for LLM-based Mobile Agents. 2024. arXiv:2407.00993

[107] Fanbin Lu, Zhisheng Zhong, Shu Liu, Chi-Wing Fu, Jiaya Jia. ARPO: End-to-End Policy Optimization for GUI Agents with Experience Replay. 2025. arXiv:2505.16282

[108] Hanyu Lai, Xiao Liu, Yanxiao Zhao, et al. ComputerRL: Scaling End-to-End Online Reinforcement Learning for Computer Use Agents. 2025. arXiv:2508.14040

[109] Yifan Xu, Xiao Liu, Xinghan Liu, et al. MobileRL: Online Agentic Reinforcement Learning for Mobile GUI Agents. 2025. arXiv:2509.18119

[110] Yucheng Shi, Wenhao Yu, Zaitang Li, et al. MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment. 2025. arXiv:2507.05720

[111] Zhengxi Lu, Jiabo Ye, Fei Tang, et al. UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning. 2025. arXiv:2509.11543

[112] Cong Chen, Kaixiang Ji, Hao Zhong, et al. GUI-Shepherd: Reliable Process Reward and Verification for Long-Sequence GUI Tasks. 2025. arXiv:2509.23738

[113] Yan Yang, Dongxu Li, Yutong Dai, et al. GTA1: GUI Test-time Scaling Agent. 2025. arXiv:2507.05791

[114] Zhengxi Lu, Yuxiang Chai, Yaxuan Guo, et al. UI-R1: Enhancing Efficient Action Prediction of GUI Agents by Reinforcement Learning. 2025. arXiv:2503.21620

[115] Run Luo, Lu Wang, Wanwei He, Longze Chen, Jiaming Li, Xiaobo Xia. GUI-R1: A Generalist R1-Style Vision-Language Action Model For GUI Agents. 2025. arXiv:2504.10458

[116] Xinbin Yuan, Jian Zhang, Kaixin Li, et al. Enhancing Visual Grounding for GUI Agents via Self-Evolutionary Reinforcement Learning. 2025. arXiv:2505.12370

[117] Jason Wu, Xiaoyi Zhang, Jeff Nichols, Jeffrey P. Bigham. Screen Parsing: Towards Reverse Engineering of UI Models from Screenshots. 2021. doi:10.1145/3472749.3474763; arXiv:2109.08763

[118] Yadong Lu, Jianwei Yang, Yelong Shen, Ahmed Awadallah. OmniParser for Pure Vision Based GUI Agent. 2024. arXiv:2408.00203

[119] Kaixin Li, Ziyang Meng, Hongzhan Lin, et al. ScreenSpot-Pro: GUI Grounding for Professional High-Resolution Computer Use. 2025. arXiv:2504.07981

[120] Miaosen Zhang, Ziqiang Xu, Jialiang Zhu, et al. Phi-Ground Tech Report: Advancing Perception in GUI Grounding. 2025. arXiv:2507.23779

[121] Zhiqi Ge, Juncheng Li, Xinglei Pang, et al. Iris: Breaking GUI Complexity with Adaptive Focus and Self-Refining. 2024. arXiv:2412.10342

[122] Tiange Luo, Lajanugen Logeswaran, Justin Johnson, Honglak Lee. Visual Test-time Scaling for GUI Agent Grounding. 2025. arXiv:2505.00684

[123] Rui Xie, Lu Chen. ASIL: Replacing Screenshot-and-Click with Structured State and Semantic Actions. Findings of EMNLP 2026. arXiv:2608.26991

[124] Xing Han Lù, Zdeněk Kasner, Siva Reddy. WebLINX: Real-World Website Navigation with Multi-Turn Dialogue. 2024. arXiv:2402.05930

[125] Chaoyun Zhang, He Huang, Chiming Ni, et al. UFO2: The Desktop AgentOS. 2025. arXiv:2504.14603

[126] Sunghwan Kim, Deogyong Kim, Sangam Lee, Donguk Kwon, Dongha Lee. Web$hell: A Unified Interface for Agentic Web Access. 2026. arXiv:2610.13416

[127] Masafumi Enomoto, Ryoma Obara, Haochen Zhang, Masafumi Oyamada. Read More, Think More: Revisiting Observation Reduction for Web Agents. 2026. arXiv:2604.01535

[128] Weihao Tan, Wentao Zhang, Xinrun Xu, et al. Cradle: Empowering Foundation Agents Towards General Computer Control. 2024. arXiv:2403.03186

[129] Yong Liu, Zhenyi Zhong, Zhanpeng Shi. Tactile: Giving Computer-Using Agents Hands and Feet. 2026. arXiv:2607.14443

[130] Xing Han Lù, Gaurav Kamath, Marius Mosbach, Siva Reddy. Build the web for agents, not agents for the web. 2025. arXiv:2506.10953

[131] Chenrui Shi, Yuwei Wu, Yang Liu, et al. Interactive Reward Agent: GUI Task Evaluation via Environment-State Verification. 2026. arXiv:2607.25904

[132] Tao Xiong, Xavier Hu, Yurun Chen, et al. GUI-PRA: Process Reward Agent for GUI Tasks. 2025. arXiv:2509.23263

[133] Karen Ullrich, Jingtong Su, Claudia Shi, et al. OpenApps: Simulating Environment Variations to Measure UI-Agent Reliability. 2025. arXiv:2511.20766

[134] Yuxiang Chai, Shunye Tang, Han Xiao, et al. A3: Android Agent Arena for Mobile GUI Agents with Essential-State Procedural Evaluation. 2025. arXiv:2501.01149

[135] Shravan Nayak, Xiangru Jian, Kevin Qinghong Lin, et al. UI-Vision: A Desktop-centric GUI Benchmark for Visual Perception and Interaction. 2025. arXiv:2503.15661

[136] Xing Han Lù, Amirhossein Kazemnejad, Nicholas Meade, et al. AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories. 2025. arXiv:2504.08942

[137] Tianci Xue, Weijian Qi, Tianneng Shi, et al. An Illusion of Progress? Assessing the Current State of Web Agents. COLM 2025. arXiv:2504.01382

[138] Su Kara, Fazle Faisal, Suman Nath. WAREX: Web Agent Reliability Evaluation on Existing Benchmarks. 2025. arXiv:2510.03285

[139] Daniel Röder, Akhil Juneja, Roland Roller, Sven Schmeier. Detecting Pipeline Failures through Fine-Grained Analysis of Web Agents. 2025. arXiv:2509.14382

[140] Tianchen Guan, Xinlei Lin, Royce Cheng-Yue, Xiangjun Wang, Shuyan Zhou. ComponentBench: Diagnosing Component-Level Failures in Computer-Use Agents. 2026. arXiv:2608.18307

[141] Thassilo M. Schiepanski, Nicholas Piel. Beyond Pixels: Exploring DOM Downsampling for LLM-Based Web Agents. 2025. arXiv:2508.04412