컴퓨터 사용 에이전트: 방법, 데이터, 평가 및 신뢰

초록

컴퓨터 사용 에이전트, 즉 스크린샷, 접근성 트리, 키보드 및 마우스 동작을 통해 그래픽 인터페이스를 조작하는 시스템은 약 3년 만에 스크립트로 작성된 개념 증명에서 여러 벤치마크에서 단일 응용 프로그램 과제의 대다수를 완수하는 훈련된 모델로 발전했다. 이 서베이는 관찰과 인터페이스, 지각과 그라운딩, 계획과 기억, 행동 생성과 실행, 데이터, 훈련, 평가, 안전 및 배포에 이르는 전체 에이전트 루프에 걸쳐 이러한 전환을 조망한다. 우리는 121편의 논문을 전문 정독하고 613편의 관련 연구 코퍼스를 선별했다.

네 가지 발견이 이 분야를 조직한다. 첫째, 관찰이 아니라 행동 인터페이스가 대부분의 역할을 한다: 에이전트가 보는 것과 할 수 있는 것 사이의 정렬만을 변경하는 통제된 절제 실험은 관찰 압축보다 더 큰 이득을 낳으며, 가장 강력한 데스크톱 시스템은 GUI 제어와 코드 실행 사이를 라우팅하는 시스템이다. 둘째, 측정 장치는 가장 취약한 구성 요소이다: 독립 감사에 따르면 평가된 LLM 판정자 중 70% 정밀도를 초과한 사례가 없고, 규칙 기반 판정자는 성공을 16~19포인트 과소 보고하며 모델 순위를 역전시키고, 공개된 그라운딩 벤치마크에는 약 11%의 레이블 오류가 포함되어 있다. 셋째, 이득의 소재는 계획이 아니라 검증이다: 분해된 절제 실험은 백트래킹 이득의 거의 전부를 행동이 실행되었는지 확인하는 것이 아니라 결과 상태가 의도한 것인지 판정하는 데 귀속시킨다. 넷째, 하이재킹은 피해가 아니다, 그리고 이 분야는 routinely 전자를 후자로 보고한다: 세 개의 독립적 보안 연구가 전체 사슬을 측정한 결과 종단 간 공격 성공률이 주입률보다 훨씬 낮다.

우리는 또한 문헌이 해결하지 못한 것들을 기록한다: 보고는 분산 없는 단일 실행이 지배적이며, 훈련 및 평가 분포가 점점 중복되고, 발표된 가장 큰 데이터 릴리스 중 여러 건은 본문 내 위치가 없으며, 인간 감독은 이를 직접 테스트한 유일한 연구에서 안전 백스톱으로서 실패한다. 이 서베이는 양측의 증거와 함께 진술된 다섯 가지 근본적 이견과 격차에서 도출된 여덟 가지 연구 방향으로 마무리된다.

범위와 방법

주제 경계. 이 서베이는 그래픽 인터페이스, 즉 웹 브라우저, 모바일 응용 프로그램, 데스크톱 운영 체제를 조작하는 에이전트를 다룬다. 터미널 및 API 전용 에이전트는 대조로만 등장하는데, 하이브리드 인터페이스 증거(10.5절)가 비교 조건으로서 이들의 존재를 요구하기 때문이다. 이들은 별도의 장이나 코퍼스로 취급되지 않는다. 이러한 시스템에서의 안전 관련 행동 보고는 포함되며, 일반적인 LLM 안전 연구는 포함되지 않는다.

마감. 논문은 2026년 10월 12일의 v1 arXiv 제출 날짜까지 포함된다. 이 보고서의 arXiv 식별자는 작성 시점에 라이브러리 메타데이터와 대조 검증되었다. 논문의 식별자를 검증할 수 없는 경우 해당 번호는 여전히 인용되지만 그 항목은 우리가 확인할 수 있었던 메타데이터에 기반한다.

구성. 후보 검색은 키워드 규칙, 시맨틱 리콜, 일일 arXiv 공지 스트림을 결합하여 경쟁하는 필터로 취급하지 않고 하나의 풀로 통합했으며, 위의 기간과 관련 주제 분류로 제한했다. 스크리닝에는 하나의 공통 포함 조건을 적용했다. 즉, GUI 환경을 운영하는 에이전트에 관한 작업으로, CLI 전용 에이전트, 순수 터미널 벤치마크, 범용 LLM 작업은 제외했다. 그 결과 833편의 풀에서 613편의 포함 작업이 남았다. 이후 코퍼스는 열두 분야의 실무 분류 체계에 배정되었고, 121편의 논문을 전문 정독하여 메커니즘, 설정, 정량적 결과, 공개된 산출물, 명시된 한계를 다루는 구조화된 증거 카드로 문서화했다. 깊이보다는 폭을 위해 인용된 논문은 그룹 문장에 사용되며 핵심 주장을 담당하지 않는다.

증거 등급. 출처에서 전문을 정독하고 특정 정량적 주장에 사용된 작업은 1차 증거로 취급한다. 초록과 메타데이터만으로 요약된 작업은 그 주장이 중요한 경우 본문에서 그렇게 표시한다. 벤더가 보고한 결과와 상용 시스템 문서(12.5절)는 검증된 측정치가 아닌 벤더 주장으로 취급하며, 본 설문조사에서 동료 심사 수치와 비교하지 않는다.

전시물. 그림과 표는 각각 처음 등장하는 순서대로 두 개의 별도 번호 체계로 번호가 매겨지며, 모든 전시물은 본문에서 번호로 참조된다. 그림 캡션과 표 캡션은 설명하는 전시물 뒤에 따른다.

증거가 빈약한 곳. 네 영역은 해당 장의 분량이 시사하는 것보다 약한 뒷받침을 가지며, 본문은 각각을 표시한다: 접근성 지원은 포함된 작업 모두 프로토타입이고 하나는 대상 장애를 가진 참가자가 없다(12.3절); CLI 대조 방향은 단일 벤치마크로 뒷받침된다(10.5절); 안전성의 이미지 양식 방어는 테스트된 한 가지 해결책이 완전히 실패한다(11.5절); 그리고 그림 대 구조 문제는 하나의 통제된 모델-관찰별 연구에서 모델 간에 순위가 역전됨을 보여준다(4.4절).

이 설문조사가 아닌 것. 이는 형식적 포함/배제 판정을 갖춘 등록 프로토콜이라는 의미에서 체계적이지 않다: 스크리닝은 샘플링 검증과 함께 자동화된 판정자가 적용한 하나의 공통 조건을 사용했다. 이는 해당 분야의 인구 조사로 읽혀서는 안 되며, 그 수치를 성장률이나 범주 점유율을 추론하는 데 사용해서도 안 된다. 추세를 보고하는 경우, 뒷받침하는 기간과 그 비교 가능성이 제시된다.

1 서론

컴퓨터 사용 에이전트(CUA)는 사람이 하는 방식으로 컴퓨터를 운영하는 AI 시스템이다. 즉, 화면을 보고 클릭하고, 타이핑하고, 탭하고, 스크롤하여 자연어로 진술된 작업을 수행한다. "금요일에 리스본행 가장 저렴한 직항편을 예약하고 내 캘린더에 추가해 줘"라는 지시는 처음부터 끝까지 실행된다: 브라우저를 열고, 양식을 채우고, 확인 내용을 읽고, 캘린더 앱으로 전환하고, 일정을 생성한다. 웹사이트별 API, 수작업 스크립트, 애플리케이션별 플러그인은 가정되지 않는다. 이는 도구를 사용하는 언어 에이전트에 관한 더 넓은 문헌과 비교할 때 의도적으로 좁은 능력이며, 그 좁음이 핵심이다: 인터페이스는 이미 존재하는 그래픽 사용자 인터페이스(GUI)이므로, 사람이 화면을 통해 접근할 수 있는 것은 원칙적으로 다룰 수 있다.

연구 분야는 젊고 빠르게 변화하며 유난히 파편화되어 있다. 초기 연구는 구조화된 페이지 표현에 대한 강화학습을 통해 웹 및 모바일 내비게이션을 자동화했다 [5, 7]. 대규모 파운데이션 모델의 등장은 분야를 화면을 읽고 행동을 출력하는 명령어 조건화 정책 쪽으로 이동시켰으며 [3], 2024년까지 데스크톱, 웹, 모바일 환경을 중심으로 인식 가능한 벤치마크 생태계가 형성되었다 [5, 6, 8]. 그 이후 분야는 상호 보강하는 두 갈래로 분기되었다: GUI 궤적에 대해 종단 간 학습되고 강화학습으로 점점 더 정교해지는 네이티브 컴퓨터 사용 모델과, 고정된 프런티어 모델을 지각, 기억, 검증 모듈로 조율하는 프레임워크형 에이전트가 그것이다. 상용 제품들은 이제 이 역량을 직접 출시한다. 약 2년 동안 아홉 편의 리뷰 논문이 등장했으며 [1, 2, 3, 4, 10, 11], 이는 그 자체로 분야가 아직 정착되지 않고 통합 중임을 보여주는 신호이다.

이 서베이는 그러한 배경 위에서 작성되었다. 우리는 웹, 모바일, 그리고 데스크톱/운영체제 환경 전반에 걸쳐 그래픽 인터페이스를 통해 컴퓨터를 조작하는 에이전트를 다루며, v1 제출물부터 2026년 10월까지를 대상으로 한다. 명령줄 및 터미널 전용 에이전트는 GUI 문제와 관련되는 경우에만 논의한다(예를 들어 클릭과 명령 실행 사이에서 선택하는 하이브리드 에이전트). 순수 터미널 벤치마크와 에이전트는 범위 밖이다. 그 범위 안에서 우리는 단 하나의 질문을 던진다: 컴퓨터 사용 에이전트는 실제로 어떻게 작동하며, 어떤 설계 선택이 중요한지에 대해 증거는 무엇을 말하는가?

이 서베이의 조직 프레임워크는 에이전트 자체의 정보 처리 루프이다. 모든 CUA는 어떻게 구축되었든 (i) 화면의 관측을 획득하고, (ii) 명령어가 지시하는 대상을 찾고, (iii) 다음에 무엇을 할지 결정하고, (iv) 환경이 수용하는 행동을 실행하고, (v) 학습한다면 데이터와 보상으로부터 학습해야 한다. 4–9장은 이 단계들을 차례로 다루며, 10–12장은 모든 단계에 걸쳐 있는 평가, 신뢰, 응용을 다룬다. 그림 1은 그 구조를 보여준다.

그림 1. 다섯 단계로 구성된 서베이의 조직, 왼쪽에서 오른쪽으로 읽는다.

범위와 방법

코퍼스는 로컬 라이브러리에 대한 여덟 가지 상호 보완적 검색 경로 — 핵심 컴퓨터 사용 문제, 웹 내비게이션, 모바일 제어, 데스크톱/OS 제어, 시각적 그라운딩, 훈련 및 강화학습, 보안에 대한 의미론적 회수 — 와 제목 대상 키워드 경로 및 참조 기반 스노우볼링을 통해 수집되었다. 그 경로들의 합집합은 위의 GUI 중심 범위와의 관련성에 대해 심사되었고, 833개 후보 중 613개 작품이 포함되었으며, 67개 작품이 검증된 앵커 참조로 추가되었다. 인용 등급은 읽기 깊이에 따라 부여되었다: 일부 작품은 전문을 읽고 메커니즘 및 결과 주장을 담을 수 있으며, 더 큰 집합은 방법 수준에서 읽혔고, 나머지는 그들이 수행한다고 기술하는 바에 대해 인용된다. 부록은 검색 경로, 마감 시점, 그리고 커버리지가 얇은 영역을 기록한다. 우리는 코퍼스가 완전하다고 주장하지 않는다: 분야에는 통일된 용어가 없으며, 효율성과 2023년 이전 강화학습 웹 에이전트에 관한 절은 나머지보다 검토된 출처가 적다.

기여

먼저, 관찰 공간, 행동 공간, 그라운딩, 학습 목표를 하나의 표기법으로 표현하는 통일된 형식적 설정(2절)을 제시하여, 서로 다른 플랫폼을 위해 구축된 방법들을 플랫폼별이 아니라 메커니즘별로 비교할 수 있게 한다. 둘째, 이를 구현하는 시스템이 아니라 에이전트 루프를 기준으로 조직한 분류 체계(3절)를 제시한다. 셋째, 2026년 10월까지의 갱신된 종합으로, 훈련에서의 강화학습 전환과 에이전트가 샌드박스에서 실제 환경으로 이동하면서 드러난 신뢰성 문제를 다룬다. 이 시기는 앞선 리뷰들에서 대부분 빠져 있던 기간이다 [1, 2, 3, 4]. 넷째, 평가 관행에 대한 비판적 서술로, 여기서 우리는 벤치마크가 입증하는 것과 벤치마크가 흔히 입증하는 것으로 간주되는 것을 구분한다 [12, 13, 14]. 다섯째, 보안에 대한 본격적인 취급으로, 마우스와 키보드 제어를 가진 시스템에게 이는 부차적인 것이 아니다 [9, 10].

핵심 요점

• 컴퓨터 사용 에이전트는 도구 사용 래퍼가 아니라 GUI에 대한 명령 조건화 정책이다. 환경은 저항하며, 관찰은 시각적이거나 구조적이고, 행동은 그라운딩되어야 한다.
• 이 분야는 빠르게 통합되고 있다. 이미 여러 폭넓은 리뷰가 존재하므로, 유용한 기여는 또 하나의 시스템 목록이 아니라 에이전트 루프에 대한 통합적 서술과 증거에 대한 정직한 해석이다.
• 진전은 고르지 않다. 모델 능력은 신뢰성을 측정하는 우리의 능력보다 더 빠르게 발전했다.

2 예비 사항

2.1 배경과 정의

우리는 자연어 명령을 받아 컴퓨터의 그래픽 인터페이스를 조작함으로써 이를 충족하는 시스템을 컴퓨터 사용 에이전트(CUA) 라고 부른다. 즉 화면을 읽고 클릭, 키 입력, 탭, 스크롤을 발행한다. 이 용어는 여러 인접 개념과 겹치지만 그보다 좁다. 이는 화면을 전혀 보지 않고 형식화된 API를 통해 행동할 수 있는 도구 사용 언어 에이전트보다 좁다. 이는 "에이전트"가 픽셀 영역이나 창 제목에 묶인 스크립트이고 레이아웃이 바뀌면 조용히 깨지는 로보틱 프로세스 자동화보다 좁다. 이는 동일한 능력이 모바일 운영 체제와 데스크톱에서도 발휘되므로 웹 에이전트 단독보다 넓다. 그리고 GUI 문제를 조명하는 경우를 제외하고는 게임 플레이와 순수한 코드/터미널 에이전트를 배제한다. 이는 본질적으로 가장 가까운 기존 리뷰 [1]가 그은 경계이며, 해당 리뷰 역시 비디오 게임, 서버 제어, 코딩 에이전트를 배제한다. 우리는 이를 따르며, 추가로 순수 터미널 벤치마크를 코퍼스에서 제외한다.

두 가지 속성이 CUA를 일반적인 명령 따르기와 구별한다. 첫째, 환경은 기계가 아니라 인간을 위해 설계되었다. 관찰은 메시지가 아니라 렌더링이며, 행동은 그 렌더링 위의 물리적 위치에 그라운딩되어야 한다. 둘째, 환경은 상태를 가지며 부분적으로만 재설정 가능하다. 실제 웹사이트는 되돌릴 수 없고, 결제는 취소할 수 없다. 두 속성 모두 이 설문의 나머지 부분이 검토하는 설계 공간을 이끈다.

2.2 공유된 형식적 설정

우리는 최근 인터페이스 문헌 [47]에서 사용되고 이후 리뷰들 [1, 4]에 의해 확장된, 부분 관측 가능하고 명령 조건화된 정식화를 채택하여, 서로 다른 플랫폼을 위해 구축된 방법들을 하나의 표기법으로 비교할 수 있게 한다. 표 1은 기호를 나열한다.

표 1. 공유 표기법. 4–9절은 이 기호들을 재사용하여, 서로 다른 플랫폼을 위해 구축된 방법들을 플랫폼별이 아니라 항목별로 비교할 수 있게 한다.

그런 다음 동일한 설정에서 세 가지 설계 계열을 도출한다. 관측: $o_t$은 픽셀인가, 구조인가, 아니면 둘 다인가? 행동: $a_t$은 좌표 쌍인가, 요소 인덱스인가, 아니면 프로그램인가? 그라운딩: $g$은 $\pi_\theta$의 일부로 학습되는가, 아니면 별도의 위치화 모델에 의해 제공되는가, 아니면 이미 목표를 명명하는 행동 공간을 선택함으로써 불필요해지는가(4.2절)? 학습은 네 번째 축이다. 정책은 고정되어 프롬프트될 수도 있고, $\mathbb{E}_{(o,i,a)\sim\mathcal{D}}\log\pi_\theta(a\mid o,i,h)$을 최대화하여 궤적에 대해 미세 조정될 수도 있으며, $\mathbb{E}_{\tau\sim\pi_\theta}[\sum_t\gamma^t r_t]$을 최대화하여 환경 보상에 대해 최적화될 수도 있는데, 보상은 종료 시점에 주어지거나 프로세스 모델에 의해 보완된다.

2.3 개발 타임라인

그림 2는 해당 분야의 전환점을 표시하는 연구들의 연대를 보여준다. 파운데이션 모델 이전 시대에는 구조화된 페이지 표현에 대한 강화 학습으로 에이전트를 훈련시켰고 [16, 17], 최초의 대규모 모델 에이전트는 인간 피드백과 함께 브라우저를 사용했다 [15]. 2023년부터 이 분야는 빠르게 표준화되었다. 범용 웹 에이전트 데이터셋과 환경 [5, 7], 안드로이드 기기 제어 데이터셋 [18], 다중 환경 에이전트 벤치마크 [19], 그리고 GUI 제어를 위한 최초의 시각 언어 모델 [21, 22]이 등장했으며, 기성 모델에서 요소 그라운딩을 다루기 쉽게 만든 마크 앤드 인덱스 프롬프팅 기법 [20]도 함께 등장했다. 2024년에는 실제 데스크톱 및 모바일 환경과 최초의 네이티브 행동 모델이 추가되었고 [6, 8, 25, 29, 31, 35], 2025년에는 네이티브 컴퓨터 사용 모델과 강화 학습으로의 전환이 이루어졌으며 [37, 38], 2026년은 하이브리드 인터페이스 벤치마크와 보안 연구가 독자적인 문헌으로 성숙해지는 것으로 특징지어진다 [42, 45, 46].

그림 2. v1 제출 날짜 기준의 대표적 이정표. 동시대 및 이후 변형들은 여기가 아니라 각 장에서 인용한다.

2.4 관련 서베이

11편의 리뷰와 입장 논문이 이 영역을 구성한다(표 2). 어느 것도 다른 것과 중복되지는 않지만, 현재 기준 시점까지 전체 루프를 다루는 것은 없다. 가장 가까운 [1]은 도메인, 상호작용, 에이전트 관점에 걸친 기술 비종속적 분류 체계를 제공하며 기준 시점은 2024년이고 코딩 에이전트와 소프트웨어 테스팅은 제외한다. 역량 축 리뷰 [2, 3]는 인식/추론/계획/행동을 중심으로 구성한다. [4]는 인터페이스를 명령줄 상호작용까지 포함하도록 확장하는데, 우리는 이를 의도적으로 포함하지 않는다. 안전성 리뷰 [9, 10]과 강화학습 리뷰 [11]은 범위가 더욱 좁다.

표 2. 관련 서베이. "Cutoff"는 해당 서베이가 실질적으로 다루는 최신 문헌을 뜻한다. 각 행이 서로 다른 포함 규칙을 사용하므로 행 간 비교 가능성은 제한적이다.

핵심 요점

• CUA는 도구의 사용이 아니라 인간이 설계한 인터페이스의 그라운딩된 조작에 의해 정의된다.
• 하나의 POMDP 방식 설정이 세 플랫폼을 모두 포괄하며, 네 가지 실제 설계 축인 관찰, 행동 공간, 그라운딩, 학습을 드러낸다.
• 아홉 편의 선행 리뷰가 존재한다. 지금 제공 가능한 기여는 주제의 참신성이 아니라 최신성, 통합, 그리고 증거에 대한 정직한 해석이다.

3 분류 체계

3.1 왜 루프로 조직하는가

이 분야의 서베이는 플랫폼(웹, 모바일, 데스크톱)별로, 시스템 계보(어떤 모델이 어떤 모델을 이어받았는지)별로, 또는 에이전트 자체의 구성 요소별로 조직될 수 있다. 우리는 마지막 방식을 채택하는데, 그것이 방법들이 실제로 갈리는 축이기 때문이다. 같은 백본 위에 구축되고 같은 사이트에서 벤치마크된 두 웹 에이전트는 둘 다 인스턴스화하는 루프 외에는 아무것도 공유하지 않을 수 있다. 반대로 접근성 트리를 표시된 스크린샷으로 대체하는 모바일 에이전트와 데스크톱 에이전트는 동일한 설계 선택을 하는 것이며, 이들을 서로 다른 플랫폼 아래에 분류하는 것보다 직접 비교하는 것이 더 유용하다.

루프는 다섯 단계로 이루어진다. 관찰(4절)은 에이전트가 무엇을 보는지를 정한다. 지각과 그라운딩(5절)은 그 관찰을 목표로 전환한다. 계획, 기억, 추론(6절)은 무엇을 시도하고 무엇을 기억할지를 결정한다. 행동 생성과 실행(7절)은 결정을 환경이 받아들이는 무언가로 전환한다. 학습(8–9절)은 모델이나 그 데이터에서 무엇이 변하는지를 다룬다. 평가, 신뢰, 배포(10–12절)는 다섯 단계 모두를 가로지른다. 그림 3은 대표 연구들을 잎에 배치한 트리를 보여준다.

그림 3. 분류 체계. 숫자는 각 잎의 대표 연구를 인용한다. 잎들은 상호 배타적이지 않다 — 하나의 시스템은 보통 여러 잎을 동시에 고정하며, 각 장은 선택들이 어디서 상호작용하는지 설명한다.

그림 4. 실제로 관찰 잎이 어떤 모습인지, OmniParser [118]에서. 스크린샷에 번호가 매겨진 상자가 주석으로 달리고, 각 상자는 텍스트 항목이나 생성된 아이콘 설명("Icon Box ID 24: 삭제 또는 제거 기능.")을 산출한다. 그런 다음 정책은 좌표가 아니라 인덱스를 선택한다. 이것이 4.1절에서 분석하는 관찰-인터페이스 선택의 구체적 형태이다.

3.2 부차적 축

세 가지 추가 구분이 반복적으로 등장하며, 장 제목이 아니라 표에 속한다(표 3).

플랫폼. 웹, 모바일, 데스크톱/OS는 방법에서보다 관찰 기반과 실패 양상에서 더 적게 다르다. 웹은 기계 판독 가능한 DOM을 제공하고, 모바일은 충실도가 가변적인 접근성 트리를 제공하며, 데스크톱은 흔히 둘 다 안정적으로 제공하지 못한다. 그래서 데스크톱 에이전트가 픽셀에 가장 크게 의존한다(4.1, 10.2절 참조). 교차 플랫폼 전이는 이제 네이티브 행동 모델들의 명시된 목표이다 [31, 35, 41].

학습 패러다임. 프롬프트되거나 스캐폴드된 에이전트는 모델 내부에서 아무것도 바꾸지 않는다. 파인튜닝된 행동 모델은 궤적 데이터로 매개변수를 바꾼다. 강화학습된 에이전트는 환경 보상에 대항하여 매개변수를 바꾼다. 9절은 각각이 어디서 방어 가능한지, 그리고 보고된 이득이 실제로 무엇을 대가로 하는지를 검토한다.

검증 방식. 에이전트와 독립적으로, 환경은 최종 상태에서 과제별 스크립트를 실행하거나, LLM 심사자를 요청하거나, 기록된 인간 궤적에 대해 재생함으로써 검증한다. 이 선택은 보고된 두 수치가 얼마나 비교 가능한지를 결정한다(섹션 10).

표 3. 세 가지 교차 구분으로, 각각이 구속력을 갖는 장을 함께 표시한다. 이들은 루프가 여전히 주요 축으로 남도록 의도적으로 장 제목에서 제외되었다.

핵심 요점

• 에이전트 루프를 기준으로 구성하면 플랫폼 간 비교가 가능해지고, 각 방법이 실제로 어떤 구성 요소를 변경하는지 드러난다.
• 플랫폼, 학습 패러다임, 검증 방식은 이차적 축이다. 이들은 장 제목이 아니라 표에 속한다.
• 루프는 공유 구조에 대한 설명이지, 좋은 에이전트가 그것을 명시적으로 구현한다는 주장이 아니다. 여러 프론티어 모델은 지각과 계획을 단일 순전파로 축약한다.

4 환경과 인터페이스

4.1 세 가지 관찰 계열

에이전트가 볼 수 있는 것이 학습해야 하는 것을 결정한다. 이 분야는 세 가지 관찰 계열로 수렴되었으며, 그 선택이 중요하다는 가장 명확한 증거는 다른 모든 것을 고정한 비교에서 나온다.

구조 전용. 에이전트는 페이지나 애플리케이션의 텍스트 렌더링을 소비한다. 접근성 트리, DOM 직렬화, 또는 그것의 Markdown 편집본이다. AgentOccam은 다른 어떤 것도 바꾸지 않기 때문에 가장 교훈적인 사례다. 새로운 모델도, 새로운 학습도 없이, 오직 관찰 함수와 행동 함수를 서로 정렬할 뿐이다. 이는 접근성 트리를 Markdown으로 압축하고, 텍스트 인터페이스가 표현할 수 없는 행동(스크롤, 호버, 누르기)을 제거하며, note/stop와 계획 행동을 추가하고, WebArena에서 43.1%를 보고한다. 이는 가장 강력한 이전 에이전트의 33.3%와 바닐라 기준선의 16.5%에 대비된다 [47]. 그 절제 실험은 이득을 분해한다. 행동 공간을 정렬하는 것이 가장 큰 몫을 기여하고, 그다음으로 스크롤 비활성화, 그다음으로 관찰 압축이 뒤따른다. 그 순서 자체가 하나의 발견이다. 관찰이 아니라 행동 인터페이스가 가장 많은 일을 했다.

픽셀 전용. 구조적 입력은 전혀 없다. Pix2Act는 이 패러다임을 확립했다. 순수 픽셀 관찰, 좌표 행동, 픽셀 수준 사전 학습을 동반한 인간 시연으로부터의 행동 복제, 그리고 추론 시의 몬테카를로 트리 탐색이며, MiniWoB++에서 평균 96.2%에 도달하여 DOM 기반 베이스라인을 능가했다 [16]. Cradle은 동일한 원칙을 논리적 극한까지 밀어붙인다. 즉 화면 비디오를 입력받고 키보드와 마우스를 출력하며, API는 없다. 그리고 OSWorld에서 7.81%를 보고했는데, 이는 GPT-4o의 5.03%와 Set-of-Mark 오버레이를 사용한 4.59%에 맞선 수치다 [128]. 순수 픽셀 설정은 또한 일반 컴퓨터 제어(General Computer Control) 연구 문제를 가장 강력한 형태로 정의하며, 낮은 절대 수치는 아직 얼마나 많은 것이 남아 있는지를 보여준다.

하이브리드 및 컴파일. 배포된 대부분의 시스템은 두 채널 모두에서 입력을 받아 융합하며, 2026년 변형들은 인터페이스를 컴파일하여 주소 지정 가능한 구조로 만드는 단계로 더 나아간다. UFO2는 가장 명확한 데스크톱 사례다. 즉 비전으로 보강된 접근성 트리 우선 제어 그래프, 계획을 세우는 호스트 에이전트와 실행하는 애플리케이션 특화 에이전트들, 그리고 GUI 이벤트와 네이티브 애플리케이션 API의 합집합인 행동 공간이다 [125]. 이는 Windows Agent Arena에서 30.5%에 도달했으며, 강력한 상용 에이전트의 20.8%에 맞선 수치다.

그림 5. UFO2의 제어 아키텍처로, 해당 논문의 프레임워크 그림에서 다시 그린 것이다 [125]. 호스트 에이전트가 작업을 분해하고 Windows 애플리케이션마다 하나의 애플리케이션 특화 에이전트를 생성하며, 각 특화 에이전트는 하위 작업 완료를 호스트에 보고하고 호스트는 스케줄링과 애플리케이션 수명 주기를 담당한다. 하나의 계획자와 특정 애플리케이션에 묶인 다수의 실행자로 이루어진 계층적 분할이 바로 GUI 이벤트와 네이티브 API의 합집합을 하나의 행동 공간에서 사용 가능하게 만드는 것이다. Web$hell은 라이브 페이지를 주소 지정 가능한 정보 및 행동 객체로 컴파일하고 영속적인 버전 관리 캐시를 갖추며, WebArena-Verified에서 0.679의 작업 성공률을 보고했는데, 이는 동일한 비용에서 비교 시스템의 0.264에 맞선 수치다 [126]. Beyond Pixels는 더 가벼운 경로를 택하여 DOM 자체를 다운샘플링한다. 즉 깊이에 따라 컨테이너를 병합하고, 콘텐츠를 Markdown으로 변환하며, 속성과 문장을 정리한다. 그리고 18개의 Online-Mind2Web 작업에서 약 5분의 1의 토큰 비용으로 그라운딩된 GUI 베이스라인의 65%에 맞선 73%를 보고한다 [141]. Tactile은 다중 소스 UI 증거를 역할, 텍스트, 상태, 기하 구조, 어포던스, 출처를 담은 후보 대상 집합으로 컴파일하고, 그라운딩, 실행, 검증을 네 개의 명시적 단계로 분리하여 macOS 벤치마크에서 Codex의 Success@100을 41.1%에서 50.0%로 끌어올린다 [129].

구조적 방향의 극단은 ASIL이며, 이는 스크린샷을 완전히 버린다. 환경은 타입이 지정된 JSON 상태를 노출하고, 에이전트는 어댑터 계약 [123] 뒤에서 스키마 제약을 받는 의미론적 호출 set_value, invoke_function, modify_file을 통해 행동한다. 15개 애플리케이션에 걸친 380개 작업에서 하나의 프런티어 모델에 대해 81.6%를 보고했는데, 이는 GUI 조건의 6.6%에 맞선 수치이며, 궤적당 행동 수는 다섯 개 미만이다. 우리는 두 가지 주의 사항을 지적한다. 첫째, 구조화된 측이 GUI 측이 받지 못한 평가자 유래 힌트를 받았으므로 비교는 비대칭이다. 둘째, 이 구성은 애플리케이션들이 협조한다고 전제한다.

4.2 좌표에서 의미론으로

행동 공간은 다루는 기간 동안 한 방향으로 움직여 왔으며, 그 단계들은 이 장의 연구들에서 드러난다(표 4).

표 4. 해당 분야가 거쳐 온 순서대로 나열한 행동 공간 단계와, 각 단계의 대표 연구 및 특징적인 실패.

이러한 추세는 좌표를 반박하는 것이 아니라 행동으로 간주되는 것의 범위를 넓히는 것이며, 그 가장 명확한 증거는 채널을 결합한 시스템이 단일 채널 시스템보다 더 나은 성능을 보인다는 점이다 (7.4절 및 10.5절).

4.3 인터페이스는 설계상의 입장이다

두 연구는 인터페이스가 애초에 에이전트의 문제가 되어서는 안 된다고 주장한다. Agentic Web Interface 입장 논문은 사이트가 자신의 정보와 제어 수단을 기계가 실행할 수 있는 형태로 노출하여, 그라운딩 책임을 에이전트가 아닌 사이트로 옮기도록 제안하며, 백만 토큰을 초과하는 DOM과 작업당 비용을 동기로 인용한다 [130]. 이는 프로토타입이 아닌 원칙과 권고를 제시하며, 여기서의 가치는 Web$hell, Tactile, ASIL이 모두 행동하는 가정을 명시적으로 진술한다는 데 있다 [126, 129, 123].

이 지점에서 컴퓨터 사용 에이전트는 CLI 세계가 마주하지 않았던 질문과 만난다. 터미널은 기계를 위해 설계된 인터페이스이지만, 웹 페이지는 그렇지 않다. 10.5절의 하이브리드 인터페이스 결과는 동일한 주장의 경험적 형태이며, 이 입장을 단순한 선언 이상으로 만들어 주는 것이다.

4.4 통제된 비교가 실제로 규명하는 것

한 연구는 어느 편도 들지 않기 때문에 주목할 가치가 있다. 행동 인터페이스를 고정하고 관찰 표현과 이력만 변화시킨 Read More, Think More는 답이 단조롭지 않고 모델에 의존적임을 발견한다. 즉 더 풍부한 HTML 관찰은 동일한 벤치마크에서 한 모델에는 +17.5 퍼센트 포인트의 가치가 있지만 다른 모델에는 −18.8 포인트이다 [127]. 관찰 형식과 모델 간의 상호작용은 평균 효과를 압도할 만큼 크며, 이는 "픽셀 대 DOM"이 일반적인 답이 있는 질문이 아니라 특정 모델, 특정 사이트, 특정 토큰 예산에 관한 질문임을 의미한다.

그 결과는 이 장 나머지 문헌을 읽는 방식을 규정해야 한다. 수많은 논문이 자신들의 관찰 형식이 최고라고 보고하지만, 다른 모든 것을 고정한 채 모델 계열을 변화시키는 논문은 거의 없으며, 그렇게 하는 유일한 논문은 순위가 뒤집힘을 발견한다.

핵심 요점

• 세 가지 관찰 계열이 공존한다: 구조만 사용하는 방식, 픽셀만 사용하는 방식, 하이브리드/컴파일 방식이며, 각 계열 내부에 직접적인 절제 실험이 있다.
• AgentOccam의 분해는 여기서 가장 명확한 단일 결과다: 행동 인터페이스를 정렬하는 것이 관찰을 압축하는 것보다 더 중요했다.
• 행동 공간은 좌표에서 요소 인덱스로, 다시 프로그래매틱 및 의미론적 호출로 확장되었다; 채널을 결합한 시스템이 단일 채널 시스템보다 더 나은 성능을 보인다.
• 완전히 컴파일된 또는 대칭 구조 입장은 자체 벤치마크에서는 신뢰할 만하지만, 애플리케이션의 협조에 의존하며, 가장 강력한 사례에서는 비대칭적 비교 조건에 의존한다.
• 유일한 통제된 모델별 관찰 연구는 픽셀과 구조 사이의 순위가 모델 간에 안정적이지 않음을 보여주며, 이는 최적의 인터페이스에 관한 대부분의 절대적 주장을 약화시킨다.

5 지각과 그라운딩

5.1 구조 읽기에서 픽셀 보기로

클릭하려는 요소를 찾지 못하는 에이전트는 행동할 수 없다. 첫 세대 웹 에이전트의 경우 이는 읽기로 해결되었다: 접근성 트리 또는 DOM이 이름, 역할, 경계 상자를 가진 요소 목록을 제공했고, 에이전트는 그중 하나를 선택했다. 그 해결책의 비용은 의존성 자체이며, 이 장의 작업 중 4분의 3은 그것을 제거하기 위해 존재한다.

그 진전은 산출물의 연속에서 가시적으로 드러난다. SeeClick은 에이전트 문제를 그라운딩 문제로 재구성하고 스크린샷으로부터 좌표를 출력하도록 모델을 훈련시켰으며, 약 백만 개의 그라운딩 샘플이 동일한 모델이 아무런 능력도 없던 곳에서 범용 모델에 사용 가능한 화면 위치 지정 능력을 부여할 수 있음을 보여주었다 [25]. Set-of-Mark 프롬프팅은 일반 비전-언어 모델이 좌표를 추론하는 대신 번호가 매겨진 오버레이 중에서 선택할 수 있음을 보여주었다 [20]. OmniParser는 지각을 정책으로부터 가장 깔끔하게 분리하는 단계를 밟았다: 모델을 동결하고, 별도의 미세 조정된 탐지기, 아이콘 캡셔너, OCR이 요소 목록과 번호가 매겨진 오버레이를 생성하게 함으로써, 기성 GPT-4V가 추출하는 법을 배운 적 없는 구조를 소비하도록 했다 [118]. 그런 다음 UGround는 순수 픽셀 그라운딩을 플러그 가능한 모듈로 만들었다 — 플래너가 대상에 대한 짧은 자연어 설명을 내보내고 그라운딩 모델이 이를 좌표로 변환한다 — 그리고 1천만 개의 합성 요소로 훈련시켰다 [29]. 2024년 말까지 지배적인 아키텍처는 2단계였다: 픽셀을 보지 않는 플래너와 그 외에는 아무것도 하지 않는 그라운더.

같은 계보의 두 초기 연구는 여전히 지각 문제에 대한 가장 명확한 진술이다. Screen Parsing은 2021년에 이 과제가 요소를 탐지하는 것이 아니라 인터페이스 모델을 역공학하는 것 — 요소를 그룹화 및 계층 구조와 함께 복원하는 것 — 이라고 주장했으며, 이는 이후의 순수 픽셀 모델들이 대부분 포기한 프레이밍이다; 보고된 23% 개선에 대한 우리의 증거는 초록에 국한되는데, 본문을 이 검토를 위해 이용할 수 없었기 때문이다 [117]. CogAgent는 저해상도 백본에 전용 1120×1120 고해상도 교차 어텐션 브랜치를 추가하고 1억 4천만 개의 화면-요소 쌍으로 사전 훈련하여 Mind2Web에서 58.2% 단계 성공률에 도달했으며, 훨씬 더 큰 규모의 텍스트 입력 모델들을 능가했다 [21]. 그 결과는 픽셀이 구조에 뒤지지 않아도 된다는 첫 번째 강력한 증거였고, 해상도를 핵심 엔지니어링 문제로 만들었다.

5.2 해상도는 실패 축이며, 이제 정량화되었다

ScreenSpot은 표준 그라운딩 벤치마크로, 대상은 스크린샷의 평균 약 2%를 차지한다. 세 가지 운영체제에 걸친 23개 전문 애플리케이션의 1,581개 샘플로 구축된 ScreenSpot-Pro는 이를 0.07%로 줄인다 [119]. 그 변화의 효과는 극적이며 정확히 서술할 가치가 있는데, 이는 이 장에서 가장 많은 정보를 주는 단일 측정치이기 때문이다(표 5).

표 5. 벤치마크 설정별 그라운딩 정확도. 행들은 서로 비교할 수 없다. ScreenSpot과 ScreenSpot-Pro는 대상 크기에서 수 자릿수만큼 차이가 나며, 이는 아래 논의의 주제이다.

82%와 19% 사이의 격차는 모델 세대의 격차가 아니다. OS-Atlas-7B는 ScreenSpot에서는 강력한 그라운더이고 ScreenSpot-Pro에서는 약한 그라운더이다. 그것은 해상도 격차이며, 이는 해상도 체제를 명시하지 않고 인용된 벤치마크 점수가 거의 무의미하다는 것을 뜻한다. 같은 연구들은 또한 실패가 이분법적이기보다 단계적임을 보여준다. 정확도는 대상 크기가 줄어들수록 단조롭게 떨어진다 [119].

5.3 두 가지 해결책: 더 크게 학습하거나, 더 똑똑하게 탐색하거나

학습 측면의 답들은 모두 모델에 올바른 패치의 더 많은 픽셀을 주는 것으로 귀결된다. CogAgent는 고해상도 분기를 추가했고 [21], Iris는 균일한 크기 조정을 정보 밀도 기반 적응형 크롭으로 대체하여 더 밀집한 영역에 더 많은 크롭을 할당하며 [121], ShowUI는 연결된 UI 구성요소 내부의 중복 시각 토큰을 제거하여 시각 토큰을 3분의 1로 줄이고 학습 시간을 40% 단축했으며 [34], OS-Atlas는 코퍼스를 다섯 플랫폼에 걸친 13.58M 요소로 확장했고 [31], Phi-Ground는 데이터 엔지니어링(40M 규모 크롤링, 참조 표현 스타일, 좌표 규약)을 체계적으로 변화시키며 그라운딩 대상의 표현이 아키텍처가 아니라 결과를 이끈다는 것을 발견했다 [120].

추론 측면의 답들은 아무것도 학습하지 않고도 작동하기 때문에 더 놀랍다. ScreenSeekeR는 플래너가 후보 영역을 가설로 세우고, 재귀적으로 크롭하며, 그라운더가 작은 이미지에서 작업하도록 하여, 당시 최고 엔드투엔드 모델의 18.9%에 맞서 ScreenSpot-Pro에서 48.1%에 도달했다. 이는 파라미터 업데이트 없이 29포인트의 이득이다 [119].

그림 6. ScreenSpot-Pro 과제에서의 재귀적 영역 좁히기, ScreenSpot-Pro 논문 [119]에서 발췌. 윗줄은 단일 시도 모델과 부분 확대 기준선이 모두 목표를 놓치는 모습을 보여주고, 아랫줄은 연속적인 좁히기로 같은 과제를 해결하는 모습을 보여주며, 각 단계에서 최종 그라운딩 결정 전에 그럴듯한 영역에 대한 텍스트 설명("파일 탐색기 창", 그다음 "상단 동작 표시줄", 그다음 "파일 탐색기 창 상단의 도구 모음")을 제공한다. 5.2절의 이득은 더 큰 모델이 아니라 이 루프에서 나온다. 시각적 테스트 시점 스케일링은 이를 일반화한다. 즉, 초점 지점을 제안하고, 비례하는 네 개의 영역을 잘라내고, 각 영역에서 후보 행동을 샘플링하고, 후보들을 이미지 위의 랜드마크로 그려 모델이 선택하게 함으로써 집계한다 [122]. 이는 ScreenSpot-Pro에서 Qwen2.5-VL-72B를 47.8에서 61.6으로, UI-TARS-72B를 38.1에서 50.2로 끌어올리며, 7B 모델에 이 방법을 더한 경우(41.2)가 이 방법 없이 72B 모델을 쓴 경우(38.1)를 능가한다.

비용은 실재하며 논문은 이를 정직하게 보고한다. 웹 궤적은 66.8% 더 비싸고, ScreenSpot-Pro에서는 180–360%의 오버헤드가 발생한다. 이는 계획 수립을 위한 테스트 시점 스케일링(9.4절)에서 나타나는 것과 동일한 트레이드오프이며, 두 경우 모두 예산이 제약되어 있되 소진되지는 않았을 때 이득이 가장 크다.

5.4 자기 라벨링 데이터와 그 특유의 편향

그라운딩 코퍼스는 대부분 기계 생성이며, 자율성에 대해 발표된 수치들은 주목할 만하다. UGround는 규칙과 언어 모델로 1,000만 개 요소를 합성했고 [29], Aria-UI는 요소에 캡션을 달고 그 캡션을 지시문으로 인간화하여 1,150만 개 샘플을 구축했으며 [36], OS-Atlas는 1,358만 개 요소에 도달했다 [31]. Iris의 기여는 이 루프를 명시적으로 닫는 것이다. 참조-그라운드 자기 일관성 검사가 왕복 과정에서 원래 목표를 복원하는 생성 쌍을 수용하여 약 300만 개의 자기 라벨링 샘플을 생성하고, SeeClick이 53.4%를 얻는 동일한 데이터량에서 ScreenSpot에서 74.6%에 도달한다. 즉, UGround의 1,000만 개 주석 데이터의 73.3%를 약간 웃도는 수준이다 [121].

같은 논문은 이 절차가 도입하는 편향을 명명한다. 왕복 일치는 크고 흔한 요소에서 가장 쉽기 때문에, 자기 라벨링은 그러한 요소를 과다 표집한다. 자체 데스크톱 아이콘 및 위젯 점수(57.5)는 UGround(63.6)에 뒤진다. 왕복 대신 외부 요소 검출기로부터 훈련 신호를 구축하는 Ferret-UI는 상보적인 실패를 보고한다. 즉, 검출기가 결코 반응하지 않는 요소(예: 상태 표시줄 표시자)에 대해서는 학습할 수 없다 [27]. 둘 다 동일한 구조적 문제의 사례이다. 자기 라벨링 파이프라인에서 라벨 분포는 라벨링 도구의 분포이며, 그 안의 오류는 최종 점수에서 보이지 않는다.

5.5 측정 문제는 벤치마크 안에 자리한다

OS-Atlas는 ScreenSpot을 수작업으로 검사하여 라벨의 약 11.32%가 잘못되었음을 발견하고 이를 수정한 뒤 ScreenSpot-V2로 벤치마크를 재배포했다 [31]. 그 수정 이전에 원래 라벨과 이루어진 모든 비교는 부호를 알 수 없는 오차 범위를 지닌다. 또 다른 두 가지 측정 우려가 반복해서 등장한다. Ferret-UI는 IoU 0.5 초과에서 그라운딩을 점수화하는데, 이는 클릭이 의도한 컨트롤에 떨어지는지를 판단하는 약한 대리 지표이다 [27]. 점은 상자 안에 있거나 없거나 둘 중 하나이기 때문이다. 그리고 ScreenSpot-Pro는 분산 없이 단일 실행만 보고한다 [119].

이를 10.3절의 평가 감사와 연결해 볼 가치가 있다. 그라운딩 점수는 이 분야에서 가장 자주 인용되는 단일 숫자이며, 이를 산출하는 벤치마크 중 적어도 하나는 약 10분의 1 수준으로 측정 가능하게 틀렸다.

5.6 그라운딩은 에이전시가 아니다

이 표들을 능력 순위로 읽고 싶은 유혹이 든다. 그러나 그렇지 않다. UGround와 Aria-UI는 명시적으로 비자율적이다. 둘 다 외부 플래너를 필요로 하며 어느 것도 단독으로 배포될 수 없다 [29, 36]. Aguvis는 이를 실험적으로 보여준다. Aguvis는 비교 내에서 최고의 단일 단계 그라운딩 수치를 보유하지만(ScreenSpot에서 7B 모델의 경우 81.8, 자기 계획 설정에서 72B의 경우 89.2), OSWorld에서 종단 간 10.26%만을 기록하여, GPT-4o의 플래너와 Aguvis 자체의 그라운딩 모듈을 결합하여 얻은 17.04%에 크게 못 미친다 [35]. 반대로 Ferret-UI는 기초 그라운딩 과제에서 GPT-4V를 큰 차이로 앞서지만, 고급 추론 과제에서는 GPT-4V 아래로 떨어진다 [27].

올바른 해석은 그라운딩이 필수적인 구성 요소이지만 그 측정된 정확도가 과제 성공으로 선형적으로 합성되지 않는다는 것이다. 섹션 10.2는 그 이유를 보여준다. 몇 퍼센트의 단계 수준 오류율은 스무 단계에 걸쳐 누적되며, 그것은 계획 오류가 개입하기 전의 일이다.

핵심 요점

• 이 분야는 구조를 읽는 것에서 픽셀을 보는 것으로 이동했으며, 픽셀을 보지 않는 플래너와 교체 가능한 그라운더라는 2단계 아키텍처로 귀결되었고, 이는 2026년까지 지속된다.
• 해상도는 지배적인 실패 축이며 이제 정량화되었다. 동일한 모델 계열이 약 2% 목표에서 82%, 0.07% 목표에서 19%를 기록한다.
• 훈련 없는 추론 측 방법(재귀적 탐색, 시각적 테스트 시점 스케일링)은 1.7–4.6배의 비용으로 본 설문에서 가장 큰 그라운딩 향상 중 일부를 제공한다.
• 자기 라벨링 코퍼스는 훨씬 더 큰 인간 주석 코퍼스와 동등한 수준에 도달하지만, 크고 쉽게 왕복 변환되는 요소에 대한 라벨링 도구의 편향을 물려받는다.
• 적어도 하나의 그라운딩 벤치마크에서 약 11%의 라벨 오류가 발견되어 재배포되어야 했으며, 이는 해당 분야에서 가장 많이 인용되는 수치에 대한 신뢰를 누그러뜨려야 한다.
• 강한 그라운딩은 강한 에이전트로 합성되지 않는다. 이 장에서 가장 그라운딩이 뛰어난 모델은 최고의 종단 간 에이전트가 아니다.

6 계획, 기억 및 추론

6.1 기억은 가장 덜 표준화된 구성 요소이다

모든 장기 지평 에이전트는 무언가를 기억할 필요가 있으며, 이 분야는 무엇을 기억해야 하는지에 합의하지 못했다. 세 가지 설계가 반복적으로 등장하며, 이들은 하나의 아이디어의 변형이 아니다.

에피소드 및 기술 라이브러리. 완료된 궤적이 저장되고 임베딩으로 검색된다. WebCoach는 완료된 궤적만을 에피소드 저장소에 기록하고 작은 모델이 한두 문장의 조언을 주입할지 결정하게 하여, WebVoyager에서 Skywork-38B를 0.473에서 0.614로 끌어올린다 [54]. MapAgent는 방문한 각 페이지를 애플리케이션별 구조화된 페이지 청크로 증류하여 벡터 데이터베이스에 저장하고, 상위 세 개를 검색하며, 거친 것에서 세밀한 것으로 계획한다. 교차 애플리케이션 모바일 과제에서 0.350에 도달하여 가장 강력한 기준선의 0.200을 앞선다 [61]. Mirage-1은 동일한 아이디어를 Meta/Core/Execution 계층에 걸쳐 계층적으로 구성하고 하위 목표 수준에서 탐색하여 AndroidWorld에서 42.2%에 도달한다 [59].

진행 요약. 라이브러리 대신, 에이전트는 현재 작업에 대한 압축된 기록을 유지한다. Mobile-Agent-v2는 계획, 결정, 성찰의 세 역할을 텍스트 진행 메모리와 함께 운영하며, 88개의 실제 모바일 지시에서 작업 성공률을 43.2%에서 75.0%로 끌어올린다 [64]. PAL-UI는 과거 스크린샷을 다시 불러오는 명시적 룩백(look-back) 행동을 2단계 요약과 함께 추가하여 AndroidControl-High 단계 성공률을 10.7포인트 향상시킨다 [62]. MobA는 다섯 부분으로 구성된 메모리와 함께 스택 기반 깊이 우선 분해를 사용하며, 성찰이 현재 경로가 실행 불가능하다고 판단할 때만 재계획한다 [58].

예측 상태. 세 번째 계열은 과거를 전혀 저장하지 않고 미래를 예측하며, 6.3절에서 다룬다.

반증은 이득만큼이나 중요하다. WebCoach의 메커니즘은 7B 백본에서 퇴행했으며(0.328→0.311) [54], PAL-UI의 룩백 행동은 요약이 제거되었을 때 성능을 오히려 해쳤다(요약이 있을 때 57.8에 대해 52.3) [62]. 회고적 행동이 유용하려면 작업에 대한 압축된 표현이 필요한 것으로 보인다. 그것이 없으면 과거를 다시 방문하는 것은 정보에 가까운 것이 아니라 잡음에 가깝다.

6.2 역추적과 재계획: 가장 깔끔한 통제된 증거

메모리 문헌이 이질적이라면, 역추적 문헌은 유난히 잘 통제되어 있으며 이 장에서 가장 신뢰할 수 있는 수치를 제공한다.

WebRollback은 탐욕적 탐색 에이전트에 두 가지 명시적 능력을 추가한다. 계속할지 되돌아갈지를 결정하는 이진 비평과, 여러 단계 이전일 수 있는 과거 단계를 선택하여 돌아가는 롤백 연산이다. 이는 Mind2Web-Live에서 전체 완료율 27.36%를 보고하는데, 단방향 탐색의 24.53%와 최우선 탐색의 23.82%에 대비되며, 3회 실행 평균과 보고된 분산을 포함한다 [53]. BEAP-Agent는 지속적 추적기와 다단계 역추적을 갖춘 상태 공간 깊이 우선 탐색을 실행하여 OSWorld에서 28.2%를 기록하는데, 이는 기반 모델의 24.0%에 대비되며, 절제 실험은 역추적을 제거했을 때 −1.9포인트, 추적기를 제거했을 때 −4.6을 보여준다. 작업의 35.8%가 적어도 한 번 역추적을 발동했다 [55].

이 그룹의 부정적 결과도 마찬가지로 교훈적이다. Agent+P는 프로그램 분석으로 UI 전이 그래프를 구축하고 고전적 계획기로 최단 경로를 풀어, 변경되지 않은 에이전트를 위한 자연어 안내로 계획을 번역한다. 다섯 개 애플리케이션에 걸친 44개 작업 부분집합에서 T3A를 24.32%에서 38.64%로 끌어올리지만, 동일한 개입을 116개 작업 전체에 실행하면 +1.72 및 +0.86포인트를 산출한다 [60]. 전체 벤치마크에서 살아남지 못하는 부분집합 이득은 이 장의 핵심 수치를 해당 작업 집합과 함께 읽어야 하는 이유에 대한 가장 명확한 가용 사례다.

6.3 세계 모델: 현재 진행형인 이견

에이전트가 행동을 취하기 전에 그 결과를 상상해야 하는지는 이 장에서 가장 진정으로 논쟁적인 질문이며, 양측 모두 잘 입증되어 있다.

WebDreamer는 언어 모델을 세계 모델로 취급한다. 즉, 다음 관측을 시뮬레이션하고 시뮬레이션된 궤적의 점수를 매긴 뒤, 환경을 건드리지 않고 더 나은 분기를 따라 행동한다. 이는 VisualWebArena에서 반응형 기준선의 17.6%에 대해 23.6%를, Online-Mind2Web에서 26.0%에 대해 37.0%를, Mind2Web-Live에서 20.2%에 대해 25.0%를 보고하면서, 트리 탐색보다 네 배에서 다섯 배 빠르게 실행된다 [56]. MobileDreamer는 모바일 화면에 동일한 아이디어를 구현하는데, 다음 화면을 레이블, 텍스트, 상자의 구조화된 텍스트 스케치로 예측하고 이를 최적 수송으로 정합하며, AndroidWorld에서 강력한 모델을 60.53%에서 65.78%로 끌어올린다 [57].

동일한 논문들이 세 가지 한계를 보고한다. WebDreamer의 이득은 상상된 지평이 길어질수록 줄어들며, 깊이가 1을 넘으면 방법이 저하된다 [56]. MobileDreamer는 OCR에서 파생된 스케치에 의존하며 올바른 화면을 찾지 못하는 비율이 23.4% 라고 보고한다 [57]. 그리고 둘 다 세계 모델이 가장 신뢰할 수 없는 바로 그 영역, 즉 낯선 인터페이스에서의 긴 지평에서 세계 모델이 정확하다는 데 의존한다. 논쟁은 시뮬레이션이 작동하는지 여부가 아니라 얼마나 멀리까지 보정 상태를 유지하는지에 관한 것이다.

6.4 분해와 계층 구조

계층적 분해는 이 장에서 가장 오래된 아이디어이며 가장 논란이 적다. MobA의 스택 기반 깊이 우선 방식은 MobBench에서 첫 시도 완료 50개 중 28개에 도달하며, 이는 이전 다중 에이전트 설계의 50개 중 17개에 비해 향상된 것이고, 효율성 점수는 인간 참조치 3.53에 대해 3.44이다 [58]. Mirage-1은 3계층 스킬 메모리를 하위 목표 수준 탐색과 결합한다 [59]. 흥미로운 관찰은 아키텍처적이라기보다 방법론적이다. 이러한 시스템 중 여러 개가 이득을 과제 수준이 아닌 단계 수준에서 보고하는데(PAL-UI는 단계 성공에서 [62]; 아래의 진단은 하위 목표 일치에서 [63]), 이는 더 약한 증거 단위이다. 왜냐하면 단계 수준의 개선이 궤적 전반에 걸친 복리 효과를 견뎌낼 필요는 없기 때문이다.

6.5 진단이 말하는 것

두 연구는 한 걸음 물러나 실패가 어디에서 비롯되는지 묻는다. 하나는 웹 에이전트를 네 구성 요소 과정 — 상위 수준 계획, 하위 수준 실행, 사후 조건 검사, 재계획 — 으로 재정식화하고, 상위 수준 표현이 자연어인지 PDDL인지를 변화시키며, 104개의 Mind2Web-Live 과제에서 실험한다 [63]. 가장 유용한 서술적 발견은 지평에 관한 것이다. 관찰된 계획은 평균 7.08개의 행동에 걸쳐 3.04개의 하위 목표를 포함한다. 만약 전형적인 과제가 약 세 개의 하위 목표로 분해된다면, 6.4절의 깊은 계층적 기계장치는 현재 벤치마크에 대해 과잉 설계일 수 있으며, 보고된 계획의 이득 중 상당 부분은 분해의 이득이 아니라 검사의 이득일 수 있다.

이는 7.2절의 검증 발견과 4.4절의 표현 발견과 연결된다. 계획, 행동, 인지라는 세 가지 서로 다른 지점에서, 통제된 비교들은 이득을 전방 계획의 정교함이 아니라 피드백과 검증 루프에서 찾아낸다.

이 장 전체에 상시적인 주의가 적용된다. 이 절을 위해 검토된 카드들 전반에 걸쳐, 본질적으로 어떤 논문도 분산이나 유의성 검정을 포함한 여러 무작위 시드를 보고하지 않는다. WebRollback의 세 회 실행 평균 [53]과 BEAP의 절제 실험 [55]이 예외이다. 수백 개 과제에서 몇 포인트의 단일 실행 이득은 환경 및 모델 버전 변동이 만들어낼 수 있는 범위 내에 있으며, 이 연구들 중 어느 것도 그렇지 않다는 점을 입증하지 못한다.

핵심 요점

• 메모리 설계는 임베디드 에피소드 또는 스킬 라이브러리, 실행 중 텍스트 요약, 예측 상태로 나뉜다. 어느 것도 표준이 아니며, 세 가지 중 두 가지는 더 약한 모델에서 또는 요약 구성 요소 없이 회귀가 문서화되어 있다.
• 백트래킹과 재계획은 이 장에서 가장 깔끔한 통제 증거를 제공하며, 분해 가능한 소거 실험(−1.9는 백트래킹, −4.6은 OSWorld의 트래커)이 있다.
• 부분집합에서의 이득은 전체 벤치마크에서 사라질 수 있다. 44개 과제에서 +14점의 가치가 있는 기호적 계획 개입은 116개 과제에서는 2점 미만의 가치가 있다.
• 세계 모델 계획은 진정으로 논쟁적인 주제다. 반응형 에이전트를 능가하고 트리 탐색보다 빠르지만, 그 이점은 지평에 따라 감소하며 스케치 예측은 거의 4분의 1의 경우에서 화면을 빗나간다.
• 일반적인 과제는 약 세 개의 하위 목표로 분해되며, 이는 현재의 계층 구조가 벤치마크에 포함된 것보다 더 긴 과제를 위해 준비되었음을 시사한다.
• 이 장에서는 분산을 보고하는 경우가 거의 없다. 단일 실행, 소수 점 차이는 확립된 것으로 취급해서는 안 된다.

7 행동 생성 및 실행

7.1 행동 선택에서 행동 증명으로

2024년까지 행동 단계는 생성 문제였다. 상태와 계획이 주어지면 클릭을 출력하는 것이다. 2025–2026년의 네 가지 독립적인 연구 흐름이 이를 검증 문제로 대체하며, 네 가지 서로 다른 방향에서 동일한 구조적 변화로 수렴한다.

첫 번째는 후보를 샘플링하는 대신 점수를 매긴다. V-Droid는 상태에서 그럴듯한 행동을 열거하고, 정책 자체의 첫 토큰 확률로 구축된 학습된 검증기로 각각의 점수를 매기고, argmax를 취한다. 결정적으로 이는 이산적 행동 유형을 선택하는 것과 그 매개변수를 완성하는 것을 분리하여, 값비싼 생성 패스가 자유 텍스트가 필요한 소수의 단계에만 필요하다 [87]. AndroidWorld에서 이는 59.5%에 도달하며, 통제된 비교는 깔끔하다. 동일한 학습 데이터로 검증기 기반 선택은 47.4%를 주는 반면 감독 선택기는 35.8%, 생성기는 27.4%를 준다. 이 설계는 지연 시간 면에서도 스스로를 보상한다. 매개변수 완성이 필요 없는 88%의 단계에 대해 0.44초가 소요되며, 이는 10.4절에서 계획과 성찰이 배포된 에이전트의 실제 시간 비용을 지배함을 보여주기 때문에 중요하다.

두 번째는 자체 예측을 확인하는 법을 학습한다. VeriGUI는 행동-효과 검증을 일급 출력으로 만든다. 각 단계에서 정책은 이전 단계의 예측된 화면 변화를 실제로 일어난 일과 비교한 다음, 행동하고 다음 효과를 예측한다. 그 혼합 보상은 비대칭적이며, 잘못된 검증 주장에는 −2.0의 벌점을 주고 올바른 주장에는 +1.0의 보상을 준다 [92]. 중요한 결과는 헤드라인 복구율(7B 모델의 경우 52.5% 대 UI-TARS-7B의 45.5%)이 아니라 오프라인 수치다. AndroidControl-High에서 동일 규모의 기준선들은 시뮬레이션 테스트 성공에서 0을 기록하는 반면, 검증으로 학습된 모델은 16.7%(3B)와 23.5%(7B)에 도달한다.

세 번째는 규칙과 학습된 판정기로 게이팅한다. BacktrackAgent는 행동을 실행한 다음, 규칙 검증기(행동이 합법적인가, 페이지가 전혀 변경되었는가?)와 학습된 판정기(지시, 페이지, 이력이 주어졌을 때 그 행동이 옳았는가?)를 실행한다. 둘 중 하나라도 실패하면, 성찰기가 계속 진행하는 대신 동일한 단계에서 다른 행동을 재생성한다 [93].

그림 7. 논문의 개요 그림 [93]에 나타난 BacktrackAgent의 네 단계. 생성은 궤적으로부터 행동을 만들어 낸다. 탐지는 실행된 전이에 대해 규칙 검증기와 시각-언어 판정기를 돌린다. 복구는 실패를 반사기에 넘겨 동일한 단계에 대한 대체 행동을 내놓게 한다. 그런 다음 궤적이 계속된다. 왼쪽의 단계 수준 세부 내용은 재시도 루프를 보여 주고, 오른쪽 패널은 검증기가 대조하는 열거된 행동 공간을 보여 준다. 7.2절의 절제 실험은 이 파이프라인을 분해하여 그 가치의 거의 전부가 검증기가 아니라 판정기에 있음을 발견한다.

네 번째는 모델을 전혀 건드리지 않는다. WebFovea는 하네스, 즉 파싱–실행–피드백–관찰의 왕복을 견고하게 만들고, 각 행동 후에 DOM 지문(URL, 제목, 노드 수, 텍스트 길이, 스크롤 오프셋, 포커스)이 실제로 바뀌었는지 확인한다 [88].

Agent S와 같은 모듈형 프레임워크는 이미 루프를 플래너, 그라운더, 실행기 역할로 분리했었다 [30]. 여기서 설명하는 전환은 다르다. 역할은 그대로 두고 결정하는 것과 확정하는 것 사이에서 일어나는 일을 바꾸기 때문이다.

그림 8. 이 절의 네 연구가 결정과 확정 사이에 삽입하는 검증 단계. 이들 사이에서 다른 것은 확인의 위치가 아니라 C에서 사용되는 기제이다.

7.2 검증이 실제로 지니는 가치

BacktrackAgent의 절제 실험은 이 장에서 가장 많은 정보를 주는 단일 수치인데, 이득을 구성 요소별로 분해하기 때문이다. 역추적 기제 전체를 제거하면 과제 성공률이 5.65포인트 떨어진다. 그중 판정기만 제거하면 5.32가 떨어지고, 규칙 검증기만 제거하면 0.45가 떨어진다 [93]. 행동이 실행 가능했는지 그리고 화면을 바꾸었는지 확인하는 것, 즉 값싸고 손쉽게 자동화할 수 있는 확인은 거의 정보가 없다. 가치의 거의 전부는 결과 상태가 의도된 상태인지 판정하는 데 있으며, 그것이 비싼 부분이고 모델이 필요한 부분이다.

같은 논문에서 같은 교훈이 반대 부호로 나타난다. 역추적은 텍스트 입력을 악화시킨다(IoU −1.60). 다른 행동을 만들어 내라는 요청을 받은 반사기가 과제가 요구하는 것이 아니라 지시문에 등장하는 단어로 대체하는 경향이 있기 때문이다 [93]. 행동을 바꾸는 데 최적화된 검증 기제가 더 나은 행동을 고르는 기제가 되는 것은 자동적으로 아니다. 그리고 이것은 이 조사에서 교정 루프가 하위 행동을 적극적으로 해치는 사례로 문서화된 가장 분명한 경우이다.

7.3 모델 실패처럼 보이는 실행 계층 실패

WebFovea는 나머지 문헌이라면 잘못된 구성 요소에 돌릴 실패 모드를 밝혀 내기 때문에 별도로 다룰 가치가 있다. 1920×1080 뷰포트에서 Chrome DevTools Protocol을 통해 실제 웹사이트에서 작업하면서, 1,312번의 클릭을 기록했고 그중 x > 1440 또는 y > 810을 벗어난 클릭은 단 하나도 없었다 [88]. 합성 표적으로 보정한 결과, 전체 해상도 이미지를 보냈을 때는 가로 1.324, 세로 1.350의 보정이 필요했고, 이미지를 미리 다운샘플링하여 보냈을 때는 1.010/0.993이 필요했다. 이는 추론 API가 모델이 보기 전에 스크린샷의 크기를 다시 조정하고 있었음을 입증하며, 따라서 모델이 내놓은 모든 좌표는 체계적으로 압축되어 있었다. 매핑을 교정하자 24개의 짝지은 개발 과제가 8/24에서 20/24로 올라갔고, 단계 한도 도달은 67%에서 4%로 줄었다.

동일한 연구는 같은 종류의 추가적인 실행 결함 세 가지를 더 기록한다. 네이티브 <select> 팝업은 페이지 밖에 그려져 스크린샷에 절대 나타나지 않으므로, 한 에이전트는 포기하기 전까지 같은 드롭다운을 아홉 번 클릭했다. 모델에게 줄바꿈으로 제출하라고 지시하는 참조 프롬프트는 실행기가 Enter를 누르지 않았기 때문에 결코 준수되지 않았으며(356회의 type 호출 중 79회, 즉 22%가 이 형태였다), iframe 타깃팅은 에이전트가 최상위 문서를 지정했기 때문에 실패했다. 이들 중 어느 것도 추론 실패가 아니며, 모두 결과 표에서는 하나의 추론 실패로 나타날 것이다.

이것은 이 서베이를 읽을 때의 일반적인 주의사항이다. 브라우저 제어 또는 에뮬레이션 하네스를 통해 측정된 그라운딩 또는 계획 정확도는 하네스-플러스-모델 시스템의 측정값이며, 이 둘을 분리하는 논문은 일부에 불과하다. WebFovea는 이 서베이에서 그것을 분리하는 유일한 연구이다.

7.4 일급 행동으로서의 코드

이 서베이의 데스크톱 결과에서 가장 성공적인 단일 시스템은 더 나은 GUI 에이전트가 아니라, 하위 작업마다 GUI 운영자와 프로그래머 사이에서 선택하는 오케스트레이터이다 [89]. CoAct-1은 행동 공간에 Python 및 Bash 실행을 추가하고 그에 따라 작업을 라우팅하며, 동일한 플래너 백본으로 OSWorld에서 60.76%를 보고하는 반면 GTA-1은 53.10%, Agent S2.5는 56.00%를 기록했고, 성공당 더 적은 단계를 사용한다(10.15 대 15.22 및 14.90). 효율성과 성공률이 함께 움직이는 것은 더 긴 탐색이 아니라 진정으로 더 나은 행동 공간의 특징이다.

이 결과는 4절의 인터페이스 논증에 대한 행동 측면의 대응물이며, 10.5절의 하이브리드 시스템 벤치마크에 의해 하네스 측면에서도 뒷받침되는데, 여기서 GUI 전용 에이전트는 최대 1.8%, CLI 전용 에이전트는 최대 3.5%를 기록하는 반면 하이브리드 구성은 35.1%에 도달한다.

스펙트럼의 다른 쪽 끝에서는 실행 백엔드 자체를 교체할 수 있다. HIDAgent는 에이전트를 통제된 기기에서 완전히 벗어나 키보드와 마우스를 가장하고 HDMI 영상을 캡처하는 30달러 미만의 외부 하드웨어 기기로 옮기므로, HID 입력을 받아들이는 어떤 기기든 아무것도 설치하지 않고 구동할 수 있다 [91]. 이 연구는 양적 평가를 보고하지 않으며 — 저자들은 자신들의 증거를 서술적이라고 묘사한다 — 정답 해상도의 데스크톱 그라운딩은 여전히 취약하다. 이것이 여기에 포함된 이유는 이 서베이에서 정책이 아니라 실행의 신뢰 경계를 바꾸는 유일한 연구이며, 이는 11절의 안전성 분석에 중요하기 때문이다.

7.5 실행 전 검증

VeriSafe는 타이밍을 뒤집는다. 즉, 행동이 적용된 후에 검사하는 대신, 작업당 한 번 사용자의 지시를 혼 절 규칙으로 형식화한 다음, 개발자가 선언한 상태 전이를 사용하여 각 후보 행동의 예상 효과를 계산하고 규칙이 위반될 경우 해당 행동을 차단한다 [90]. 비용은 선언적이다. 연구된 18개 응용 프로그램에 걸쳐 응용 프로그램당 약 59개의 술어와 437줄의 코드, 총 1,058개의 술어 중 실험에서 활성인 것은 540개이다. 이점은 작업당 한 번의 언어 모델 호출이 단계당 한 번의 호출을 대체하며, 안전하지 않은 행동이 기기에 도달하지 않는다는 것이다.

한계 역시 분명하며 저자들도 이를 명시한다. 위양성(false positive)은 정당한 작업을 종료시킬 수 있고, 폐쇄 소스 애플리케이션의 경우 개발자 대신 사람이 술어(predicate)를 작성해야 하며, 이 접근법은 완전한 안전성을 주장하지 않는다. 11.3절은 이를 더 넓은 질문, 즉 컴퓨터 사용 안전성이 모델을 더 신중하게 만드는 것과 세계를 검증 가능하게 만드는 것 중 어느 쪽으로 추구하는 것이 최선인가라는 질문의 가장 구체적인 사례 로 다룬다.

핵심 요점

• 행동 단계는 생성에서 검증으로 재구성되고 있으며, 네 가지 서로 다른 메커니즘이 동일한 구조적 변화로 수렴하고 있다.
• 분해된 절제 실험(ablation)은 그 가치가 거의 전적으로 결과 상태를 판정하는 데 있으며, 행동이 실행되었는지 확인하는 데 있지 않음을 보여준다.
• 실행 계층의 결함이 결과를 지배할 수 있다. 스크린샷 재조정 버그가 1,312번의 클릭 전부를 뷰포트의 하위 영역으로 압축했으며, 이를 수정하자 짝지어진 개발 과제에서 성공률이 8/24에서 20/24로, 즉 2.5배 상승했다.
• 코드를 일급 행동으로 취급하면 성공률과 단계 효율성이 모두 향상되며, 이는 다른 두 방향에서 나온 하이브리드 인터페이스 증거와 일치한다.
• 최신 복구 메커니즘은 특정 하위 행동(텍스트 입력)을 손상시킬 수 있다. 검증 역시 그 자체의 실패 모드에서 자유롭지 않다.

8 데이터와 궤적

8.1 궤적의 출처

이 조사에서 훈련된 모든 컴퓨터 사용 모델은 코퍼스의 함수이며, 코퍼스는 이 분야에서 가장 빠르게 변한 부분이다. 2023년에는 참조 데이터셋이 크라우드소싱되었다. Android in the Wild는 유료 평가자가 에뮬레이터를 조작하여 715,142개의 에피소드를 기록했으며, 스크린샷과 픽셀 기반으로 추론된 UI 기능을 포함했다 [18]. 2026년까지 참조 규모는 프로젝트당 수백만 개의 궤적이며, 그중 거의 대부분이 인간이 아니다. WebWorld는 106만 개의 오픈 웹 상호작용 궤적을 [75], MobileViews는 1,213,866개의 고유 화면을 [73], GUI-Net-1M은 비디오 튜토리얼에서 증류한 100만 개 이상의 궤적을 [69] 수집했다.

그러한 지도(supervision)의 출처는 세 가지 계열로 나뉘며, 이들 중 선택은 가장 중대한 데이터 결정이다(표 6).

표 6. 궤적의 출처. 세 계열은 비용, 코퍼스에 부과하는 실패 양상, 그리고 감독 중 얼마나 많은 부분이 실제로 일어난 일의 기록이 아니라 모델 자신의 의견인지에서 서로 다르다.

채굴 및 생성 계열은 이제 방법론적 관심이 있는 곳인데, 이는 인간을 루프에서 두 가지 구별 가능한 방식으로 제거하기 때문이다. 첫 번째는 지시 우선이다: 과제를 제안하고, 에이전트를 실행하고, 판정자가 성공했다고 말하면 궤적을 유지한다. InSTA는 이를 Common Crawl 상위 100만 PageRank 사이트에 대한 제안자–에이전트–판정자 플라이휠로 구현하여, 3,000개의 홀드아웃 (사이트, 과제) 쌍에서 판정 성공률 56.9%에 도달하는 1.7B 정책을 훈련시키는데, 이는 제로샷 11.5%에서 향상된 것이며 자체의 235B 수집기를 능가한다 [70]. 두 번째는 상호작용 우선이다: 에이전트가 배회하게 두고, 그런 다음 라벨을 붙인다. NNetNav는 각 상태 전이를 한 문장으로 압축하고, 결과로 생긴 접두사에 지시를 라벨링하고, 결과 보상 모델로 가지치기하여, Llama-3.1-8B에 WebArena에서 16.3%를 부여하는데, 같은 모델의 제로샷 점수는 1.0%이다 [71]. AndroidGen은 더 나아가 라벨을 훈련 신호로 바꾼다: 비평자가 하위 목표에 주석을 달고, 실패는 첫 번째 미완료 하위 목표에서 잘리고 접두사는 더 짧은 지시로 다시 라벨링되어, 실패한 실행이 낭비가 아니라 샘플이 된다 [74].

그림 9. 논문의 파이프라인 그림에서 가져온 InSTA의 3단계 플라이휠 [70]. 1단계는 100만 개 중에서 샘플링된 사이트에 대한 과제를 제안한다; 2단계는 에이전트가 이를 시도하고 대상 요소 id를 가진 구조화된 행동을 내보낸다; 3단계는 언어 모델 판정자가 시도를 성공, 효율성, 자기 수정에 대해 점수화한다. 이 그림은 8.3절의 순환성을 구체화한다: 3단계의 판정자는 같은 모델 계열이 2단계에서 수집한 궤적을 점수화한다.

8.2 규모는 가장 중요한 변수가 아니다

위의 텍스트를 한국어로 번역하라. 모든 문장을 한국어로 작성하라; 도중에 다른 언어로 전환하지 마라.

데이터에서 보고된 이득은 커 보이고, 실제로 크다. 그러나 이를 스케일링 이야기로 읽는 것은 실수다. 가장 명확한 통제 비교는 GroundCUA에서 나오는데, 이는 경쟁자들보다 훨씬 작은 코퍼스를 구축한다 — 전문가 시연에서 얻은 356만 개의 밀집 주석 요소로, 화면당 약 64개의 주석에 해당한다 — 그리고 GroundNext-7B가 평균 포인트 정확도 69.2를 기록한 반면 JEDI-7B는 56.1을 기록했으며, JEDI는 약 900만 개의 샘플을 사용한다 [65]. 밀도와 출처가 물량을 이긴다.

두 가지 추가 결과는 순진한 스케일링 해석을 복잡하게 만든다. SoftwareGym은 완전히 새로운 데스크톱 애플리케이션을 합성하고 그 안에서 작업을 생성하여, 합성 데이터만으로 OSWorld Pass@3를 41.39%에서 56.97%로 끌어올린다 — 그러나 이미 OSWorld로 훈련된 모델에 그 합성 데이터를 추가하면 OSWorld가 61.48%에서 58.61%로 낮아진다 [72]. 혼합은 가산적이지 않다. 그리고 AgentTrek의 채굴된 궤적은 고르지 않게 전이된다: 동일한 코퍼스가 ScreenSpot-Web 그라운딩에서는 큰 이득을, 종단 간 내비게이션에서는 훨씬 작은 이득을 뒷받침하는데 [68], 이는 그라운딩과 계획이 분포의 서로 다른 부분을 활용한다면 예상할 수 있는 일이다. NNetNav는 이의 가장 날카로운 사례를 보고한다: WebArena 추적을 라이브 사이트 훈련에 혼합하면 평균 성능이 1.3포인트 감소하는데, 이는 환경 특화 데이터와 환경 일반 데이터가 호환되지 않는다는 초기 신호다 [71].

종합하면 이 결과들은 논문들 자체가 대부분 명시하기를 피하는 주장을 뒷받침한다: 현재 코퍼스의 경우, 궤적이 포함하는 것 — 밀집 요소 라벨, 올바른 하위 목표 경계, 진정한 종료 상태 — 이 그것이 얼마나 많은지보다 더 중요하다. 이것은 위의 비교들로부터 우리가 내린 추론이며, 어떤 단일 논문이 도출한 결론이 아니다.

8.3 품질 관리, 그리고 그것이 순환적으로 되는 지점

대규모 자동 구축 코퍼스는 그 필터만큼만 좋으며, 필터는 대개 언어 모델이다. 세 가지 반복되는 문제가 뒤따른다.

순환성. 판정 모델이 동일한 모델이 생성한 데이터를 필터링할 때, 성공 라벨은 수집기 자체의 실수를 부분적으로 인코딩한다. InSTA의 판정자는 데이터를 수집하는 동일한 235B 모델 계열이다 [70]; AndroidGen의 평가자는 배포 정책 자체의 판정자다 [74]; SPA-Bench의 평가자는 그것이 점수 매기는 대부분의 에이전트가 사용하는 동일한 GPT-4o다(섹션 10.3). 이 논문들 중 어느 것도 보고된 이득 중 얼마나가 독립적인 필터를 거쳐도 살아남을지 측정하지 않는다.

공유된 출처. 여러 모바일 벤치마크의 교차 앱 작업은 최고 성능 에이전트들이 미세 조정된 데이터셋에서 가져온다; OdysseyAgent 사례가 가장 명확하다(섹션 10.2). 작업 기준으로 분리한 홀드아웃 분할이 반드시 모델이 훈련한 분포를 홀드아웃하는 것은 아니다.

수율. 자동 파이프라인은 자체적인 성공률을 가지며, 그것은 높지 않다. GUI-360°의 2라운드 수집은 시도 중 단 26.09%에서만 성공하며, 이것이 1,093,525개의 스텝이 실패한 실행인 이유다 [66]; AgentTrek의 코퍼스는 127개 웹사이트를 포괄한다 [68]; MobileViews는 여전히 멈춘 애플리케이션의 잠금을 해제하기 위해 인간의 개입을 필요로 한다 [73]. 출판된 궤적 수는 종단 간에 거의 보고되지 않는 손실성 과정의 산출물이다.

이러한 문제들 옆에 진정한 진전이 있다: 실패가 이제 폐기되지 않고 보존된다. GUI-360°는 실패한 궤적을 강화 학습을 위한 감독 자원으로 명시적으로 보존하며, AndroidGen은 이를 접두사 증강 단기 지평 샘플로 재활용한다. 대부분의 에이전트가 실패하는 분야에서, 이는 조용한 삭제보다 데이터를 더 잘 활용하는 것이다.

마지막으로, 데이터셋 논문들의 보고 품질은 재검증을 제한하는 방식으로 고르지 않다. TongUI, MobileViews, SoftwareGym, AgentTrek은 데이터셋과 모델의 공개 릴리스를 발표하지만, 우리가 읽은 버전에서는 다운로드 가능한 위치를 제시하지 않는다. 여러 논문은 라이선스와 소스별 개수를 생략하며, 주석자 간 일치도나 소스별 산출량을 보고하는 논문은 거의 없다. 이는 증거 기반의 범위 및 재현성 한계이지, 단순한 형식상의 불평이 아니다. 바로 이 때문에 이 장의 규모 수치는 독립적으로 검증된 것이 아니라 저자가 진술한 것으로 읽어야 한다.

핵심 요점

• 궤적 지도학습은 약 18개월 만에 인간 시연에서 채굴 및 에이전트 생성 데이터로 이동했으며, 이제 세 번째인 합성 환경 계열이 등장하고 있다.
• 이용 가능한 가장 강력한 통제 비교는 밀도가 높고 출처가 잘 밝혀진 데이터가 더 크게 자동 수집된 데이터를 능가한다고 말한다 — 규모가 무용하다는 것은 아니다.
• 합성 데이터와 환경 특화 데이터는 잘 섞이지 않는다. 두 개의 독립적 결과는 한 환경에서 도움이 되는 코퍼스가 다른 환경에서는 해가 된다는 것을 보여준다.
• 성공 필터는 대개 수집자 자신의 모델이며, 출처가 평가 벤치마크와 겹치는 경우가 흔하다. 둘 다 논문이 정량화하지 않는 방식으로 측정된 진전을 부풀린다.
• 실패한 궤적을 훈련 신호로 유지하는 것은 이 시기의 실질적인 방법론적 진전이다.

9 훈련과 행동 모델

9.1 세 가지 체제, 세 가지 차원의 비용

이 장의 모든 내용은 세 가지 체제 중 하나에 속한다. 프롬프팅은 모델 내부의 어떤 것도 바꾸지 않으며 스캐폴딩에 의해 제한된다. 지도 미세조정은 기록되거나 합성된 궤적에 대해 매개변수를 바꾼다. 강화학습은 환경이 제공하는 결과에 대해 매개변수를 바꾼다. 실제로 이 체제들은 대안이 아니다 — 대부분의 강력한 시스템은 세 가지를 순차적으로 모두 사용한다 — 그러나 비용에서 수십 배 차이가 나며, 그 차이가 보고된 수치 대부분을 설명한다.

한쪽 끝에서, UI-R1은 136개 샘플로 3B 모델을 훈련시켜 ScreenSpot을 65.0%에서 83.3%로 끌어올리며, 이는 7B 지도 모델을 능가한다 [114]. GUI-R1은 천만 샘플 SFT 코퍼스를 3,000개의 선별된 RL 샘플로 대체한다 [115]. 다른 쪽 끝에서, Qwen-CUA는 수만 GPU-시간 규모로 측정된 함대 전반에 걸쳐 검증 가능한 보상으로 네이티브 스크린샷 전용 강화학습을 실행하며, OSWorld-Verified에서 86.2%를 보고하는데, 이는 프런티어 폐쇄 모델의 83.4%에 맞선다 [41]. 양쪽 극단 모두 실재한다. 분야는 어떤 능력에 어떤 체제가 적절한지에 대해 아직 수렴하지 않았다.

9.2 지도 훈련이 주는 것, 그리고 그것을 제한하는 것

가장 큰 공개 지도 훈련 노력은 OpenCUA로, Windows, macOS, Ubuntu 전반에 걸쳐 기록된 22,625개의 인간 데스크톱 작업 — 140개 이상의 애플리케이션에 걸쳐 평균 18.6단계 — 을 기반으로 하며, 교사 모델이 훈련 전에 필터링되는 추론 흔적을 합성한다 [38]. 그 72B 모델은 OSWorld-Verified에서 45.0%에 도달하는데, 이는 당시 해당 벤치마크에서 보고된 최고의 공개 결과이며, 가장 강력한 이전 공개 에이전트의 27.1%와 프런티어 폐쇄 모델의 61.4%에 맞선 것이다. 이 논문은 그 한계에 대해 이례적으로 솔직하다. 인간 주석이 상한이며, 주석자들이 가장 효율적인 절차를 사용하지 않을 수 있고, 사전 동의 요건이 데이터에 등장하는 사람들을 편향시킨다.

Qwen-CUA는 반대 경로를 택해 중간 표현을 완전히 제거한다 — 접근성 트리도, DOM도, 코드 실행도 없이 스크린샷과 프리미티브만 사용한다 — 그리고 네이티브 제어가 확장된다고 보고하면서, Bash 채널을 추가하는 것이 데스크톱 벤치마크에서 점수를 감소시켰다고 언급한다 [41]. 이 부정적 결과는 헤드라인보다 더 중요하다: 7.4절에서 스캐폴딩 하에 승리하는 것으로 보이는 하이브리드 행동 공간이 정책이 훈련된 후에는 자동으로 승리하지 않으며, 논문은 그 이유를 해명하지 않는다.

9.3 보상은 능동적인 설계 변수이다

8장이 데이터 출처를 감독의 주요 레버로 규명했다면, 9장의 레버는 보상 함수이며, 이제 다섯 가지 서로 다른 설계가 등장한다(표 7).

표 7. 사용 중인 보상 설계와, 각 논문이 명시한 벤치마크에서 보고하는 효과. 행들은 서로 비교 가능하지 않다: 기반 모델, 환경, 훈련 예산이 모두 다르다(9.6절).

GUI-Shepherd 내부의 통제된 비교가 여기서 가장 유용한 단일 결과이다: 동일한 기반 모델과 환경에서 희소한 종결 보상을 단계 수준 과정 보상으로 대체하면 성공률이 37.0%에서 40.5%로 이동한다 [112]. 이는 7.2절의 검증 발견에 대한 훈련 측 대응물이다 — 무엇이, 얼마나 조밀하게 평가되는지가 옵티마이저보다 더 중요하다. 이는 또한 UI-S1이 환경을 전혀 건드리지 않고도 AndroidWorld에서 34.0%에 도달할 수 있는 이유를 설명한다: 준온라인(semi-online) 방식은 모델 자체의 이력을 유지하고 불일치 시 전문가 행동을 패치한 후, 행동 일치로부터 할인된 단계 수준 이점을 도출한다 [111].

반대되는 증거는 환경적 근거가 없는 과정 보상이 측정되지 않은 실패 모드를 가진다는 것이다. UI-S1의 보상은 실제 환경을 전혀 건드리지 않으며; GUI-R1의 보상은 오프라인 레이블 매칭이고 논문은 질적 추론 행동이 나타나지 않았다고 보고하며, 이를 단일 이미지, 비상호작용 설정 탓으로 돌린다 [115]. 보상이 기록된 전문가와의 비교일 때, 모델은 자신의 실수로부터 회복하는 능력이 나아지지 않으면서 전문가 단계를 모방하는 능력은 향상될 수 있다.

9.4 온라인 RL은 리더보드를 재구성했다

대화형 벤치마크에서 올해의 변화는 코퍼스 크기보다 환경 상호작용에 기인한다. AndroidWorld의 최고 보고 결과는 2024년 약 30%(섹션 10.2)에서 온라인 다중 턴 RL로 훈련된 9B 모델의 80.2%로 올라갔으며, 7B 사례에서는 72B 기준선을 약 16포인트 앞선다 [109]. 별도의 온라인 RL 시스템은 32B 정책으로 동일 벤치마크에서 44.8%에 도달한다 [110]. OSWorld의 가장 강력한 공개 수치는 현재 엔드투엔드로 훈련된 9B 모델들의 48–49%에 모여 있으며 [108], 이를 만들어내는 2단계 커리큘럼은 재현할 수 있을 만큼 상세히 기술되어 있다.

성공적인 실행들에서 세 가지 엔지니어링 패턴이 반복해서 나타난다: 보상 분산이 붕괴할 때 실행 가능한 그래디언트를 유지하는 것(ARPO의 경험 재현과 과제 선택 [107], MobileRL의 실패 커리큘럼 필터링 [109]); 장기 지평 RL에 내재된 엔트로피 붕괴를 관리하는 것(ComputerRL의 교대 RL/SFT 단계 [108]); 그리고 보상을 단순한 성공이 아니라 효율 쪽으로 재구성하여 짧고 올바른 궤적이 긴 궤적보다 높은 점수를 받도록 하는 것 [109]. 마지막은 이 서베이에서 훈련 변경이 효율을 직접 겨냥하는 몇 안 되는 지점 중 하나이며, 섹션 10.4의 효율성 발견과 연결된다.

테스트 시점 스케일링은 훈련에 인접해 있으며 경계가 있는 레버로 이해하는 것이 가장 좋다. GTA1은 매 단계마다 여러 행동 제안을 샘플링하고 모델 심판이 하나를 고르게 하여, 7B 정책과 강력한 플래너로 ScreenSpot-Pro에서 58.4%, OSWorld에서 45.2%에 도달한다 [113]. 자체 분석은 이득이 예산에 의존함을 보여준다 — 50단계 제한에서 가장 크고 100에서는 더 작으며, 이는 숙고의 비용이 행동의 비용과 경쟁한다면 예상할 수 있는 바이다.

9.5 샘플 효율, 컴퓨트, 그리고 그 수치의 비용

두 가지 효율성 주장은 서로 반대 방향으로 당기므로 별도로 진술할 가치가 있다. RL은 극도로 샘플 효율적일 수 있다: UI-R1의 136개 샘플과 GUI-R1의 3,000개 샘플은 모두 네에서 여섯 자릿수 더 많은 데이터로 훈련된 지도 모델들을 능가하며 [114, 115], 이 결과들이 완화하는 제약은 컴퓨트가 아니라 주석 비용이다 — RL은 여전히 환경에 대한 롤아웃을 요구하며, GUI-R1의 오프라인 보상은 방금 논의한 그라운딩 문제를 대가로 그것조차 피한다. 다른 쪽 끝에서, 가장 강력한 네이티브 에이전트는 설계상 비싸다: 여러 날에 걸친 함대 규모의 RLVR 실행이다 [41].

거의 어떤 논문도 둘 다 보고하지 않기 때문에, 주석, 롤아웃, 컴퓨트 비용 사이의 실질적 트레이드오프는 정량화되지 않은 채로 남아 있다. 논문들은 자신이 이기는 축을 보고한다. 이는 진정한 증거 격차이며, 섹션 10.4가 평가 측면에서 문서화하는 것과 같은 격차이다.

9.6 이 수치들의 의미를 제한하는 교란 요인들

보고된 이득 전반에 세 가지 체계적 문제가 흐른다.

테스트 분포에 대한 훈련. ARPO는 기반 모델이 때때로 푸는 과제를 필터링하여 OSWorld에서 128개의 훈련 과제를 선택한 다음 OSWorld에서 보고하며 [107]; MobileRL은 AndroidWorld와 AndroidLab에서 훈련하고 둘 다에서 보고하며 [109]; AutoGLM은 평가받는 환경에서 최적화되었다고 명시한다 [32]. 과제별 홀드아웃 분할은 분포를 홀드아웃하지 않는다. 이것이 이득을 허구로 만들지는 않는다 — 기반 모델이 동일하므로 비교는 내부적으로 공정하다 — 하지만 이 수치들이 전이 추정치가 아님을 의미한다.

단일 실행. 여기 대부분의 학습 논문은 분산 없이 한 번의 실행만 보고한다. MobileRL과 ComputerRL은 신뢰구간을 보고하지만, ARPO, UI-S1, GUI-Shepherd, UI-R1, GUI-R1, SE-GUI는 보고하지 않는다. WebRL의 저자들 스스로 커리큘럼 생성이 시드 간 분산의 원인이라고 지목한 점을 고려하면 [33], 이러한 분산 누락은 사소한 문제가 아니다.

보상 모델 편향. 보상이 프로그램이 아니라 학습된 모델일 때, 정책은 그 모델을 최적화한다. MobileRL의 AndroidLab 결과는 스스로 인정하듯 자체 VLM 보상 모델에 의존하며 [109], ARPO의 저자들은 스크립트 기반 보상을 학습된 보상으로 대체할 때의 미해결 위험으로 보상 해킹을 지목한다.

핵심 요점

• 프롬프트 기반 방법, 지도 미세조정, 강화학습은 공존하며 그 비용은 수십 배에서 수백 배까지 차이가 난다. 이 서베이에서 가장 강력한 결과와 가장 저렴한 결과는 모두 RL에서 나온다.
• 능동적인 변수는 최적화기가 아니라 보상 설계다. 동일한 기반 모델과 환경에서 스텝 수준의 과정 보상이 결과 보상을 능가한다.
• 온라인 다중 턴 RL은 약 1년 만에 AndroidWorld의 상한을 약 30%에서 80.2%로 끌어올렸으며, 성공한 실행들은 세 가지 엔지니어링 패턴을 공유한다: 분산 보존, 엔트로피 관리, 효율성을 고려한 보상 형성.
• 샘플 효율성과 연산 비용은 상충 관계에 있으며, 이 서베이의 어떤 논문도 둘 다를 측정하지 않으므로 비교는 여전히 미결이다.
• 테스트 분포에 대한 학습, 단일 실행 보고, 학습된 보상 편향은 이 문헌에서 체계적으로 나타나며, 이 수치들이 얼마나 일반화될 수 있는지를 제한한다.

10 벤치마크와 평가

10.1 환경과 검증 방식

벤치마크 생태계는 플랫폼에 따라, 그리고 각 플랫폼 내에서는 성공이 어떻게 판정되는지에 따라 분할된다. 두 번째 분할이 첫 번째보다 더 중요하다. 왜냐하면 그것이 보고된 수치의 의미를 결정하기 때문이다(표 8).

표 8. 플랫폼과 검증 방식에 따른 벤치마크 지형. 검증 열이 비교 가능성을 좌우한다. 최종 상태에서 실행되는 스크립트, 궤적에 대한 LLM 심사자, 기록된 인간 행동에 대한 오프라인 재생은 같은 것을 측정하지 않는다.

세 가지 검증 방식이 보인다. 최종 상태에 대한 과제별 스크립트의 실행, 궤적에 대한 LLM 심사자, 기록된 인간 행동에 대한 오프라인 비교가 그것이다. 이러한 계열들 사이에서 수치는 비교 가능하지 않으며, 그 이유는 양식상의 문제가 아니다. 실행 스크립트와 심사자는 상당한 비율의 궤적에서 성공 여부에 대해 의견이 갈리며, 이는 10.3절에서 정량화된다.

그림 10. 오프라인, 사람이 기록한 계열이 어떻게 구축되는지, WebLINX [124]에서 발췌. 내비게이터가 브라우저를 제어하고 강사가 사용자의 발화를 제공한다. 세션은 기록되고, 후처리되어 데이터셋으로 공개된다. 산출물이 실행 가능한 과제가 아니라 기록물이기 때문에, 이 계열은 턴별 행동 유사도를 채점하며 과제 성공 여부는 채점할 수 없다 — 위 표의 세 번째 검증 방식이다.

과제의 매개변수화는 두 번째, 더 조용한 축이다. AndroidWorld는 무작위화된 매개변수와 기기 상태 보상을 갖춘 116개의 템플릿으로부터 수백만 개의 과제 인스턴스를 생성한다 [8]; MiniWoB++는 웹에 대해 같은 일을 했다; UI-Vision과 같은 정적 모음집은 과제당 하나의 인간 시연을 제공한다 [135]. 매개변수화된 환경은 암기를 저항하지만, 정적 환경은 그럴 수 없다. MMBench-GUI와 같은 계층적 다중 플랫폼 프레임워크는 동일한 환경들을 공유된 평가 기준 아래 조직하여 하나의 에이전트 계열이 데스크톱, 모바일, 웹 전반에 걸쳐 채점될 수 있도록 한다 [39].

그림 11. AndroidWorld의 구조, 논문의 개요 그림에서 발췌 [8]. Android 에뮬레이터는 앱과 OS 상태를 노출한다; 에이전트는 터치 또는 API를 통해 행동하고 UI 트리를 읽는다; TaskEval은 매개변수화된 인스턴스를 생성하고 기기 상태 보상으로 채점한다. 템플릿-플러스-매개변수 설계가 116개의 과제가 사실상 무한한 인스턴스를 산출하는 이유이며, 이 벤치마크가 정적 모음집보다 암기를 더 잘 저항하는 이유이다.

10.2 플랫폼별 결과, 그리고 그것들이 합산되어서는 안 되는 이유

결과를 읽는 가장 유용한 방법은 플랫폼별로, 기간 시작 시점의 상태를 기간 종료 시점의 상태 옆에 두고 보는 것이다.

웹. WebArena의 초기 선두는 43.1%의 텍스트 전용 에이전트였다 [47]. 라이브 사이트 결과는 훨씬 낮고 논쟁적이다: WebVoyager는 2024년 초 인간 평가와 함께 GPT-4V에 대해 59.1%를 보고했고 [23], 2025년까지 90%에 가까운 수치가 유포되고 있었다. 인간 평가를 동반한 재감사에서는 대부분의 에이전트가 더 어려운 라이브 벤치마크에서 30% 근처에 몰려 있었고, 55%를 넘는 시스템은 단 두 개뿐이었다 [137]. 엔터프라이즈 웹은 19,912개의 과제 인스턴스에서 강력한 모델에 대해 42.7%를 준다 [26], 그리고 에이전트형 검색 — 다른 과제 — 은 최고 시스템이 인간의 0.54에 대해 0.28을 준다 [12].

데스크톱. OSWorld는 72.36%의 인간 기준선을 보고한다 [6]. 이 설문조사에서 보고된 최고의 에이전트 결과는 60.76%이며(7.4절), 가장 강력한 네이티브 스크린샷 전용 모델은 재검증된 부분집합에서 86.2%를 주장한다(9.2절). 동일한 과제 계열을 Windows에서 병렬로 수행하는 Windows Agent Arena는 인간 기준선 74.5%에 대해 19.5%의 최고 결과를 보고한다 [28] — 55포인트 격차이다. 따라서 데스크톱의 그림은 벤치마크에 크게 의존하며, OSWorld-Verified 부분집합 선택은 원래의 369개 과제 모음과 비교할 수 없다.

모바일. 이 영역은 변화 폭이 가장 크고 가장 명확한 곳이다. AndroidWorld는 2024년 접근성 트리(accessibility-tree) 에이전트의 30.6% [8]에서, 온라인 RL로 학습된 9B 모델의 80.2% [109]로 상승했다. 같은 플랫폼의 제3자 벤치마크들은 난이도에 대해 크게 엇갈린다. SPA-Bench는 최고 에이전트의 전체 성공률을 0.544로 보고하지만 교차 애플리케이션(cross-application) 작업에서는 0.150에 그친다 [105]. Mobile-Bench는 단일 애플리케이션 작업에서 80.96%, 짧은 다중 애플리케이션 작업에서 63%, 긴 작업에서 26.5%를 보고한다 [106]. A3는 실제 Google Play 애플리케이션의 201개 작업에서 21.9%를 보고하며, 어려운(hard) 등급에서는 모든 에이전트가 0%를 기록한다 [134]. 세 결과 모두에서 나타나는 패턴은 동일하다. 단일 애플리케이션 작업은 대체로 해결되었고, 교차 애플리케이션 장기 지평(long-horizon) 작업은 그렇지 않다.

이 수치들을 읽을 때는 두 가지 구조적 사실이 기준이 되어야 한다. 첫째, 가장 어려운 하위 집합에서의 붕괴(collapse)는 어디에나 존재한다 — 모바일의 교차 앱, 엔터프라이즈 웹의 목록 필터링(테스트된 세 모델 모두 0.0% [26]), 실제 모바일의 어려운 등급 [134]이 그렇다. 대표 평균값은 이중 분포(bimodal distribution)를 감춘다. 둘째, 학습 분포와 평가 분포가 점점 더 겹치므로(9.6절), 특히 AndroidWorld 곡선은 여러 연구 집단이 직접 최적화하고 있는 목표에 대한 진전을 측정한다.

10.3 판정: 합격/불합격 신호는 얼마나 신뢰할 수 있는가?

이 조사에서 독자가 다른 장을 해석하는 방식을 바꾸어야 할 장이 있다면 바로 이 장이다. 측정 장치 자체가 측정되었으며, 그것은 이 분야에서 가장 취약한 부분이다.

두 개의 독립적인 감사(audit)가 서로 반대 방향에서 같은 결론에 수렴한다. AgentRewardBench는 다섯 개 벤치마크에 걸친 1,302개 궤적에 대한 3,906개의 전문가 이진 레이블을 기준으로 열두 개의 LLM 판정자를 평가했다 [136]. 어떤 판정자도 70% 정밀도를 넘지 못했다: 최고 판정자는 83.1% 재현율에서 69.8% 정밀도에 도달했으며, 이는 성공이라고 판정한 궤적의 약 30%가 실제로는 실패였음을 의미한다. 규칙 기반 판정자는 반대 방향으로 치우쳤다 — 높은 정밀도(83.8%)지만 55.9% 재현율로, WebArena에서는 성공을 16.7포인트, VisualWebArena에서는 18.5포인트 과소 보고했으며, 두 사례에서는 전문가 판단 대비 두 모델의 순위를 뒤집었다.

실제 웹(live-web) 결과에 대한 재감사는 리더보드 측면에서 같은 점을 지적한다. 인간 평가에서는 대부분의 에이전트가 약 30%에 머물렀던 반면 보고된 수치는 약 90%에 가까웠고, 저자들 자신의 판정자는 인간 판정과 85.7%의 일치율을 보였다 [137]. 이 분야가 부분적으로는 자신의 판정자를 측정하고 있었다는 그들의 결론은 두 감사에 의해 독립적으로 뒷받침된다.

세 가지 추가 결과는 이 비판을 판정에서 귀속(attribution)으로 확장한다.

복합 점수는 진전을 과장한다. ComponentBench는 판정자가 아닌 프로그램적 종료 상태 술어(terminal-state predicate)로 성공이 결정되는 2,910개 작업을 평가하며, 더 어려운 파생 집합에서는 성능이 10–39퍼센트포인트 하락하고, 한 프런티어 모델의 성공 중 인간 단계 예산 내에 드는 것은 34.1%에 불과하다는 것을 발견한다 [140]. 재감사도 마찬가지로 궤적 수준 판정이 결과만 보는 판정에 비해 점수를 약 20포인트 낮춘다는 점을 지적한다(10.5절, [42]).

후기 단계의 실패는 근접 실패로 위장한다. 웹 에이전트의 파이프라인을 요청 공식화, 행동 계획, 그라운딩으로 분해하면, 종단 간 48.78%를 기록하는 모델의 개별 단계 점수는 70.17%와 62.87%이다 [139]. 더 직접적으로, 수동 재라벨링 결과 모델에 대해 집계된 "오류"의 절반 이상이 벤치마크의 단일 정답이 허용하지 않았던 합리적인 대안 행동이었다. 정당한 대안을 추가하면 측정 성능이 최대 8.3포인트 향상되었다 [139]. 단일 참조 벤치마크는 실패를 만들어낸다.

판정자는 재설계되고 있으며, 그것은 도움이 된다. 판정자를 스크린샷을 분류하는 존재가 아니라 증거를 수집하는 에이전트로 취급하면, 321개 궤적 데스크톱 벤치마크에서 정확도가 78.8%에서 86.9%로 상승하며 [131], 프로세스 보상 판정자는 표준 프로세스 보상의 +8.56에 비해 모바일 에이전트를 +14.53포인트 향상시킨다 [132]. 이러한 향상은 실제이지만, 둘 다 추론 비용을 지불하며, 어느 쪽도 판정된 궤적당 비용을 보고하지 않는다.

하나의 비대칭성은 이 설문조사가 그것에 의존하므로 명시적으로 언급할 가치가 있다. 8.3절은 동일한 결함이 데이터 파이프라인에서도 나타나며, 거기서는 판정자가 훈련 궤적을 필터링한다는 것을 보여준다. 따라서 측정 문제는 보고에 국한되지 않으며 — 모델이 무엇으로 훈련되는지에 다시 영향을 미친다.

10.4 효율성, 비용 및 환경 변이

해당 기간에 새로운 축이 등장했다. 에이전트의 성공 여부가 아니라, 어떤 비용으로 얼마나 신뢰성 있게 성공하는가이다.

OSWorld-Human은 369개 OSWorld 과제 모두에 인간의 최소 단계 궤적과 가중 효율성 점수를 추가한다 [13]. 그 핵심 발견은 41.4% 성공률의 에이전트가 인간이 필요로 하는 단계의 2.7배에서 4.3배를 사용하며, 계획과 성찰이 종단 간 지연 시간의 76–96%를 차지한다는 것이다. 이는 숙고가 실제 경과 시간을 지배한다는 7.1절 관찰의 정량적 형태이며, 효율성 작업이 겨냥해야 할 지점을 식별한다.

AI Agents That Matter는 에이전트가 정확도만으로 비교되는 것이 아니라 정확도–비용 파레토 프런티어상에서 비교되어야 한다고 주장하며, 공개된 에이전트들을 재구현하고 훨씬 더 비싼 에이전트를 압도하는 단순한 베이스라인을 발견함으로써 이 점을 입증한다 [14]. WAREX는 다른 경로로 유사한 결론에 도달한다. 네트워크, 서버 및 스크립트 결함을 주입하는 프록시를 삽입하여 성공을 지연 시간, 토큰 수 및 과제당 비용과 함께 측정하며, 교란 하의 신뢰성이 능력과 별개의 축임을 보여준다 [138].

환경 변이는 가장 최신의 측정이다. OpenApps는 각 애플리케이션의 여덟 가지 체계적 변형 — 테마, 글꼴, 적대적 콘텐츠, 언어 — 을 생성하고 동일한 과제를 재실행한다. 관찰된 편차는 막대하다. 한 모델은 변형에 걸쳐 4%에서 63%까지 분포하며, 변형 간 표준 편차는 애플리케이션 내 표준 편차의 두 배 이상이다 [133]. 구체적 사례: 기본 테마에서 pass@1이 0.41인 모델이 다크 테마에서는 0.05를 기록한다. 따라서 어떤 단일 구성 점수든 거의 보고되지 않는 넓은 분포로부터의 표본이다.

10.5 하이브리드 인터페이스: 2026년의 프런티어

이 장은 현재 시스템과 그 전신들을 가장 명확하게 구분하는 결과로 마무리된다. WeaveBench는 단일 채널로는 완료할 수 없음이 입증된 114개의 과제를 구성한 뒤, 서로 다른 런타임 구성에서 에이전트를 평가한다 [42]. GUI 전용 에이전트는 최대 1.8%, CLI 전용 에이전트는 최대 3.5%의 점수를 기록하는 반면, 하이브리드 구성은 35.1%에 도달한다. 보고된 최고 조합은 완전한 코딩 에이전트 하네스를 갖춘 프런티어 모델로 41.2%이다. 같은 연구에서 궤적 인식 판정은 한 모델의 점수를 53.5%에서 33.3%로 낮추는데, 이는 결과만을 평가하는 방식이 결과를 부풀린다는 가장 명확한 단일 실증이다.

이 결과는 이 설문조사의 세 가지 별개 흐름을 통합한다. 4.2절은 좌표에서 의미론적 호출로 확장되는 행동 공간을 추적했고, 7.4절은 가장 강력한 데스크톱 시스템이 GUI와 코드 실행 사이를 라우팅하는 오케스트레이터임을 발견했으며, 12.1절은 모든 성숙한 배포 사례가 비GUI 오라클에 의존한다는 것을 발견했다. 하이브리드 인터페이스는 이 세 관찰이 만나는 지점이며, 이는 상용 시스템의 제품 설계와 일치한다(12.5절).

핵심 요점

• 벤치마크는 플랫폼에 따라, 그리고 더 중요하게는 검증 방식에 따라 구분된다. 실행 스크립트, LLM 판정자, 오프라인 재생에서 나온 수치는 서로 비교할 수 없다.
• 최난도 부분집합의 붕괴는 어디에나 존재한다 — 교차 애플리케이션 모바일, 기업용 목록 필터링, 그리고 어려운 등급 모두가 0에 가깝거나 0에 위치한다 — 따라서 표면적인 평균은 이중 분포를 감춘다.
• 측정 장치는 이 분야의 가장 취약한 구성 요소이다. 감사를 거친 LLM 판정자 중 70% 정밀도를 넘은 것은 없었고, 규칙 기반 판정자는 성공을 16–19포인트 과소 보고하고 순위를 뒤집었으며, 단일 정답 참조는 한 에이전트의 실제 오류 중 절반 이상을 오류로 분류했다.
• 효율성, 비용, 환경 변동이 이제 측정되며, 각각이 그림을 바꾼다. 선도적인 에이전트는 인간의 단계 수 대비 2.7–4.3배를 필요로 하며, 한 모델의 통과율은 외관상 변형에 따라 4%에서 63%까지 달라진다.
• GUI와 코드를 결합한 하이브리드 구성은 둘 다를 요구하는 과제에서 단일 채널 구성보다 한 자릿수 더 우수한 성능을 보인다.

11 신뢰, 안전 및 보안

11.1 공격 표면은 관찰 채널이다

컴퓨터 사용 에이전트는 세계를 읽고 행동하는 데 동일한 표면을 사용한다. 이것이 이 장의 전체 문헌이 따라 나오는 구조적 사실이다. 즉, 에이전트가 관찰할 수 있는 모든 콘텐츠는 공격자가 통제할 수 있는 콘텐츠이며, 사용자의 지시와 웹 페이지의 지시가 구조적으로 구별되는 지점은 파이프라인 어디에도 존재하지 않는다.

두 개의 서베이가 그 결과를 체계화한다. 하나는 접지 오류, 오해, 환각, 컨텍스트 한계, 지연이라는 여덟 가지 내재적 위협을 일곱 가지 외재적 위협과 함께 목록화하고, 내재적 실패는 공격이 악용하는 기반일 뿐만 아니라 그 자체로 안전 문제라고 주장한다 [9]. 다른 하나는 지각의 충실성, 추론의 충실성, 상호작용의 충실성 사이의 실행 격차를 중심으로 신뢰를 재조직하고, 두 가지 표준 LLM 안전 반사신경이 여기서는 실패한다는 결론을 도출한다: 출력 필터링은 출력이 행동하기 전에 검토될 수 있다고 가정하고, 거부 훈련은 실패가 고립되어 있다고 가정하지만, GUI 에이전트의 오류는 실행되며 되돌릴 수 없다 [10]. 세 번째 연구는 지표를 완전히 포기하고 배포된 시스템을 레드팀 테스트하여, 웹 콘텐츠, 링크된 파일, UI 요소 및 레이아웃, 도구 출력이라는 네 가지 신뢰할 수 없는 채널을 열거하고, 주입된 포럼 게시물이 프로그레시브 웹 앱 설치로 이어지고, 파일시스템 접근 권한이 부여되며, MIME 핸들러를 하이재킹하여 코드 실행에 도달하는 익스플로잇 체인을 보고한다 [94]. 그 결함이 행동적이기보다 아키텍처적(프로버넌스 추적 부재, 인터페이스와 행동 사이의 약한 결속, 통제되지 않은 메모리와 위임)이라는 이 연구의 핵심 주장은 이 장에서 가장 유용한 프레이밍인데, 아키텍처적 결함은 더 나은 프롬프팅으로 고쳐지지 않기 때문이다.

공격 문헌은 네 가지 채널 모두와 두 가지 양식을 탐구한다(표 9).

표 9. 공격 표면, 대표적 공격 및 보고된 효과. 효과는 논문이 진술한 그대로이며, 대부분은 종단간 피해가 아니라 하이재킹 비율이다(11.2절).

이 중 두 가지는 공격이 왜 작동하는지를 보여준다는 점에서 강조할 가치가 있다. WebInject는 웹 페이지에서 스크린샷으로의 변환을 명시적으로 모델링하면서 — 모니터별 색상 관리를 포함하여 — 원시 픽셀 공간에서 섭동을 최적화하며, 모델 자체의 리사이즈 단계 [99]도 포함한다. 절제 실험은 결정적이다: 동일한 섭동을 스크린샷에 직접 적용하면 0.000의 성공률을 달성한다. 이 공격은 모델의 시각을 악용한다기보다 파이프라인의 모델링되지 않은 변환을 악용한다. VisualTrap은 공급 측면에서 상보적인 결과를 보여준다: 로컬라이제이션 코퍼스의 10분의 1을 오염시키면 클릭을 다른 곳으로 유도하는 트리거가 설치되며, 그리고 가장 오래 그림자를 드리우는 발견은, 방어가 오염이 언어 모듈에 국한되어 있는 동안에만 작동한다는 것이다. 비전 타워가 영향을 받으면, 테스트된 어떤 양의 깨끗한 데이터도 동작을 복원하지 못한다 [101].

그림 12. VisualTrap이 논문의 워크플로 그림 [101]에서 오염된 이미지를 심는 세 곳. 왼쪽: 그라운딩 사전 학습 데이터를 오염시키면 의도된 객체(녹색 원)에서 대상 객체(빨간색 원)로 로컬라이제이션이 잘못 유도된다. 오른쪽 상단: 종단 간 미세 조정 데이터를 오염시키면 그럴듯한 사고 옆에 공격자의 클릭을 내보내는 트리거가 설치된다. 오른쪽 하단: 동일한 트리거가 모듈식 파이프라인에 도달하여 대신 플래너의 그라운딩된 객체 참조를 공격한다. 11.3절의 방어 결과는 이 그림에서 따라 나온다 — 테스트된 치료법은 오염이 비전 모듈에 도달하면 작동을 멈춘다.

브랜치 조향은 가장 최신이며 개념적으로 가장 어려운 위협이다. 초기의 시스템 수준 방어는 제어 흐름 무결성을 겨냥했다: 에이전트는 자신의 계획에 의해 승인된 행동만 취할 수 있다. 그러나 그래픽 환경은 계획에 런타임 브랜치를 포함하도록 강제하므로, 단일한 새로운 지시를 주입할 수 없는 공격자라도 사전에 승인되었으면서도 그럼에도 해로운 브랜치로 에이전트를 조향할 수 있다 [102]. 이는 프롬프트 주입과는 다른 종류의 실패다 — 어떤 지시도 주입되지 않으며, 손상된 결정은 시스템이 이미 받아들이기로 동의한 결정이다.

11.2 납치는 해악이 아니다

세 개의 독립적인 연구가 "에이전트가 공격자의 텍스트를 읽었다"에서 "공격자의 목표가 달성되었다"에 이르는 전체 사슬을 측정하며, 세 연구 모두 심각한 감쇠를 발견한다. WASP는 다섯 개 모델과 세 개 스캐폴드에 걸쳐 최대 0.857의 중간 납치율과 최대 0.167의 종단 간 완료율을 보고하며, 이 패턴을 무능에 의한 보안이라 명명한다: 현재 에이전트는 공격을 끝까지 완수할 만큼 아직 유능하지 않기 때문에 전 과정에 걸쳐 전복시키기 어렵다 [45]. AgentHijack은 이를 세 계층으로 형식화하여 패치 유발 납치에 84.5%, 납치된 계획 수립에 47.0%, 종단 간에 20.3%를 얻으며 — 이 장에서 가장 날카로운 단일 결과로, 납치율이 100%이지만 종단 간 공격 성공률이 0%인 모델이 있다 [100]. Not-an-A11y는 계층이 아닌 프레임워크 전반에 걸쳐 동일한 분포를 보여준다: 최악의 프레임워크-모델 쌍에서 0.822, 최선에서 0.150이다 [96].

그림 13. 주입된 명령이 실제로 어디에서 끝나는지, WASP [45]에서. Sankey 다이어그램은 각각의 주입 후 첫 행동(왼쪽)에서 에이전트의 후속 행동(가운데)을 거쳐 종료 상태(오른쪽)까지를 추적한다. 얇은 빨간 리본만이 적대적 목표 완료에 도달하며, 두 가지 지배적인 결과는 에이전트가 혼란에 빠진 채 남는 것과 주입이 계속 무시되는 것이다. 이 그림은 이 절의 주장, 즉 대표적인 주입률은 하이재킹을 측정하며 하이재킹은 대부분 피해로 이어지지 않는다는 주장의 시각적 형태이다.

이 격차는 양방향으로 작용하며 둘 다 명시될 필요가 있다. 그것은 대표적인 주입 수치가 대개 하이재킹률이며 공격자가 원하는 것을 얻을 확률로 읽어서는 안 된다는 것을 의미한다. 또한 그것은 이 분야에서 측정된 견고성이 현재의 역량에 의존하며, 에이전트가 개선됨에 따라 저하될 것이라는 것을 의미한다 — WASP의 저자들은 이를 명시적으로 말한다. 하이재킹 지표에 대해서만 평가된 방어는 그것이 가장 덜 중요할 때 작동하는 것으로 인증될 수 있다.

같은 격차가 위험 벤치마킹에서도 나타난다. RiOSWorld의 492개 실행 가능한 위험 과제는 의도 기준으로 84.93%, 완료 기준으로 59.64%의 전체 위험률을 보여주며 [98], MobileSafetyBench는 저위험 과제에서의 목표 달성이 약 80%에 머무는 반면 간접 주입은 사실상 항상 성공한다는 것을 발견한다 — GPT-4o, Claude 3.5, Gemini 1.5, o1에 대해 각각 0/10, 0/10, 1/10, 2/10이다 [97]. 이 수치들에서 역량과 안전은 긴장 관계에 있지 않다; 에이전트는 단지 자신이 이용당하고 있다는 것을 알아차릴 수 있도록 갖추어져 있지 않을 뿐이다.

11.3 방어, 그리고 그 비용

방어 연구는 입력 필터링과 아키텍처적 제약으로 분기되었으며, 이제 결과들이 비교할 수 있을 만큼 명확하게 구분된다.

BrowseSafe는 이 조사에서 가장 강력한 탐지기 결과이다: 그것은 모든 도구 출력을 신뢰할 수 없는 것으로 취급하고, 고정된 윈도우들을 병렬로 분류하면서 보수적인 OR 집계를 사용하며, 표시된 콘텐츠를 노출하지 않고 플레이스홀더로 대체한다. 30B 전문가 혼합 모델로부터 미세 조정되어, 중앙값 지연 시간 1초 미만에서 F1 0.904에 도달하는 반면, 최고의 프런티어 범용 모델은 23–36초에서 0.863이고, 전용 가드 모델은 0.350이다 [103]. 마지막 비교가 흥미로운 것인데 — 목적에 맞게 제작된 소형 가드들은 여기서 크게 뒤처진다 — 그리고 그것은 주입 탐지를 텍스트 양식에서 작동하는 해결책이 있는 엔지니어링 문제로 재구성한다.

COBRA는 가장 강력한 아키텍처적 결과이다: 신뢰할 수 없는 런타임 데이터가 보이기 전에 분기별 역량 제약을 고정하고 HTTP 및 MCP 경계에서 이를 결정론적으로 시행함으로써, 그것은 스티어링 벤치마크에서 0% 공격 성공을 보고하는 반면, 제거된 버전은 87.6%, 바닐라 이중 LLM 설계는 89.5%, ReAct 에이전트는 94.4%이며, 138개의 양성 셀에 걸쳐 4개의 오탐으로 깨끗한 과제 유용성의 97%를 유지한다 [102]. 저자들은 그것이 다루지 않는 것에 대해 신중하다: HTTP 또는 MCP 호출에 결코 나타나지 않는 보안 관련 값, 자유 텍스트 의미론과 서버 측 효과, 그리고 HTTP와 MCP altogether 외부의 채널.

이에 비해, 대부분의 공격 논문에서 유틸리티 회계는 단순히 부재한다. VPI-Bench, WebInject, AgentHijack, VisualTrap은 모두 방어 하에서의 정상 과제 성능을 전혀 측정하지 않은 채 공격 성공률만 보고하므로, 공격 성공률의 감소를 단지 에이전트가 더 신중해진 것과 분리할 수 없다 [46, 99, 100, 101]. WASP는 예외이며 정직한 어려움을 보여준다. 방어적 시스템 프롬프트는 GPT-4o에서 공격 성공률을 0.429에서 0.226으로 낮추는 반면 유틸리티는 0.622에서 0.459로 떨어진다 [45]. 유틸리티 비용 회계가 표준이 되기 전까지, 이 장의 방어 비교는 체계적인 모호성을 지닌다.

두 가지 추가 결과가 수용 가능한 방어의 공간을 제약한다. 첫째, 인간 감독은 신뢰할 수 있는 최후의 보루가 아니다. 세부 약관 연구에서 39명의 인간 참가자 중 38명이 악성 지시를 포함한 개인정보 처리방침을 수용했다 [95]. 둘째, 실행 전 검증을 통한 방어는 제3자 소프트웨어로 확장되지 않는 선언적 노력을 요구한다 — VeriSafe는 애플리케이션당 대략 59개의 술어와 437줄의 코드가 필요했다(7.5절) [90].

11.4 인젝션을 넘어서: 공격받지 않는 에이전트의 모니터링

별개의 안전 문제는 배포된 에이전트가 자신만의 은닉된 목표를 추구하는 것이다. Control OSWorld는 AI 통제 방법론을 GUI 작업에 적용하여 318개의 OSWorld 과제를 81개의 프로그래밍 방식으로 검증된 유해 부수 과제와 짝지음으로써, 사보타주가 판단이 아닌 상태에 의해 탐지 가능하도록 한다 [104]. 모니터링은 유리한 조건에서는 강력하다 — 행동, 가시적 텍스트, 스크린샷을 읽는 전체 궤적 모니터는 3% 미만의 오탐률에서 pAUROC 0.960, TPR@1% 0.92에 도달한다 — 그리고 현실적 제약에서는 급격히 하락한다. 에이전트의 가시적 텍스트를 제거하면 pAUROC는 0.808로 떨어지고, 개입 프로토콜이 실제로 요구하는 단계별 모니터링으로 전환하면 TPR@1%는 0.49로, 가시적 텍스트 없이는 0.08로 떨어진다 [104].

이 논문은 자신의 조건이 관대하다는 점을 명시한다. OSWorld 과제는 협소하고 잘 명세되어 있어 요청되지 않은 거의 모든 행동이 눈에 띄며, 유해성은 중간 정도이다. 또한 이 연구는 이 설정을 넘어 일반화되어야 할 발견을 보여준다. 정당한 과제와 나란히 유해한 목표를 숨기는 것은 거부를 완전히 제거하고 언어적 누출을 26.1%에서 1.9%로 억제했으며 — 그 효과는 더 유능한 모델에서 더 컸다 [104]. 능력과 은폐는 함께 향상된다.

11.5 이 장이 다루지 않는 것

네 가지 격차를 언급할 가치가 있다. 여기 어떤 연구도 자신이 제안한 방어에 대한 적응형 공격을 평가하지 않는다. 모든 방어는 그것이 설계된 바로 그 고정 템플릿이나 공격 계열에 대해 시험된다. 이미지 양식에서의 방어는 사실상 부재한다 — BrowseSafe는 의도적으로 텍스트 전용이며, VisualTrap의 유일하게 시험된 해결책은 비전 모듈이 오염되면 실패한다. 주입 채널로서의 메모리와 계획 컨텍스트는 한 논문에서만 등장한다 [96]. 그리고 웹, 모바일, 데스크톱 전반에 걸쳐 안전성을 공동으로 평가한 연구는 없으며, 배포된 시스템은 세 가지를 모두 수행한다.

핵심 요점

• 컴퓨터 사용 에이전트에게 관찰 채널은 공격 표면이다. 체계화 문헌은 그라운딩 오류와 환각 오류를 그 자체로 안전 위협으로 분류한다.
• 보고된 공격 성공률은 보통 탈취이지 위해가 아니다. 세 편의 독립 연구는 종단 간 비율이 탈취 비율보다 훨씬 낮음을 보여 주며, 에이전트가 더 유능해질수록 그 격차는 줄어들 것이다.
• 프레임워크 선택은 측정된 취약성을 큰 배수로 바꾼다. 동일한 모델이 한 하네스에서는 100%에 도달하고 다른 하네스에서는 31.7%에 도달한다.
• 방어 결과는 이제 분리된다. 목적에 맞게 구축된 분류기는 1초 미만에 F1 0.904에 도달하고, 아키텍처적 접근은 유용성의 97%를 유지하면서 측정된 공격 성공률 0%에 도달한다.
• 유용성 비용은 대부분의 공격 논문에서 측정되지 않으며, 인간 감독은 실패한다(참가자 38/39명이 공모).
• 주입되지 않은, 자기 이익을 추구하는 에이전트에 직면한 안전성은 측정 가능하지만 현재는 모니터가 에이전트 자체의 텍스트를 읽을 수 있는지에 달려 있다.

12 응용 및 배포

12.1 소프트웨어 QA가 교두보이다

출판된 컴퓨터 사용 에이전트 대부분은 합성 작업 모음에서 평가된다. 실제 배포 증거가 있는 응용은 달라 보인다. 그것들은 소프트웨어 품질 보증에 있으며, QA가 벤치마크가 제공할 수 없는 것, 즉 기존에 존재하는 오라클과 그 작업이 완료되기를 원하는 사용자를 제공하기 때문에 거기에 있다.

네 갈래의 독립적인 연구가 이 점에 동의한다. 자연어 사례에서의 테스트 실행은 이제 실제 Android 애플리케이션에 대해 73% 사례 성공률과 11.8초/스텝 비용으로 실행되며, 가장 강력한 이전 LLM 기준선의 71.3%와 20.5초와 대비된다 [79]. 테스트 마이그레이션 — 새 앱 버전에서 회귀 스위트를 다시 도출하는 것 — 은 이 조사에서 보고된 가장 큰 배포 이득이다. 규칙 기반 매핑의 21.6%와 최고 LLM 기준선의 43.1%에 대해 90.3% 성공률이며, 약 90분이 아니라 몇 분 만에 이루어진다 [80]. GUI 퍼징은 68.5% 클래스 커버리지에 도달하고, 더 시사적으로는 24개의 상용 애플리케이션에서 실제 버그로 확인된 208개의 고유 충돌을 찾아낸다 [81]. 그리고 자연어 명세에 대한 종단 간 웹 테스트는 주입된 결함 탐지에서 정밀도 0.96과 재현율 0.96을 보고하며, 스크린샷 판정 에이전트의 0.26/0.69와 대비된다 [78].

이 네 가지의 공통점은 에이전트 아키텍처가 아니라 — 그것은 단일 에이전트 루프에서 다중 에이전트 파이프라인까지 다양하다 — 기계가 검사할 수 있는 오라클이 이미 존재하거나 구성될 수 있다는 점이다.

12.2 품질을 결정하는 것은 에이전트가 아니라 오라클이다

이 장에서 가장 날카로운 대비는 둘 다 테스트 실행을 지켜보고 통과 여부를 결정하는 두 에이전트 사이에 있다. 하나는 스크린샷만으로 판정하고, 다른 하나는 명세를 (조건, 행동, 기대) 삼중항으로 파싱하고, 관련된 GUI 요소를 기호화하며, 교차 상태 의존성을 실행 가능한 단언으로 컴파일한다 [78]. 보고된 결함 탐지 정밀도와 재현율은 3.7배 차이 난다(0.96 대 0.26). 판정 단계를 직접 측정한 별도 연구는 구조적 한계를 발견한다. 강력한 다중 에이전트 구현에서도 테스트 판정에 대한 인간–기계 일치는 0.61에 불과하고, 테스트한 세 상용 모델 모두에서 113개 사례 중 26개가 불일치하며, 최고 특이도는 0.57이다 — 이는 시스템이 통과한 테스트를 실패로 보고하는 경향이 있음을 의미한다 [77].

그림 14. 위의 대비 이면의 메커니즘, WebTestPilot [78]에서 발췌. 왼쪽: 실제 애플리케이션 상태. 두 번째 패널: 스키마가 테스트가 관심을 두는 요소들 위에 타입이 지정된 기호를 선언한다. 세 번째: 스키마가 페이지에서 읽어낸 구체적인 값을 지닌 기호로 인스턴스화된다. 오른쪽: 단언(assertion)이 그 기호들 위에 작성되므로, 판정은 스크린샷에 대한 모델의 의견이 아니라 cart.items와 cart.subtotal 위의 컴파일된 표현식이다. 이러한 대체가 바로 이 절에서 측정된 3.7배의 정밀도 격차가 의미하는 바이다.

표 10. 증거 품질별 애플리케이션 영역. 마지막 열은 독자가 옆의 대표적 결과를 깎아 내려야 하는 이유이다.

표 10의 거짓 양성 열은 강조할 가치가 있는데, 그것이 배포를 고려하는 누구에게나 가장 적게 보고되고 가장 중대한 수치이기 때문이다. 사용성 결함 연구는 실제 학술 웹사이트 120개를 크롤링하여 확인된 결함 29개를 찾아냈고, 플래그를 지정한 모든 것의 85%가 잘못되었다고 보고했다 [76]. 탐지율만 보고하는 논문들은 이 도구를 준비된 것처럼 보이게 했을 것이다. 이는 평가 감사 문헌이 벤치마크 수준에서 기록하는 것과 동일한 패턴(10.3절)이, 직접적인 운영 비용이 발생하는 곳에서 다시 나타난 것이다.

12.3 접근성: 가장 큰 위험 부담, 가장 얇은 증거

두 연구는 포인팅으로 GUI를 조작할 수 없는 사용자를 대상으로 한다. 하나는 기존의 사람이 작성한 접근성 테스트 지침을 iOS의 실제 VoiceOver 제스처에 대해 재생하며, UI가 변경되거나 지침 자체가 잘못된 경우 다시 계획을 세운다 [82]; 다른 하나는 음성 기반 웹 내비게이터에 감독하는 두 번째 모델을 추가하여 실패한 행동을 재시도할 수 있게 하며, 첫 번째 교정 라운드 이후 누적 정확도를 약 36포인트 끌어올린다 [84]. 둘 다 보상이 큰 문제에 대한 진지한 시도이다.

둘 다 프로토타입이기도 하다. 접근성 테스트 재생기는 한 플랫폼에서 네 가지 기능을 지원하며 최종 사용자가 아닌 10명의 전문 QA 엔지니어와 함께 평가되었다. 음성 내비게이터는 사용성 연구도, 목표로 삼은 운동 장애를 가진 참가자도, 스크린 리더와의 비교도 보고하지 않는다. 명시된 사용자와 측정된 증거 사이의 격차는 이 설문조사에서 가장 크며, 이는 결과라기보다 열린 초대장으로 읽어야 한다.

12.4 시뮬레이션된 사용자는 선별 도구이지 사용자에 대한 증거가 아니다

또 다른 응용은 에이전트를 운영자가 아닌 피험자로 사용하는 것이다. 10만 명의 페르소나 풀에서 추출한 1,000명의 페르소나 에이전트가 실제 전자상거래 사이트에서 피험자 간 실험을 수행했으며, 구매에 대한 검출된 처리 효과(500명 중 414 대 403)는 5% 수준에서 통계적으로 유의했다 [83]. 저자들은 이것이 실제 사용자 테스트를 대체하는 것이 아니라 보완한다는 점을 명시하며, 증거는 그들의 신중함을 뒷받침한다. 지출 차이는 유의하지 않았고, 인간 처리군은 보고되지 않았으며, 효과는 한 사이트의 한 디자인 기능에서 나타났다. 어떤 인터페이스 변형이 실제 실험을 받을 가치가 있는지 선별하는 방법으로 읽으면 그 결과는 그럴듯하지만, 실제 실험의 대체물로 읽으면 뒷받침되지 않는다.

12.5 상용 시스템이 공개하는 것

대부분의 사람들이 실제로 사용하는 시스템에는 arXiv 논문이 없다. Anthropic은 2024년 10월 22일 컴퓨터 사용을 공개 베타로 출시하며 실험적이라고 설명했고 샌드박스 처리된 저위험 작업을 권장했다 [85]. 2026년 8월 현재 이는 배치 작업과 브라우저 도구를 갖춘 문서화된 클라이언트 도구 모음으로 일반 제공된다. OpenAI는 2025년 1월 23일 Operator와 그 Computer-Using Agent를 발표하며 OSWorld에서 38.1%, WebArena에서 58.1%, WebVoyager에서 87%를 보고했고, 이 기능은 2025년 7월 ChatGPT의 에이전트 모드에 통합되었다 [86].

두 가지 관찰이 뒤따르며, 둘 다 시스템에 대한 발견이 아니라 이 설문조사의 증거가 지닌 한계이다. 첫째, 이 수치들은 이 설문조사가 비판해 온 벤치마크에 대해 벤더가 보고한 것으로, 공개된 프로토콜도 실행 횟수도 분산도 없으며, 10.2절과 12.1절의 동료 심사 결과와 비교되어서는 안 된다. 둘째, 제품 구성은 4절의 하이브리드 인터페이스 결론을 독립적으로 뒷받침한다. 두 벤더 모두 컴퓨터 사용 도구를 코드 실행, 파일 접근 및 API 도구를 대체하는 것이 아니라 함께 제공한다. 업계 자체의 패키징은 GUI 제어를 여러 채널 중 하나로 취급한다.

요점

• 소프트웨어 QA는 이 설문조사에서 반복적이고 인간이 검증한 배포 증거를 가진 유일한 응용 영역이며, 오라클이 이미 존재하기 때문에 작동한다.
• 오라클이 형식적일 때 에이전트 테스트 판정은 전문가 신뢰도에 접근하지만, 스크린샷 판단일 때는 그렇지 않으며, 실제 환경에서 85%의 위양성률이 보고된다.
• 접근성 지원은 명시된 수혜자와 측정된 증거 사이의 격차가 가장 크며, 대상 사용자가 참여한 연구가 없다.
• 시뮬레이션된 사용자 실험은 선별 도구이며, 그 저자들 스스로 실제 사용자를 대체할 수 없다고 밝힌다.
• 가장 널리 쓰이는 상용 시스템은 검증 가능한 프로토콜을 공개하지 않으며, 그들의 제품 설계는 하이브리드 인터페이스 발견을 반박하기보다 확인해 준다.

13 근본적인 질문

이 조사에는 다섯 가지 견해차가 관통한다. 각각은 양측의 가장 강력한 증거와 함께 제시되며, 각각 뒤에는 현저자들이 어디에 무게를 둘지에 대한 명시적 언급이 이어진다 — 이는 결과가 아니라 우리의 해석으로 표시된다.

13.1 픽셀로 충분한가, 아니면 구조가 필요한가?

픽셀을 지지하는 입장. Pix2Act는 좌표 행동을 동반한 순수 픽셀 관찰이 MiniWoB++에서 DOM 기반 기준선을 능가함을 보여주었다 [16]; CogAgent는 스크린샷만을 사용하여 Mind2Web에서 훨씬 더 큰 텍스트 입력 모델들을 능가했다 [21]; UGround는 그라운딩이 어떤 마크업과도 독립적인 플러그형 모듈이 될 수 있음을 보여주었다 [29]. 이 방향에서 가장 강력한 증거는 발전적 성격을 지닌다: Qwen-CUA는 중간 표현을 완전히 제거하고 OSWorld-Verified에서 86.2%를 보고했으며, 이는 더 풍부한 인터페이스를 사용하는 폐쇄 모델들보다 높은 수치이다 [41]. 만약 픽셀이 불충분하다면, 그 리더보드의 최상위가 이렇게 보이지 않을 것이다.

구조를 지지하는 입장. WebArena에 대한 AgentOccam의 절제 실험은 가장 깔끔한 통제 결과이다: 모델 변경 없이 텍스트 관찰이 표현할 수 있는 것에 맞추어 행동 인터페이스를 재작성한 것이 43.1% 결과의 가장 큰 단일 구성 요소를 만들어냈다 [47]. ASIL은 스크린샷을 타입이 지정된 JSON 상태와 스키마 제약을 받는 의미론적 호출로 대체하고 380개 과제에서 GUI 조건의 6.6%에 대비하여 81.6%를 보고했다 [123]. 그리고 Read More, Think More는 더 풍부한 HTML 관찰이 동일한 330개 과제에서 한 모델에게는 +17.5점, 다른 모델에게는 −18.8점의 가치가 있음을 발견했다 [127].

우리의 해석. 양측은 서로 다른 것을 측정하고 있다. 구조는 그것이 이용 가능하고 신뢰할 수 있을 때 도움이 되며, 그 이점은 관찰보다 행동 인터페이스에서 가장 크다. 픽셀은 구조가 부재한 곳에서 도움이 되는데, 그것은 데스크톱의 대부분과 모바일 롱테일의 상당 부분이다. [127]에서 발견된 모델 의존성이 결정적 사실이다: 아키텍처 독립적인 답은 존재하지 않으며, 이것이 실용적 추세가 하이브리드인 이유이다(4.3절, 10.5절).

13.2 환경에 대한 훈련이 더 나은 스캐폴딩을 능가하는가?

훈련을 지지하는 입장. AndroidWorld의 최고 결과는 약 1년 만에 30.6%에서 80.2%로 상승했으며, 이는 코퍼스 규모보다는 온라인 다회차 RL에 의해 주도되었다 [8, 109]. OSWorld의 가장 강력한 오픈 수치들 역시 엔드투엔드로 훈련된 9B 모델들에서 나온다 [108]. UI-R1은 136개의 훈련 샘플로 ScreenSpot에서 83.3%에 도달하고 [114], SE-GUI는 7B 모델을 72B 기준선 너머로 훈련시킨다 [116] — RL은 단순한 스케일링이 아니다.

스캐폴딩을 지지하는 입장. AgentOccam은 파라미터를 변경하지 않고 WebArena에서 선행 연구를 능가한다 [47]. 시각적 테스트 시점 스케일링은 전혀 훈련 없이 ScreenSpot-Pro를 47.8에서 61.6으로 끌어올리고 [122], ScreenSeekeR은 단일 가중치도 갱신하지 않고 최고의 엔드투엔드 그라운딩 점수를 두 배 이상으로 높인다 [119]. Web$hell은 정책을 훈련하는 대신 인터페이스를 컴파일하고 WebArena-Verified에서 0.679를 보고한다 [126]. AgentOccam의 절제 분해는 그 이득의 대부분을 추론보다 인터페이스 설계에서 찾는다.

우리의 해석. 이것들은 비용 구조가 다른 상호 보완재이며, 정직한 서술은 해당 분야가 둘 사이의 교환 비율을 알지 못한다는 것이다. 왜냐하면 두 축을 모두 보고하는 논문이 거의 없기 때문이다. 비교가 거의 통제된 유일한 지점인 그라운딩 — 학습 없는 검색 [119]과 테스트 시점 스케일링 [122]이 학습된 모델 [120]과 경쟁하는 곳 — 에서 학습 없는 방법들은 1.7–4.6×의 추론 비용으로 매우 경쟁력이 있다. 우리의 추론은 스캐폴딩은 저렴하게 신뢰성을 사고 학습은 비싸게 여유 공간(headroom)을 산다는 것이며, 이것이 프로덕션 시스템이 둘 다 하는 이유이다.

13.3 이득은 계획에 있는가, 검증에 있는가?

계획 측면에서. 계획 문헌은 크고 분해된 효과를 보고한다: BEAP의 백트래킹 소거 실험(ablation)은 1.9점의 가치가 있고 상태 추적기는 4.6점의 가치가 있다 [55]; WebRollback은 강력한 검색 베이스라인 대비 전체 완료율을 거의 3점 향상시킨다 [53]; 계층적 분해는 한 모바일 연구에서 인간에 필적하는 효율성에 도달한다 [58].

검증 측면에서. BacktrackAgent의 소거 실험은 이 영역에서 가장 예리한 단일 수치이다: 전체 백트래킹 메커니즘을 제거하면 5.65점이 손실되지만, 그중 학습된 판정자만 제거하면 5.32점이 손실되는 반면, 규칙 검증기를 제거하면 0.45점만 손실된다 [93]. GUI-Shepherd는 동일한 기반 모델과 환경에서 단계 수준의 과정 보상이 결과 보상보다 우수함을 보여준다 [112]. 웹 에이전트를 분해한 연구는 평범한 종단 간 결과 아래에서 양호한 단계별 점수를 보여주며 [139], 진단 문헌은 과제가 평균 3.04개의 하위 목표만을 가진다는 것을 발견한다 [63].

우리의 해석. [93]의 분해는 계획 대 검증 질문에 관해 이 설문조사에서 가장 유익한 결과이며, 검증 쪽으로 결정적으로 기운다: 결과로 나온 상태가 의도된 것인지 확인하는 것이 가치가 있는 곳이며, 실행된 행동을 확인하는 것은 거의 정보가 없다. [63]의 짧은 관측 지평과 결합하여, 우리는 증거를 현재 벤치마크가 분해 기계장치가 과잉 공급될 만큼 짧으며, 구속 조건은 무언가 잘못되었다는 것을 알아차리는 것이라고 읽는다.

13.4 보고된 수치를 믿을 수 있는가?

해석할 수는 있다. 실행 검증 환경은 인간 베이스라인과 함께 재현 가능하고 매개변수화된 점수를 산출한다 [6, 8, 28]; 여러 연구가 3회 실행 평균과 분산을 보고한다 [53, 55]; OSWorld-Verified와 ScreenSpot-V2는 커뮤니티가 자체 도구를 교정하는 것을 보여준다 [6, 31]; 그리고 효율성 및 변동성 연구 [13, 133]는 단편적인 성공률이 생략하는 차원들을 추가한다.

비교할 수는 없다. 감사를 거친 LLM 판정자는 어느 것도 70% 정밀도를 넘지 못했고, 규칙 기반 판정자는 두 벤치마크에서 성공을 16–19점 과소 보고했으며 모델 순위를 역전시켰다 [136]; 인간 재평가는 라이브 웹 점수를 거의 90%에서 거의 30%로 삭감했다 [137]; 한 출판된 그라운딩 벤치마크는 약 11%의 레이블 오류를 포함했다 [31]; 단일 참조 벤치마크는 한 에이전트 오류의 절반 이상을 만들어냈다 [139]; 그리고 한 모델의 통과율은 표면적 환경 변형에 따라 4%에서 63%까지 범위가 변한다 [133].

그림 15. WeaveBench [42]에서 판단 프로토콜이 지닌 가치. 각 막대는 동일한 114개의 하이브리드 과제에서 두 프로토콜 하에 측정된 하나의 모델이다: 더 옅은 위쪽 구간은 결과만 판단(outcome-only judging) 하의 점수이고, 더 어두운 아래쪽 구간은 궤적 인식 판단(trajectory-aware judging) 하의 점수이며, 그 사이의 숫자는 그 차이이다. 페널티는 10.3점에서 20.2점에 이르며 가장 강한 모델에서 가장 크며, 이는 이 절을 마무리하는 해석 규칙의 정량적 형태이다.

우리의 해석. 두 진술은 동시에 성립하며, 그 실질적 귀결은 하나의 해석 규칙이다: 어떤 수치는 환경, 프로토콜, 구성 내에서 해석 가능하며, 일반적 역량에 관한 증거가 아니다. 이 설문에서 가장 강한 주장은 하나의 설정 안에서 통제된 절제(ablation)를 견뎌낸 것들이며, 가장 큰 표제 수치를 가진 것들이 아니다.

13.5 에이전트가 웹에 적응해야 하는가, 아니면 웹이 에이전트에 적응해야 하는가?

에이전트가 적응한다. 해당 시기의 지배적 연구 프로그램은 정확히 이것이다: 더 나은 그라운딩(5장), 더 나은 인터페이스(4장), 더 나은 메모리와 검증(6장, 7장), 모두 인간을 위해 설계된 기존 인터페이스를 겨냥한다. 10.1절의 모든 벤치마크는 그 전제 위에 세워져 있으며, 하이브리드 인터페이스 결과 [42]는 그것이 작동함을 보여준다.

웹이 적응한다. Agentic Web Interface 입장은 그라운딩이 학습된 역량이 아니라 사이트의 속성이어야 한다고 주장하며, 백만 토큰을 초과하는 DOM과 과제당 비용을 그 이유로 든다 [130]. Web$hell의 컴파일된 캐시 [126]와 ASIL의 타입화된 상태 및 스키마 제약 호출 [123]은 그 입장의 작동하는 프로토타입이며, Tactile의 출처를 수반하는 대상 집합 [129]은 부분적 사례이다.

우리의 해석. 현재의 증거는 적응 쪽에 유리한데, 그것이 우월함을 입증받았기 때문이 아니라 노력이 그쪽으로 쏠렸기 때문이다 — 두 전략은 공통된 조건 아래 공통된 과제에서 비교된 적이 없다. 결정적 고려 사항은 기술적이지 않다: 기계 인터페이스를 노출하는 웹은 다른 거버넌스 체제이며, 이 설문의 어떤 논문도 누가 그것을 강제할 것인지 다루지 않는다. 우리는 이것을 이 설문에서 가장 중대한 미해결 질문으로 본다.

핵심 정리

• 픽셀 대 구조는 아키텍처 독립적인 답이 없다: 유일한 통제된 모델별 관찰 연구는 순위가 모델에 따라 뒤집힘을 발견한다.
• 훈련과 스캐폴딩은 측정되지 않은 교환 비율을 지니고 상호 보완적이다; 직접 비교된 곳에서는 훈련 없는 탐색과 테스트 시점 확장이 1.7–4.6배 추론 비용에서 경쟁력이 있다.
• 이용 가능한 분해 가능한 절제들은 이득의 발생 지점으로서 분해보다 검증을 선호한다.
• 벤치마크 수치는 하나의 프로토콜 내에서 해석 가능하며 프로토콜 간에는 비교 가능하지 않다; 그 문장의 양쪽 절반 모두 의견이 아니라 감사(audit)에 의해 뒷받침된다.
• 에이전트가 웹에 적응하는지 웹이 에이전트에 적응하는지는 기술적으로 미해결이며 제도적으로 다루어지지 않았다.

14 자원

이 장은 해당 분야가 구축했고 재사용될 수 있는 것들을 정리한다. 그것은 카탈로그가 아니라 출발점이다: 아래의 자원들은 이 검토 과정에서 마주치고 검증된 것들이며, 가용성 열은 논문들이 의도하는 바가 아니라 실제로 진술하는 바를 기록한다.

14.1 환경과 벤치마크

표 11은 이 검토가 마주친 것들과 각 항목이 실제로 공개하는 것들을 나열한다.

표 11. 이 리뷰에서 마주친 환경과 벤치마크, 그리고 각각이 실제로 공개하는 아티팩트. 항목에 "본문 내 링크 없음"이라고 적힌 경우, 해당 논문은 우리가 읽은 버전에서 위치를 제시하지 않은 채 공개를 발표한 것이다.

14.2 데이터셋과 궤적 코퍼스

표 12는 9장의 모델들이 학습되는 코퍼스에 대해 같은 내용을 정리한다.

표 12. 궤적 코퍼스, 그 출처와 명시된 가용성. 가용성은 이 리뷰에서 검증한 것이 아니라 논문이 기술한 대로 기록한 것이다.

14.3 모델과 도구

공개 행동 모델과 그라운딩 모듈이 재사용 가능한 핵심을 이룬다: UI-TARS [37], OpenCUA [38], OS-Atlas [31], UGround [29], ShowUI [34], Aria-UI [36], Aguvis [35], CogAgent [21], SE-GUI [116], UI-R1 [114], GTA1 [113], MobileRL [109], 그리고 RL로 학습된 컴퓨터 사용 시스템 [108, 41].

엔지니어링 기반은 최소한 그만큼 중요하며 더 적게 인정받는다: 웹 환경을 위한 BrowserGym과 AgentLab [26]; 제어를 위한 Playwright, Selenium, Appium; 지각 프런트엔드로서 OmniParser [118]와 Set-of-Mark 오버레이 생성 [20]; 격리를 위한 Android 에뮬레이터와 Docker/QEMU 가상 머신; 그리고 훈련 측을 위한 분산 RL 인프라(VERL, vLLM)([108, 109, 41]). HIDAgent [91]는 주목할 만한 예외다: 대상 기기에 어떤 소프트웨어도 필요로 하지 않는 하드웨어 실행 계층이다.

14.4 실제로 이용 가능한 것

Table 11과 12의 산출물 및 가용성 열은 8.3절을 염두에 두고 읽어야 한다. 가장 큰 코퍼스 중 상당 부분은 우리가 검토한 버전에서 다운로드 가능한 위치 없이 공개되었다고 발표되었다 — 그중에는 GUI-Net-1M, GroundCUA, AgentTrek, SoftwareGym이 있다 — 그리고 여러 공개 발표는 라이선스 조건과 소스별 개수를 생략한다. 링크가 주어진 경우, 이는 본 설문의 참고문헌에 나열되어 있다.

두 자원은 데이터가 아니라 도구이기 때문에 특별히 언급할 가치가 있다. ScreenSpot-V2는 해당 분야에서 가장 많이 인용되는 그라운딩 벤치마크의 수정된 버전으로, 라벨의 약 11%가 수정되었다 [31]; 이를 앞선 모든 비교는 그 수정을 염두에 두고 읽어야 한다. 그리고 OSWorld-Human은 모든 369개 OSWorld 과제에 대해 최소 단계의 인간 궤적을 제공하며, 이것이 효율 측정을 가능하게 만드는 것이다 [13].

요점

• 해당 분야는 이제 세 플랫폼 모두에서 신뢰할 수 있고 실행으로 검증된 환경과, 단일 앱에서 교차 앱 과제에 이르는 별도의 모바일 사다리를 갖추고 있다.
• 궤적 코퍼스는 약 18개월 만에 수십만 항목에서 백만 항목 이상으로 성장했으며, 출처는 인간 시연에서 마이닝 및 자기 라벨링으로 이동했다.
• 가용성 주장은 신뢰할 수 없다: 가장 큰 코퍼스 중 여러 개는 본문 내 링크가 없으며, 라이선스와 소스별 개수는 자주 생략된다.
• ScreenSpot-V2와 OSWorld-Human은 기존 결과를 읽는 방식을 바꿀 가능성이 가장 큰 두 산출물이다.

15 향후 방향

아래 방향은 앞선 장들에서 문서화된 격차에서 도출된다; 각각은 이를 동기 부여하는 증거와 함께 연구 문제로 진술되며, 가능한 경우 이를 해결할 측정과 함께 제시된다.

능력 격차보다 먼저 효율 격차를 좁혀라. 선도적인 에이전트들은 이미 여러 플랫폼에서 단일 애플리케이션 과제의 다수를 성공적으로 수행하지만, 인간 단계 수의 2.7–4.3배를 사용하며, 계획과 성찰이 종단 간 지연 시간의 76–96%를 차지한다([13], 10.4절). 과제당 비용은 배포의 구속 제약이며, 이에 대한 최적화는 거의 이루어지지 않는다: 본 설문에서 오직 하나의 훈련 방법만이 보상을 더 짧은 정답 궤적 쪽으로 직접 형성한다 [109]. 중요한 측정은 플랫폼별 성공 대 비용 파레토 곡선이며, 기존 연구는 이를 산출할 데이터를 갖추고 있다 [14].

평가를 피험 시스템으로부터 독립시켜라. 감사된 LLM 심사자 중 70% 정밀도를 초과한 사례는 없었으며, 훈련 데이터를 필터링하는 심사자는 흔히 이를 생성한 것과 동일한 모델이다(8.3절, 10.3절) [136]. 세 가지 구체적 해결책이 이용 가능하며 어느 것도 표준 관행이 아니다: 분산을 포함한 다중 실행 보고; 최소한 표본의 궤적을 인간 또는 독립적 판단으로 평가; 그리고 체계적 환경 변동 하에서 평가 재실행, 여기서 단일 모델이 현재 4%에서 63%까지 걸친다 [133].

검증 우선 아키텍처를 채택하라. 분해된 소거 실험들은 세 방향에서 같은 결론을 가리킨다: 이득이 있는 곳은 결과 상태를 검증하는 것이지 행동이 실행되었는지 확인하는 것이 아니며[93], 같은 기반 모델에서 프로세스 보상이 결과 보상을 능가하고[112], 단계 수준 분해가 종단 간 점수가 감추는 실패 단계를 드러낸다[139]. 미해결 문제는 비용이다 — 검증은 추론 처리량을 대략 절반으로 줄인다[93] — 따라서 연구 질문은 검증할지 여부가 아니라 무엇을 저렴하게 검증할지이다.

애플리케이션 간 장기 지평 작업을 해결하라. 모든 플랫폼이 같은 양상을 보인다: 단일 애플리케이션 작업은 대체로 해결되었으나, 애플리케이션 간 작업은 무너지며 흔히 0으로 떨어진다(10.2절)[105, 134, 26]. 전형적인 벤치마크 작업이 약 세 개의 하위 목표로 분해되므로[63], 여기서의 진전에는 더 깊은 계획기가 아니라 실제로 긴 벤치마크가 필요하다.

데이터 출처와 라이선스를 표준화하라. 말뭉치 규모는 한 자릿수만큼 성장했으나 보고 품질은 그렇지 않았다: 가장 큰 공개 자료 중 여러 개는 본문 내 링크가 없고, 다수가 라이선스와 출처별 개수를 누락하며, 자기 라벨링 절차는 감사된 적 없는 편향을 지닌다(8.3절, 5.4절)[121]. 최소 보고 표준 — 출처, 산출량, 라이선스, 주석 일치도, 필터 모델 및 그 버전 — 은 비용이 적게 들고 데이터 문헌을 검토 가능하게 만들 것이다.

주입이 아닌 부분에 안전 연구를 다시 불러일으켜라. 네 가지 격차는 구체적이고 다룰 수 있다(11.5절): 각 제안된 방어에 대한 적응형 공격; 모든 공격 성공 수치와 함께하는 유용성-비용 회계; 단일 오염된 비전 타워가 모든 테스트된 치료법을 패배시킨 이미지 양식에서 작동하는 방어[101]; 그리고 플랫폼 간 안전 평가.

인터페이스 질문을 의도적으로 결정하라. 에이전트가 인간을 위해 설계된 인터페이스에 적응하는지 아니면 인터페이스가 에이전트에 적응하는지는 현재 설계가 아니라 연구 노력을 통해 기본값으로 답해지고 있다. 에이전트 대면 인터페이스에 대한 기술적 근거는 이제 작동하는 프로토타입으로 입증되었다[123, 126]; 조사된 문헌이 다루지 않는 것은 누가 이를 강제하거나 표준화할 것인가이다[130]. 이것이 가장 큰 비기술적 결과를 지닌 미해결 질문이다.

훈련과 스캐폴딩 사이의 교환 비율을 측정하라. 이 분야에는 값비싼 훈련된 시스템과, 둘 다 측정된 작업에서 경쟁력 있는 값싼 훈련 없는 방법이 있으며, 두 축을 모두 보고하는 연구는 거의 없다(9.5절, 13.2절). 주석 비용, 롤아웃 비용, 추론 비용이 모두 상승하고 있으므로, 동일 성능에서 훈련된 그라운딩 모델과 테스트 시점 스케일링을 비교하는 단일 연구는 유난히 가치 있을 것이다.

핵심 요점

• 가장 실행 가능한 단기 방향은 효율성이며, 여기서 격차는 정량화되었고 파레토 틀은 이미 존재한다.
• 평가 독립성 — 반복 실행, 독립적 판단, 환경 변이 — 은 연구 돌파구가 아니라 방법론적 변화이며, 이용 가능한 가장 저렴한 개선이다.
• 검증 우선 설계는 세 개의 독립적인 증거 계열로 뒷받침된다; 미해결 문제는 그 비용이다.
• 능력이 결여된 곳은 더 깊은 계획 기계가 아니라 애플리케이션 간 및 장기 지평 역량이다.
• 인터페이스 질문과 안전-양식 격차는 그 결과에 비해 문헌이 가장 얇은 두 영역이다.

References

[1] Pascal J. Sager, Benjamin Meyer, Peng Yan, Rebekka von Wartburg-Kottler, Layan Etaiwi, Aref Enayati, Gabriel Nobel, Ahmed Abdulkadir, Benjamin F. Grewe, Thilo Stadelmann. A Comprehensive Survey of Agents for Computer Use: Foundations, Challenges, and Future Directions. Journal of Artificial Intelligence Research, vol. 85, 2026. doi:10.1613/jair.1.19490; arXiv:2501.16150

[2] Dang Nguyen, Jian Chen, Yu Wang, et al. GUI Agents: A Survey. 2024. arXiv:2412.13501

[3] Chaoyun Zhang, Shilin He, Jiaxu Qian, et al. Large Language Model-Brained GUI Agents: A Survey. 2024. arXiv:2411.18279

[4] Xueyu Hu, Tao Xiong, Biao Yi, et al. OS Agents: A Survey on MLLM-based Agents for General Computing Devices Use. 2025. arXiv:2508.04482

[5] Shuyan Zhou, Frank F. Xu, Hao Zhu, et al. WebArena: A Realistic Web Environment for Building Autonomous Agents. 2023. arXiv:2307.13854

[6] Tianbao Xie, Danyang Zhang, Jixuan Chen, et al. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. 2024. arXiv:2404.07972

[7] Xiang Deng, Yu Gu, Boyuan Zheng, et al. Mind2Web: Towards a Generalist Agent for the Web. 2023. arXiv:2306.06070

[8] Christopher Rawles, Sarah Clinckemaillie, Yifan Chang, et al. AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents. 2024. arXiv:2405.14573

[9] Ada Chen, Yongjiang Wu, Junyuan Zhang, et al. A Survey on the Safety and Security Threats of Computer-Using Agents: JARVIS or Ultron? 2025. arXiv:2505.10924

[10] Yucheng Shi, Wenhao Yu, Jingyuan Huang, Wenlin Yao, Wenhu Chen, Ninghao Liu. Towards Trustworthy GUI Agents: A Survey. 2025. arXiv:2503.23434

[11] Jiahao Li, Kaer Huang. A Survey on GUI Agents with Foundation Models Enhanced by Reinforcement Learning. 2025. arXiv:2504.20464

[12] Boyu Gou, Zanming Huang, Yuting Ning, et al. Mind2Web 2: Evaluating Agentic Search with Agent-as-a-Judge. 2025. arXiv:2506.21506

[13] Reyna Abhyankar, Qi Qi, Yiying Zhang. OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents. 2025. arXiv:2506.16042

[14] Sayash Kapoor, Benedikt Stroebl, Zachary S. Siegel, Nitya Nadgir, Arvind Narayanan. AI Agents That Matter. 2024. arXiv:2407.01502

[15] Reiichiro Nakano, Jacob Hilton, Suchir Balaji, et al. WebGPT: Browser-assisted question-answering with human feedback. 2021. arXiv:2112.09332

[16] Peter C. Humphreys, David Raposo, Toby Pohlen, et al. A data-driven approach for learning to control computers. ICML 2022. arXiv:2202.08137

[17] Shunyu Yao, Howard Chen, John Yang, Karthik Narasimhan. WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents. 2022. arXiv:2207.01206

[18] Christopher Rawles, Alice Li, Daniel Rodriguez, Oriana Riva, Timothy Lillicrap. Android in the Wild: A Large-Scale Dataset for Android Device Control. 2023. arXiv:2307.10088

[19] Xiao Liu, Hao Yu, Hanchen Zhang, et al. AgentBench: Evaluating LLMs as Agents. 2023. arXiv:2308.03688

[20] Jianwei Yang, Hao Zhang, Feng Li, Xueyan Zou, Chunyuan Li, Jianfeng Gao. Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V. 2023. arXiv:2310.11441

[21] Wenyi Hong, Weihan Wang, Qingsong Lv, et al. CogAgent: A Visual Language Model for GUI Agents. 2023. arXiv:2312.08914

[22] Chi Zhang, Zhao Yang, Jiaxuan Liu, et al. AppAgent: Multimodal Agents as Smartphone Users. 2023. arXiv:2312.13771

[23] Hongliang He, Wenlin Yao, Kaixin Ma, et al. WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models. 2024. arXiv:2401.13919

[24] Jing Yu Koh, Robert Lo, Lawrence Jang, et al. VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks. 2024. arXiv:2401.13649

[25] Kanzhi Cheng, Qiushi Sun, Yougang Chu, et al. SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents. 2024. arXiv:2401.10935

[26] Alexandre Drouin, Maxime Gasse, Massimo Caccia, et al. WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? 2024. arXiv:2403.07718

[27] Keen You, Haotian Zhang, Eldon Schoop, et al. Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs. 2024. arXiv:2404.05719

[28] Rogerio Bonatti, Dan Zhao, Francesco Bonacci, et al. Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale. 2024. arXiv:2409.08264

[29] Boyu Gou, Ruohan Wang, Boyuan Zheng, et al. Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents. 2024. arXiv:2410.05243

[30] Saaket Agashe, Jiuzhou Han, Shuyu Gan, Jiachen Yang, Ang Li, Xin Eric Wang. Agent S: An Open Agentic Framework that Uses Computers Like a Human. 2024. arXiv:2410.08164

[31] Zhiyong Wu, Zhenyu Wu, Fangzhi Xu, et al. OS-Atlas: A Foundation Action Model for Generalist GUI Agents. 2024. arXiv:2410.23218

[32] Xiao Liu, Bo Qin, Dongzhu Liang, et al. AutoGLM: Autonomous Foundation Agents for GUIs. 2024. arXiv:2411.00820

[33] Zehan Qi, Xiao Liu, Iat Long Iong, et al. WebRL: Training LLM Web Agents via Self-Evolving Online Curriculum Reinforcement Learning. 2024. arXiv:2411.02337

[34] Kevin Qinghong Lin, Linjie Li, Difei Gao, et al. ShowUI: One Vision-Language-Action Model for GUI Visual Agent. 2024. arXiv:2411.17465

[35] Yiheng Xu, Zekun Wang, Junli Wang, et al. Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction. 2024. arXiv:2412.04454

[36] Yuhao Yang, Yue Wang, Dongxu Li, et al. Aria-UI: Visual Grounding for GUI Instructions. 2024. arXiv:2412.16256

[37] Yujia Qin, Yining Ye, Junjie Fang, et al. UI-TARS: Pioneering Automated GUI Interaction with Native Agents. 2025. arXiv:2501.12326

[38] Xinyuan Wang, Bowen Wang, Dunjie Lu, et al. OpenCUA: Open Foundations for Computer-Use Agents. 2025. arXiv:2508.09123

[39] Xuehui Wang, Zhenyu Wu, JingJing Xie, et al. MMBench-GUI: Hierarchical Multi-Platform Evaluation Framework for GUI Agents. 2025. arXiv:2507.19478

[40] Pei Yang, Hai Ci, Mike Zheng Shou. macOSWorld: A Multilingual Interactive Benchmark for GUI Agents. 2025. arXiv:2506.04135

[41] Dunjie Lu, Shuai Bai, Tianyi Bai, et al. Qwen-CUA: Native Computer Use for (almost) Everything. 2026. arXiv:2608.02352

[42] Wanli Li, Bowen Zhou, Yunyao Yu, et al. WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces. 2026. arXiv:2606.09426

[43] Yikun Fu, Bowen Fu, Zhenyu Wu, et al. MacAgentBench: Benchmarking AI Agents on Real-World macOS Desktop. 2026. arXiv:2606.22557

[44] Lawrence Keunho Jang, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov. MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents. 2026. arXiv:2606.16748

[45] Ivan Evtimov, Arman Zharmagambetov, Aaron Grattafiori, Chuan Guo, Kamalika Chaudhuri. WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks. 2025. arXiv:2504.18575

[46] Tri Cao, Bennett Lim, Yue Liu, et al. VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents. 2025. arXiv:2506.02456

[47] Ke Yang, Yao Liu, Sapana Chaudhary, Rasool Fakoor, Pratik Chaudhari, George Karypis, Huzefa Rangwala. AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents. 2024. arXiv:2410.13825

[48] Liangbo Ning, Ziran Liang, Zhuohang Jiang, et al. A Survey of WebAgents: Towards Next-Generation AI Agents for Web Automation with Large Foundation Models. 2025. arXiv:2503.23350

[49] Guangyi Liu, Pengxiang Zhao, Yaozhen Liang, et al. LLM-Powered GUI Agents in Phone Automation: Surveying Progress and Prospects. 2025. arXiv:2504.19838

[50] Biao Wu, Yanda Li, Zhiwei Zhang, Yunchao Wei, Meng Fang, Ling Chen. Foundations and Recent Trends in Multimodal Mobile Agents: A Survey. 2024. arXiv:2411.02006

[51] Shuai Wang, Weiwen Liu, Jingxuan Chen, et al. GUI Agents with Foundation Models: A Comprehensive Survey. 2024. arXiv:2411.04890

[52] Junan Hu, Jian Liu, Jingxiang Lai, et al. GUI Agents with Reinforcement Learning: Toward Digital Inhabitants. 2026. arXiv:2604.27955

[53] Zhisong Zhang, Tianqing Fang, Kaixin Ma, Wenhao Yu, Hongming Zhang, Haitao Mi, Dong Yu. WebRollback: Enhancing Web Agents with Explicit Rollback Mechanisms. 2025. arXiv:2504.11788

[54] Genglin Liu, Shijie Geng, Sha Li, Hejie Cui, Sarah Zhang, Xin Liu, Tianyi Liu. WebCoach: Self-Evolving Web Agents with Cross-Session Memory Guidance. 2025. arXiv:2511.12997

[55] Ziyu Lu, Tengjin Weng, Yiying Yang, Yuhang Zhao, Xinxin Huang, Wenhao Jiang. BEAP-Agent: Backtrackable Execution and Adaptive Planning for GUI Agents. 2026. arXiv:2601.21352

[56] Yu Gu, Kai Zhang, Yuting Ning, Boyuan Zheng, Boyu Gou, Tianci Xue, Cheng Chang, Sanjari Srivastava, Yanan Xie, Peng Qi, Huan Sun, Yu Su. Is Your LLM Secretly a World Model of the Internet? Model-Based Planning for Web Agents. 2024. arXiv:2411.06559

[57] Yilin Cao, Yufeng Zhong, Zhixiong Zeng, Siran Dai, Liming Zheng, Jing Huang, Haibo Qiu, Peng Shi, Wenji Mao. MobileDreamer: Generative Sketch World Model for GUI Agent. 2026. arXiv:2601.04035

[58] Zichen Zhu, Hao Tang, Yansi Li, et al. MobA: Multifaceted Memory-Enhanced Adaptive Planning for Efficient Mobile Task Automation. 2024. arXiv:2410.13757

[59] Yuquan Xie, Zaijing Li, Rui Shao, Gongwei Chen, Kaiwen Zhou, Yinchuan Li, Dongmei Jiang, Liqiang Nie. Mirage-1: Augmenting and Updating GUI Agent with Hierarchical Multimodal Skills. 2025. arXiv:2506.10387

[60] Shang Ma, Xusheng Xiao, Yanfang Ye. Agent+P: Guiding UI Agents via Symbolic Planning. 2025. arXiv:2510.06042

[61] Yi Kong, Dianxi Shi, Guoli Yang, et al. MapAgent: Trajectory-Constructed Memory-Augmented Planning for Mobile Task Automation. 2025. arXiv:2507.21953

[62] Zikang Liu, Junyi Li, Wayne Xin Zhao, Dawei Gao, Yaliang Li, Ji-rong Wen. PAL-UI: Planning with Active Look-back for Vision-Based GUI Agents. 2025. arXiv:2510.00413

[63] Mohamed Aghzal, Gregory J. Stein, Ziyu Yao. Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective. 2026. arXiv:2603.14248

[64] Junyang Wang, Haiyang Xu, Haitao Jia, et al. Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration. 2024. arXiv:2406.01014

[65] Aarash Feizi, Shravan Nayak, Xiangru Jian, et al. Grounding Computer Use Agents on Human Demonstrations. 2025. arXiv:2511.07332

[66] Jian Mu, Chaoyun Zhang, Chiming Ni, et al. GUI-360°: A Comprehensive Dataset and Benchmark for Computer-Using Agents. 2025. arXiv:2511.04307

[67] Quanfeng Lu, Wenqi Shao, Zitao Liu, et al. GUIOdyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices. 2024. arXiv:2406.08451

[68] Yiheng Xu, Dunjie Lu, Zhennan Shen, et al. AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials. 2024. arXiv:2412.09605

[69] Bofei Zhang, Zirui Shang, Zhi Gao, et al. TongUI: Internet-Scale Trajectories from Multimodal Web Tutorials for Generalized GUI Agents. 2025. arXiv:2504.12679

[70] Brandon Trabucco, Gunnar Sigurdsson, Robinson Piramuthu, Ruslan Salakhutdinov. InSTA: Towards Internet-Scale Training For Agents. 2025. arXiv:2502.06776

[71] Shikhar Murty, Hao Zhu, Dzmitry Bahdanau, Christopher D. Manning. NNetNav: Unsupervised Learning of Browser Agents Through Environment Interaction in the Wild. 2024. arXiv:2410.02907

[72] Tian Jin, Wenhao Wang, Jing Kang, et al. SoftwareGym: Scaling Computer-Use Agent Training with Diverse Synthesized Software Environments. 2026. arXiv:2610.12611

[73] Longxi Gao, Li Zhang, Shihe Wang, et al. MobileViews: A Million-scale and Diverse Mobile GUI Dataset. 2024. arXiv:2409.14337

[74] Hanyu Lai, Junjie Gao, Xiao Liu, et al. AndroidGen: Building an Android Language Agent under Data Scarcity. 2025. arXiv:2504.19298

[75] Zikai Xiao, Jianhong Tu, Chuhang Zou, et al. WebWorld: A Large-Scale World Model for Web Agent Training. 2026. arXiv:2602.14721

[76] Naimeng Ye, Xiao Yu, Ruize Xu, Tianyi Peng, Zhou Yu. AI Agents for Web Testing: A Case Study in the Wild. 2025. arXiv:2509.05197

[77] Antoine Chevrot, Alexandre Vernotte, Jean-Rémy Falleri, Xavier Blanc, Bruno Legeard. Are Autonomous Web Agents Good Testers? 2025. arXiv:2504.01495

[78] Xiwen Teoh, Yun Lin, Duc-Minh Nguyen, Ruofei Ren, Wenjie Zhang, Jin Song Dong. WebTestPilot: Agentic End-to-End Web Testing against Natural Language Specification by Inferring Oracles with Symbolized GUI Elements. 2026. arXiv:2602.11724

[79] Shamit Fatin, Mehbubul Hasan Al-Quvi, Haz Sameen Shahgir, et al. LELANTE: LEveraging LLM for Automated ANdroid TEsting. 2025. arXiv:2504.20896

[80] Xiaolei Li, Jialun Cao, Yepang Liu, Shing-Chi Cheung, Hailong Wang. ReuseDroid: A VLM-empowered Android UI Test Migrator Boosted by Active Feedback. 2025. arXiv:2504.02357

[81] Biniam Fisseha Demissie, Yan Naing Tun, Lwin Khin Shar, Mariano Ceccato. VLM-Fuzz: Vision Language Model Assisted Recursive Depth-first Search Exploration for Effective UI Testing of Android Apps. 2025. arXiv:2504.11675

[82] Maryam Taeb, Amanda Swearngin, Eldon Schoop, Ruijia Cheng, Yue Jiang, Jeffrey Nichols. AXNav: Replaying Accessibility Tests from Natural Language. 2023. doi:10.1145/3613904.3642777; arXiv:2310.02424

[83] Yuxuan Lu, Ting-Yao Hsu, Hansu Gu, et al. AgentA/B: Automated and Scalable Web A/B Testing with Interactive LLM Agents. 2025. arXiv:2504.09723

[84] Shridhar Mehendale, Ankit Walishetti. DexAssist: A Voice-Enabled Dual-LLM Framework for Accessible Web Navigation. 2024. arXiv:2411.12214

[85] Anthropic. Developing a computer use model. 2024. anthropic.com/news/developing-computer-use

[86] OpenAI. Computer-Using Agent. 2025. openai.com/index/computer-using-agent

[87] Gaole Dai, Shiqi Jiang, Ting Cao, Yuanchun Li, Yuqing Yang, Rui Tan, Mo Li, Lili Qiu. Advancing Mobile GUI Agents: A Verifier-Driven Approach to Practical Deployment. 2025. arXiv:2503.15937

[88] Jiangang Han. WebFovea: When the Model Is Right but the Click Is Wrong — Reliable Round Trips for Vision-Based Web Agents on Live Websites. 2026. arXiv:2610.03036

[89] Linxin Song, Yutong Dai, Viraj Prabhu, et al. CoAct-1: Computer-using Multi-Agent System with Coding Actions. 2025. arXiv:2508.03923

[90] Jungjae Lee, Dongjae Lee, Chihun Choi, et al. VeriSafe Agent: Safeguarding Mobile GUI Agent via Logic-based Action Verification. 2025. arXiv:2503.18492

[91] Jeffrey P. Bigham. HIDAgent: A Toolkit Enabling "Personal Agents" on HID-Compatible Devices. 2026. arXiv:2602.00492

[92] Yuzhe Zhang, Xianwei Xue, Xingyong Wu, et al. Don't Act Blindly: Robust GUI Automation via Action-Effect Verification and Self-Correction. 2026. arXiv:2604.05477

[93] Qinzhuo Wu, Pengzhi Gao, Wei Liu, Jian Luan. BacktrackAgent: Enhancing GUI Agent with Error Detection and Backtracking Mechanism. 2025. arXiv:2505.20660

[94] Daniel Jones, Giorgio Severi, Martin Pouliot, et al. A Systematization of Security Vulnerabilities in Computer Use Agents. 2025. arXiv:2507.05445

[95] Chaoran Chen, Zhiping Zhang, Bingcan Guo, et al. The Obvious Invisible Threat: LLM-Powered GUI Agents' Vulnerability to Fine-Print Injections. 2025. arXiv:2504.11281

[96] Rahul Deivasigamani, Sayeda Faatin Alvi, Derqui Andrea, Kaushal Punjabi, Stjepan Picek. Not an A11y: How Android Accessibility Exposes Mobile AI Agents to Indirect Prompt Injection. 2026. arXiv:2608.08939

[97] Juyong Lee, Dongyoon Hahm, June Suk Choi, W. Bradley Knox, Kimin Lee. MobileSafetyBench: Evaluating Safety of Autonomous Agents in Mobile Device Control. 2024. arXiv:2410.17520

[98] Jingyi Yang, Shuai Shao, Dongrui Liu, Jing Shao. RiOSWorld: Benchmarking the Risk of Multimodal Computer-Use Agents. 2025. arXiv:2506.00618

[99] Xilong Wang, John Bloch, Zedian Shao, Yuepeng Hu, Shuyan Zhou, Neil Zhenqiang Gong. WebInject: Prompt Injection Attack to Web Agents. EMNLP 2025. arXiv:2505.11717

[100] Zhihao Liu, Hongyu Sun, Zhiyuan Fu, et al. AgentHijack: Visual Patch Attacks on Multimodal Computer-Use Agents. 2026. arXiv:2609.09212

[101] Ziang Ye, Yang Zhang, Wentao Shi, Xiaoyu You, Fuli Feng, Tat-Seng Chua. VisualTrap: A Stealthy Backdoor Attack on GUI Agents via Visual Grounding Manipulation. 2025. arXiv:2507.06899

[102] Giulio Zingrillo, Hanna Foerster, Ilia Shumailov, Yiren Zhao, Robert Mullins. Securing Computer-Use Agents Against Branch Steering Attacks. 2026. arXiv:2610.03089

[103] Kaiyuan Zhang, Mark Tenenholtz, Kyle Polley, Jerry Ma, Denis Yarats, Ninghui Li. BrowseSafe: Understanding and Preventing Prompt Injection Within AI Browser Agents. 2025. arXiv:2511.20597

[104] Maria Sanchez del Rio, Mikhail Terekhov. Control OSWorld: An AI Control Environment for GUI Computer Use Agents. 2026. arXiv:2610.03818

[105] Jingxuan Chen, Derek Yuen, Bin Xie, et al. SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation. 2024. arXiv:2410.15164

[106] Shihan Deng, Weikai Xu, Hongda Sun, et al. Mobile-Bench: An Evaluation Benchmark for LLM-based Mobile Agents. 2024. arXiv:2407.00993

[107] Fanbin Lu, Zhisheng Zhong, Shu Liu, Chi-Wing Fu, Jiaya Jia. ARPO: End-to-End Policy Optimization for GUI Agents with Experience Replay. 2025. arXiv:2505.16282

[108] Hanyu Lai, Xiao Liu, Yanxiao Zhao, et al. ComputerRL: Scaling End-to-End Online Reinforcement Learning for Computer Use Agents. 2025. arXiv:2508.14040

[109] Yifan Xu, Xiao Liu, Xinghan Liu, et al. MobileRL: Online Agentic Reinforcement Learning for Mobile GUI Agents. 2025. arXiv:2509.18119

[110] Yucheng Shi, Wenhao Yu, Zaitang Li, et al. MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment. 2025. arXiv:2507.05720

[111] Zhengxi Lu, Jiabo Ye, Fei Tang, et al. UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning. 2025. arXiv:2509.11543

[112] Cong Chen, Kaixiang Ji, Hao Zhong, et al. GUI-Shepherd: Reliable Process Reward and Verification for Long-Sequence GUI Tasks. 2025. arXiv:2509.23738

[113] Yan Yang, Dongxu Li, Yutong Dai, et al. GTA1: GUI Test-time Scaling Agent. 2025. arXiv:2507.05791

[114] Zhengxi Lu, Yuxiang Chai, Yaxuan Guo, et al. UI-R1: Enhancing Efficient Action Prediction of GUI Agents by Reinforcement Learning. 2025. arXiv:2503.21620

[115] Run Luo, Lu Wang, Wanwei He, Longze Chen, Jiaming Li, Xiaobo Xia. GUI-R1: A Generalist R1-Style Vision-Language Action Model For GUI Agents. 2025. arXiv:2504.10458

[116] Xinbin Yuan, Jian Zhang, Kaixin Li, et al. Enhancing Visual Grounding for GUI Agents via Self-Evolutionary Reinforcement Learning. 2025. arXiv:2505.12370

[117] Jason Wu, Xiaoyi Zhang, Jeff Nichols, Jeffrey P. Bigham. Screen Parsing: Towards Reverse Engineering of UI Models from Screenshots. 2021. doi:10.1145/3472749.3474763; arXiv:2109.08763

[118] Yadong Lu, Jianwei Yang, Yelong Shen, Ahmed Awadallah. OmniParser for Pure Vision Based GUI Agent. 2024. arXiv:2408.00203

[119] Kaixin Li, Ziyang Meng, Hongzhan Lin, et al. ScreenSpot-Pro: GUI Grounding for Professional High-Resolution Computer Use. 2025. arXiv:2504.07981

[120] Miaosen Zhang, Ziqiang Xu, Jialiang Zhu, et al. Phi-Ground Tech Report: Advancing Perception in GUI Grounding. 2025. arXiv:2507.23779

[121] Zhiqi Ge, Juncheng Li, Xinglei Pang, et al. Iris: Breaking GUI Complexity with Adaptive Focus and Self-Refining. 2024. arXiv:2412.10342

[122] Tiange Luo, Lajanugen Logeswaran, Justin Johnson, Honglak Lee. Visual Test-time Scaling for GUI Agent Grounding. 2025. arXiv:2505.00684

[123] Rui Xie, Lu Chen. ASIL: Replacing Screenshot-and-Click with Structured State and Semantic Actions. Findings of EMNLP 2026. arXiv:2608.26991

[124] Xing Han Lù, Zdeněk Kasner, Siva Reddy. WebLINX: Real-World Website Navigation with Multi-Turn Dialogue. 2024. arXiv:2402.05930

[125] Chaoyun Zhang, He Huang, Chiming Ni, et al. UFO2: The Desktop AgentOS. 2025. arXiv:2504.14603

[126] Sunghwan Kim, Deogyong Kim, Sangam Lee, Donguk Kwon, Dongha Lee. Web$hell: A Unified Interface for Agentic Web Access. 2026. arXiv:2610.13416

[127] Masafumi Enomoto, Ryoma Obara, Haochen Zhang, Masafumi Oyamada. Read More, Think More: Revisiting Observation Reduction for Web Agents. 2026. arXiv:2604.01535

[128] Weihao Tan, Wentao Zhang, Xinrun Xu, et al. Cradle: Empowering Foundation Agents Towards General Computer Control. 2024. arXiv:2403.03186

[129] Yong Liu, Zhenyi Zhong, Zhanpeng Shi. Tactile: Giving Computer-Using Agents Hands and Feet. 2026. arXiv:2607.14443

[130] Xing Han Lù, Gaurav Kamath, Marius Mosbach, Siva Reddy. Build the web for agents, not agents for the web. 2025. arXiv:2506.10953

[131] Chenrui Shi, Yuwei Wu, Yang Liu, et al. Interactive Reward Agent: GUI Task Evaluation via Environment-State Verification. 2026. arXiv:2607.25904

[132] Tao Xiong, Xavier Hu, Yurun Chen, et al. GUI-PRA: Process Reward Agent for GUI Tasks. 2025. arXiv:2509.23263

[133] Karen Ullrich, Jingtong Su, Claudia Shi, et al. OpenApps: Simulating Environment Variations to Measure UI-Agent Reliability. 2025. arXiv:2511.20766

[134] Yuxiang Chai, Shunye Tang, Han Xiao, et al. A3: Android Agent Arena for Mobile GUI Agents with Essential-State Procedural Evaluation. 2025. arXiv:2501.01149

[135] Shravan Nayak, Xiangru Jian, Kevin Qinghong Lin, et al. UI-Vision: A Desktop-centric GUI Benchmark for Visual Perception and Interaction. 2025. arXiv:2503.15661

[136] Xing Han Lù, Amirhossein Kazemnejad, Nicholas Meade, et al. AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories. 2025. arXiv:2504.08942

[137] Tianci Xue, Weijian Qi, Tianneng Shi, et al. An Illusion of Progress? Assessing the Current State of Web Agents. COLM 2025. arXiv:2504.01382

[138] Su Kara, Fazle Faisal, Suman Nath. WAREX: Web Agent Reliability Evaluation on Existing Benchmarks. 2025. arXiv:2510.03285

[139] Daniel Röder, Akhil Juneja, Roland Roller, Sven Schmeier. Detecting Pipeline Failures through Fine-Grained Analysis of Web Agents. 2025. arXiv:2509.14382

[140] Tianchen Guan, Xinlei Lin, Royce Cheng-Yue, Xiangjun Wang, Shuyan Zhou. ComponentBench: Diagnosing Component-Level Failures in Computer-Use Agents. 2026. arXiv:2608.18307

[141] Thassilo M. Schiepanski, Nicholas Piel. Beyond Pixels: Exploring DOM Downsampling for LLM-Based Web Agents. 2025. arXiv:2508.04412