2026년 8월의 세계 행동 모델 — 월간 진척 호

2026년 8월은 세계 행동 모델(WAM)이 구호를 그치고 엔지니어링 의제로 전환된 달이었다. 심사된 코퍼스 전반에서 나타난 공통 템플릿은 장면의 진화를 예측하는 비디오 또는 잠재 동역학 백본과, 그것을 읽는 행동 전문가다. 그리고 이달의 연구는 그 템플릿이 문제를 일으키는 두 지점, 즉 예측된 미래가 무엇으로 구성되어야 하는지와 실제 제어 루프에 충분히 저렴하게 유지하는 방법에 집중되었다. 잠재적이고 구조화된 미래(포인트맵, 기하, 의미론, 운동)가 첫 번째 질문에 대한 가장 활발한 답변이었으며, 여러 논문은 RGB를 넘어서는 지도(supervision)가 충실도가 아니라 견고성을 바꾼다는 것을 보여주었다. 비동기적 룩어헤드, 캐시된 미래 키, 연산 선택 가능 스트림, 추가 샘플링 단계 없이 비용이 들지 않는 사후 학습(post-training)이 두 번째 질문에 대한 가장 활발한 답변이었다. 세 번째, 더 조용한 변화는 이 분야가 스스로를 감사하기 시작했다는 것이다. 전문가 외 행동 추종, 은닉 상태 추적, 개입 충실도, 시뮬레이터 계약이 모두 8월에 측정되었으며, 첫 결과들은 시각적 품질과 제어 능력이 느슨하게만 연결되어 있다고 말한다.

기간: 2026-08-01부터 2026-08-31까지 처음 제출된 논문, 라이브러리에서 읽음. 범위: 네 가지 검색 경로에서 341개의 후보, 심사를 거쳐 204개 유지, 48개를 전문 깊이로 읽음(48개 모두 완료, 두 번의 패스로), 15개를 해당 그림과 함께 아래에서 확장. 이는 시리즈의 첫 호이므로 비교가 아닌 기준선이다.

그림 1. 이 호의 다섯 가지 주제와 그 안의 주요 논문들; 숫자는 본문에서 사용된 참조 번호이다.

1 상상된 미래를 저렴하게 만들기

이달의 가장 일관된 엔지니어링 이야기는 테스트 시점의 상상이 제어 클록과 분리되었다는 것이다. 세 편의 논문은 동일한 파이프라인의 서로 다른 세 지점에서 이를 공격한다. 미래가 얼마나 자주 갱신되는지, 갱신된 미래가 행동 헤드에 어떻게 도달하는지, 그리고 훈련이 끝난 후 정책이 미래를 전혀 필요로 하는지 여부다.

1.1 GlanceWAM: 드물게 예측하고, 연속적으로 행동하기

GlanceWAM의 주장은 WAM의 속도–성공 딜레마가 시각적 예견 자체가 아니라 비디오 생성과 제어 클록의 결합에서 비롯된다는 것이다 [1]. 그 해결책은 하나의 공유된 SkyReels-V2-1.3B 비디오 DiT 위에서의 두 가지 시간 규모(two-timescale) 기법이다. 약 3초 앞을 내다보는 단일 희소 룩어헤드 잠재가 느린 백그라운드 클록에서 생성되어 유지되며, 플로우 매칭 행동 헤드는 제어 속도로 그 오래된 잠재에 대해 행동 청크를 디코딩하고, 결코 픽셀로 디코딩하지 않는다. 공동 훈련은 무작위화된 오프셋을 사용하여 행동 헤드가 다양한 시간 거리의 룩어헤드 프레임을 향한 역동역학(inverse dynamics)을 학습하도록 하며, 이것이 유지된 잠재를 단순히 오래된 것이 아니라 사용 가능하게 만든다.

그림 2. GlanceWAM: (a) 분리된 룩어헤드 공동 훈련과 (b) 하나의 공유된 비디오 DiT에서의 비동기적 잠재 공간 추론 — 희소 룩어헤드 잠재와 유지 상태 스케줄이 주목해야 할 요소이다 [1] (원본 논문에서 재현).

보고된 증거는 이 문헌치고는 이례적으로 잘 통제되어 있다. 24개 과제의 RoboCasa 주방 제품군에서 과제당 동일한 50개 데모 조건으로 72.2%를 기록해 Cosmos Policy의 67.1%를 앞섰고, 실제 로봇 시험에서는 79.2%로 π0.5의 69.6%, Fast-WAM의 48.0%를 앞섰으며, 16개 행동 청크당 48ms로 비슷한 성공률에서 동기식 WAM의 1133–3812ms를 앞섰다 [1]. 두 가지 절제 실험이 이 메커니즘을 뒷받침한다. 학습된 체크포인트에서 룩어헤드 토큰을 0으로 만들면 RoboCasa가 61.6%로 떨어져 룩어헤드 없는 기준선인 64.4%보다 낮아졌고, 지평선 스윕은 약 3초 부근에서 최고점을 보인다. 즉 미래는 실제로 사용되며, 그중 약 3초면 충분하다. 저자들이 스스로 지적하는 단서는 시뮬레이션 수치가 차단형 평가 클라이언트에서 나온 것이므로, 완전히 파이프라인화된 실시간 폐루프 성공률은 입증된 것이 아니라 추론된 값이라는 점이다.

1.2 ForeWAM: 미래의 픽셀이 아니라 미래의 키를 유지한다

ForeWAM(Foresight Without Seeing)은 갱신 속도가 아니라 인터페이스를 겨냥한다 [2]. 직접 정책 인터페이스, 즉 현재 관측에만 조건화된 행동을 유지하되, 깨끗한 현재 잠재와 가우시안으로 초기화된 미래 슬롯을 연결한 것에 대해 비디오-DiT 프리필을 한 번 실행하고, 그 결과로 나온 키–값 상태를 캐시하여 모든 행동 디노이징 단계가 이를 재사용하게 한다. 동역학 레지스터는 학습 중에 감독되고 추론 시에 출력되어, 미래 인덱스 계산이 픽셀 디코딩 없이 행동 경로에 도달할 수 있게 한다. 이는 "잠재 대 픽셀"보다 더 예리한 구분이다. 이 논문은 해당 분야가 예측을 렌더링과 혼동하고 있으며 비디오 DiT는 이미 미래 위치에서 은닉 상태를 형성한다고 주장한다.

그림 3. ForeWAM: 동적 레지스터를 갖춘 VAE 인코딩 비디오 및 행동 스트림과, 미래 키를 행동 디노이징으로 라우팅하는 학습 및 추론 마스크 [2] (원 논문에서 재수록).

저자들의 프로토콜에서 그 이득은 분포 이동에 집중된다. LIBERO-Plus에서 77.6%로 대응하는 Fast-WAM의 51.5%를 앞섰고(둘 다 정책 수준의 체화 사전학습 없음), 과제당 50개 데모 조건의 RoboCasa에서 59.2% 대 49.5%를 기록했으며, 6.3배의 지연 감소(88.7ms 대 556.3ms)는 거의 전적으로 행동 단계에 기인한다 [2]. 구성요소 절제 실험은 인터페이스가 핵심임을 보여준다. 잠재 행동 감독만으로는 LIBERO-Plus가 53.6 → 54.8로, Future-KV만으로는 58.5로, 둘을 결합하면 76.7로 이동한다. 실제 로봇 OOD 과제에서 같은 모델은 여전히 π0.5에 뒤진다(40.0% 대 45.0%). 논문이 보고하는 이 결과는 WAM 기준선을 이기는 것이 강력한 VLA를 이기는 것과 같지 않다는 유용한 상기다.

1.3 WAM-OPD: 후속 학습 중에도 두 출력 구조를 유지한다

WAM-OPD는 다른 질문을 던진다. WAM에 두 출력이 있다면 교사는 무엇을 감독해야 하는가? 그 답은 둘 다, 공동으로다 [3]. 동결된 더 강력한 WAM이 학생 자신의 롤아웃 이력에 대해 질의되어 짝지어진 목표, 즉 예측된 미래 비디오와 그 비디오로부터 생성된 행동 청크를 반환하고, 학생은 배포 시 사용하는 바로 그 비디오-대-행동 계산을 유지한 채 둘 모두로 학습된다. VLA식 온폴리시 증류에 대한 차이는 행동 감독이 토큰 수준이 아니라 비디오 조건화된다는 점이고, RL식 세계모델 후속 학습에 대한 차이는 보상이 라벨링된 목표로 대체된다는 점이다.

그림 4. WAM-OPD의 세 단계 — 학생 추론, 교사 라벨링, 온폴리시 증류 — 로, 비디오와 행동 모두 학생 자신의 이력으로부터 감독된다 [3] (원 논문에서 재수록).

동일한 학생 체크포인트 대비 보고된 향상 폭은 크고 일관적이다. 12개 RoboTwin 2.0 과제에서 평균 33.8% → 65.7%, 네 개의 실제 로봇 과제에서 51.4% → 64.6%이며, 배포 예산은 비디오 한 개와 액션 스텝 한 번으로 변함없다 [3]. 공동 지도는 세 가지 절제 실험 과제 모두에서 어느 단일 모달리티보다 우수하며(더 나은 단일 모달리티 모드 대비 +5.0 / +1.7 / +5.0 포인트), 이는 비디오 경로가 사용 가능한 정보를 담고 있다는 논문의 주장에 대한 구체적 증거다. 이를 완화하는 두 가지가 있다. 교사 히스토리 소스가 과제에 의존한다는 점(한 과제에서는 학생 히스토리가 훨씬 좋고, 다른 과제에서는 교사 히스토리가 좋다)과, 메인 표와 절제 실험 표가 한 과제에 대해 서로 다른 평가 추출에 기반한 것으로 보인다는 점이다. 분석은 이를 저자들의 주장이 아니라 보고된 수치로부터의 추론으로 기록한다.

1.4 비용 축의 나머지

두 편의 추가 논문은 같은 이동의 범위를 보여준다. RISE는 고정된 롤아웃 깊이를 학습된 Scheduler로 대체한다. 이는 위험 프로필과 계획 이득 프로필을 예측하는 잠재 평가기와, 예측된 이득과 연산을 맞바꾸는 롤아웃 게이트로 구성되며, 평균 2.40회 롤아웃에서 NAVSIM-v1 PDMS 91.5와 v2 EPDMS 90.8을 보고한다 [4]. Faster-WAM은 깊은 액션 모듈이 필요하지 않음을 발견한다. 하나의 액션 블록만 유지하는 아키텍처는 액션 청크당 52 ms로 LIBERO 98.3%를 보고하는데, 이는 Fast-WAM의 196 ms 대비이며, 지연 시간 감소의 3.8배 중 대부분이 액션 생성 내부에서 발생한다 [5]. 극단적인 쪽에서 SLIM-0.5B는 테스트 시점 예측을 완전히 제거하고, 미래 예측을 0.47B 두 스트림 트렁크 내부의 잠재 훈련 신호로 유지하며, 청크당 60.6 ms로 LIBERO 97.5%를 보고한다. 이는 π0.5의 193.1 ms, Fast-WAM의 360.6 ms와 대비되며, 한편 LIBERO-Plus에서는 VLA-JEPA보다 2.05 포인트 낮다 [6]. 이 논문의 재사용 가능한 산출물은 붕괴 진단이다. no-EMA 변형은 더 낮은 미래 잠재 MSE를 보이면서 유효 랭크가 61.28 → 13.95로 떨어지는데, 즉 겉보기에는 좋은 손실이 붕괴된 표현을 숨기고 있는 것이다.

표 1. 각 논문이 테스트 시점 비용을 제거하는 지점과, 저자들이 보고한 결과 및 이 이슈에 대한 증거 기반.

핵심 요점

• 테스트 시점의 상상은 이제 청크별 비용에서 스케줄링되거나 캐시되는 자원으로 전환되고 있으며, 보고된 지연 시간 개선(6배에서 3.8배)은 저자들의 벤치마크에서 동일하거나 더 나은 성공률과 함께 나타난다.
• 메커니즘 주장은 미래 채널을 제거하는 소거 실험(룩어헤드를 0으로 설정, 캐시 경로 동결, 공동 감독 제거)에 의해 뒷받침되며, 이는 포화된 벤치마크에서의 새로운 최첨단 기록보다 더 강력한 증거이다.
• 열린 질문은 폐루프 현실성이다: GlanceWAM은 차단형 시뮬레이터 클라이언트로 평가하며, 여기에 소개된 어떤 논문도 OOD 작업에서 능가하는 VLA들과의 체화 사전학습 일치, 연산량 일치 비교를 보고하지 않는다.

2 상상된 미래는 무엇으로 구성되는가

두 번째 집중 영역은 일정이 아니라 목표에 관한 것이다. 여러 논문은 백본을 유지하면서 비디오 전문가가 무엇을 표현하도록 요구받는지를 바꾼다 — 즉 RGB 미래는 과제 관련 상태 변화를 방해가 되는 외관과 얽히게 하며, 미래의 다른 투영들이 제어 신호를 더 효율적으로 전달한다는 주장이다.

2.1 DreamWAM: 운동, 기하, 의미로서의 미래

DreamWAM은 Fast-WAM의 두 전문가 백본을 유지하면서 세 가지 감독된 미래 뷰 — 광학 흐름, 깊이에서 유도된 기하, DINOv2 의미 — 를 행동 관련 미래 상태의 상호 보완적 투영으로 추가한다 [7]. 이 논문의 라우팅 통찰은 이러한 목표들이 서로 교환 가능하지 않다는 것이다: VAE 고유의 운동은 RGB 잠재와 공동으로 노이즈 제거되는 반면, 이질적 인코더 특징은 게이트된 잔차 분기를 통해 입력되며, 추론 시에는 RGB 이외의 모든 경로가 제거되어 배포된 정책은 RGB 전용으로 유지된다. 이 논문의 가장 날카로운 단일 결과는 부정적 대조군이다: 세 목표를 모두 공동으로 노이즈 제거하면 LIBERO에서 97.85%에 도달하여 RGB 전용 기준선 98.00%보다 낮은 반면, 제안된 혼합 라우팅은 98.90%에 도달한다 — 감독을 추가하는 것보다 메커니즘이 더 중요하다.

그림 5. DreamWAM의 훈련 시점 세계 상태(RGB, 흐름, 깊이, DINO)와 게이트된 세계 잔차 예측; 게이트가 추가 목표들이 해를 끼치지 않도록 유지하는 요소이다 [7] (원 논문에서 재현).

변화가 나타나는 곳은 강건성이다: LIBERO-Plus는 공동 추론 모드에서 69.16%에서 75.47%로, 논문이 중요하게 여기는 무롤아웃 모드에서 51.36%에서 63.44%로 상승하며 일곱 가지 변화 차원 모두에서 개선된다; 실제 양팔 플랫폼에서 교란 조건 평균은 55.6% → 74.4%로 향상된다 [7]. 모든 시뮬레이션 기준선은 저자들 자신의 재구현이며, 통제된 비교는 교차 방법 순위가 아닌 일치된 Fast-WAM 쌍이다 — 분석은 이를 명시적으로 언급하고 강건성 주장은 잘 뒷받침된다고 보지만, 메커니즘 귀속(운동, 기하, 의미 중 어느 것이 변화 이득을 주도하는지)은 변화 조건에서 소거되지 않았다.

2.2 Flex-π: 선택 가능한 스트림으로서의 기하와 의미

Flex-π는 포인트맵과 객체 중심 DINO 특징을 예측함으로써 같은 직관을 더 밀어붙이지만, 이를 가능하게 하는 관찰은 인프라적이다: 동결된 Wan-2.2 비디오 VAE는 3D 포인트맵에 대해 훈련된 적이 없음에도 불구하고 이를 정확하게 인코딩하므로, 기하 감독에는 새로운 센서도, 새로운 시각적 사전도, 추론 비용도 필요하지 않다 [8]. 스트림별 존재 마스크와 출력 생성 마스크는 하나의 6B 체크포인트를 선택 가능한 지연/정확도 프런티어로 바꾼다 — 약 60 ms의 행동 전용에서 모든 스트림을 포함한 약 193 ms까지.

그림 6. Flex-π: RGB, 포인트맵 및 DINO 스트림이 공유 비디오 VAE를 통과하며, 스트림 존재 마스크와 출력 마스크가 하나의 체크포인트를 지연/정확도 프런티어로 전환한다 [8] (원 논문에서 재현).

보고된 절제 실험들은 이 주제에 대한 가장 명확한 정량적 진술이다: 하나의 체크포인트에서 비디오 전용 스트림에 DINO를 추가하면 +6.8%, 포인트맵을 추가하면 50개 데모의 다섯 가지 RoboTwin 과제에서 추가로 +20%가 나타난다; 가장 큰 실제 환경 격차는 낮은 데모 예산에서 나타난다 (과제당 50개 데모에서 78.8% 대 π0.5의 31.4% 및 Fast-WAM의 41.9%) [8]. 저자들이 명시한 두 가지 한계가 있다: 추가 모달리티는 수렴을 느리게 하고 (≥10 파인튜닝 에포크), 완전 공동 생성은 여전히 비교 가능한 VLA보다 느리다. 기하가 추론 시 전혀 생성되지 않더라도 도움이 된다는 주장이 반증 가능한 핵심이며, 이에 대한 논문 자체의 증거는 행동 전용 디코딩이 이미 모든 실제 환경 베이스라인을 능가한다는 것이다.

2.3 JEPA-WAM: 프레임이 아닌 전이를 감독하기

JEPA-WAM은 대상의 모달리티가 아니라 그 본질을 바꾼다 [9]. 동결된 V-JEPA 2.1 인코더는 현재 관측과 미래 관측을 시간적으로 적층하여 단일 패치 구조 대상으로 인코딩하며, 하나의 공유 0.5B 예측기가 패치 단위 코사인 거리로 감독되는 동시에 흐름 매칭 행동 전문가를 조건화하는 표현을 생성한다. 설계 주장은 전이 관계가 독립적으로 인코딩된 종점들로부터 복원될 수 없다는 것이다: 감독된 종점 차분은 LIBERO-Plus에서 70.9%에 도달하는 반면 공동 대상은 79.2%이며, V-JEPA 특징을 유지한 채 전이 예측을 비활성화하면 73.2%로 떨어진다.

그림 7. JEPA-WAM: 동결된 V-JEPA 전이 대상, LLM 예측기 및 하나의 백본을 공유하는 흐름 매칭 행동 전문가 [9] (원 논문에서 재현).

결과는 잠재 전이 감독을 로봇 사전학습의 대체물이 아니라 강력한 VLA에 대한 저비용 부가 기능으로 위치시킨다: 대규모 정책 사전학습 없이 LIBERO-Plus에서 79.2%, 동일한 감독을 π0.5에 추가하면 86.3% (84.5%에서 상승), 실제 로봇 ID/OOD에서 59.8%/54.2% 대 π0의 51.8%/22.5% [9]. 표준 LIBERO는 거의 포화 상태를 유지하므로, 정직한 요약은 이 계열이 최고 분포 내 성공률이 아니라 견고성과 배포 비용을 얻는다는 것이다.

2.4 대상 설계 공간의 나머지

세 편의 추가 논문이 경계를 표시한다. GaussianWAM은 다른 교사로 같은 교훈을 보여준다. 훈련 시점에 구축된 일시적 3D 가우시안 필드가 VGGT-Omega 깊이와 CLIP 의미론을 담고, 그 목표들을 WAM의 현재 관측 잠재로 증류하면 LIBERO-Plus에서 FastWAM이 52.05%에서 71.29%로, Cosmos Policy가 71.52%에서 77.30%로 추론 비용 없이 향상된다 — 통합 자체가 단순 독립 증류보다 1.92포인트 더 가치가 있다 [10]. LEON은 전이의 목표가 아니라 전이 연산자가 덜 탐구된 축이라고 주장한다: 트랜스포머 예측기를 맥락 변조 저랭크 연산자와 가산적 강제력으로 교체하면 VLA-JEPA의 LIBERO 평균이 97.2%에서 99.05%로 향상되지만, 정책을 대상으로 하는 LaWAM 인스턴스화는 중립적으로 남는다(84.13% 대 84.50%). 따라서 이 논문 자체의 프레이밍은 그 지점에서 거의 기준선에 가까운 결과를 받아들인다 [11]. Vid2WAM은 데이터 측면에서 같은 질문을 공격하며, 비디오 확산 사전을 WAM으로 증류하여 보류된 과제 궤적을 사용 가능하게 만든다: 새로운 RoboTwin 과제에서 54.7%/55.3%로 Fast-WAM의 45.0%/42.8%에 맞서고, 하나의 실제 신규 과제에서 5% 대비 30%이며, 청크당 212.5 ms이다 [12].

표 2. 미래 목표 설계 선택과 그것이 바꾸는 것, 저자들이 보고한 대로.

핵심 요점

• 다섯 개의 독립적인 그룹에서 같은 발견이 반복된다: RGB 이상의 감독은 분포 내 성공보다 분포 이동 하에서의 견고성을 향상시키며, 추가 스트림이 배포 시 폐기되어도 이득은 유지된다.
• 라우팅은 핵심적인 역할을 한다. DreamWAM의 전체-denoise 변형은 RGB만 사용하는 것보다 나쁘고, GaussianWAM의 통합 캐리어는 단순 다중 교사 증류를 작지만 일관된 차이로 능가한다 — 목표를 단순히 추가하는 것은 통하지 않는다.
• 이 주제의 모든 것은 LIBERO/LIBERO-Plus, RoboTwin 또는 RoboCasa에서 측정되며, 종종 저자들 자신의 기준선 재구현과 함께 측정된다. 논문 간 백분율은 참고용일 뿐이다.

3 규모, 데이터, 그리고 여러 인터페이스를 가진 하나의 모델

세 번째 논문 그룹은 WAM을 사전 훈련 파이프라인의 종점으로 취급하며, 무엇이 그것을 일반적으로 만드는지 묻는다: 얼마나 많은 비디오, 여러 구현체에 걸친 어떤 행동 인터페이스, 그리고 하나의 가중치 집합이 얼마나 많은 역할을 할 수 있는지.

3.1 ZimaBlue: 축으로서의 비디오 규모

ZimaBlue의 논지는 새로운 정책 아키텍처가 아니라, 행동 레이블이 없는 임베디드 비디오를 스케일링하는 것이 일반화의 주된 축이라는 것이다 [13]. 이는 Wan2.2 텍스트-투-비디오 DiT를 세 단계 — 최대 120,000시간의 인과적 자기중심 및 로봇 비디오 사전학습, 각 실체가 자신의 고유 슬롯만 활성화하는 통합 100차원 상태–행동 공간에 걸친 교차 실체 중간학습, 그리고 대상 로봇 사후학습 — 를 통해 적응시킨 뒤, 그 결과를 비동기 Slow(5B) / Fast(0.5B) 쌍으로 배포하며, 이 둘의 연결은 Slow 모델의 초기 레이어에서 내보낸 키–값 캐시이다.

그림 8. Slow 모델로부터의 계층적 KV 주입으로 연결된 ZimaBlue의 Slow 5B 비디오 DiT와 Fast 0.5B 행동 DiT [13] (원 논문에서 재현).

보고된 증거는 폭넓고, 이 코퍼스에서는 이례적으로 실제 로봇 비중이 높다: 12개의 홀드아웃 실제 과제에서 제로샷 평균 77.8% 대 처음부터 학습 36.1%, 행동 레이블 데이터만 사용 시 46.1%, 비디오 60K시간에서 66.9%로, π0.5의 54.4%와 DreamZero의 53.6%를 상회한다; 교란 스위트에서 57.5% 대 15.0%; 벤치마크별 파인튜닝 시 LIBERO-Plus 92.0%, 제로샷 86.7%; 그리고 RoboCasa365의 미학습 조합 분할에서 ABot-M0.6의 16.5% 대 7.9%이며, 여기서는 100K시간의 실제 로봇 데이터로 학습된 VLA가 여전히 전체적으로 앞선다 [13]. 지연 시간 이야기는 배포 측 절반이다: Slow 단독, 이중 시스템, 증류+컴파일 구성에 걸쳐 449.6 ms → 33.0 ms로, 성공률 비용은 2.8포인트이다. 분석은 네 가지 학습 구성이 누적적이므로 비디오 양이 다중 실체 행동 데이터로부터 깔끔하게 분리되지 않으며, 동일 예산을 로봇 데이터에 대신 투입하는 동일 연산량 기준선이 없다는 점을 명시한다.

3.2 Riemann-1.0: 하나의 인과적 시퀀스, 결과보다 먼저인 행동

Riemann-1.0은 다시점 시각 잠재, 로봇 상태, 행동을 하나의 인과적 시퀀스로 직렬화하고, 행동을 먼저 예측한 뒤 그 시각적 결과를 예측하며, 사전학습, 사후학습, 배포에서 동일한 마스크와 목적함수를 사용한다 [14]. 이러한 순서가 설계 선택이다: 논문은 이를 결합 디노이징, 비디오 우선 자기회귀, 분리된 두 DiT 설계에 대비시켜 위치시키고, 혼합 인간–로봇 궤적에 잠재 행동 모델 의사 행동, 0.1에서 0.9로의 λ 스케줄, 230,000시간 코퍼스를 사용하여 약하게 지도된 비디오를 하나의 목적함수 아래에서 활용 가능하게 만든다.

그림 9. 행동 우선 인과적 가시성을 지닌 Riemann-1.0의 통합 궤적 토큰과, 분리된 잠재 예측 및 행동 예측 브랜치 [14] (원 논문에서 재현).

정책 측 절반은 증거가 탄탄하다: RoboCasa-365에서 가장 강력한 명시된 기준선의 54.2%에 대해 62.6%, RoboTwin 2.0에서 94.3%, LIBERO에서 99.0%, 네 개의 실제 과제군에서 85.0% 성공 및 94.43% 진행률, 홀드아웃 실제 OOD 과제에서 π0.5의 50.0%에 대해 85.0% [14]. 월드 모델 측 절반은 그렇지 않다: 다중 실체 롤아웃은 정성적으로만 제시되며(그림 10), FVD/PSNR이나 행동 충실도 지표가 없고, 인과적 인수분해를 결합 또는 분리 대안과 분리하는 절제 실험도 없다. "하나의 체크포인트가 정책이자 시뮬레이터"라는 주장은 강력한 정책과 측정되지 않은 시뮬레이터를 갖춘 설계 입장으로 읽어야 한다.

3.3 Motus2: 하나의 가중치 집합에 담긴 정책, 시뮬레이터, 평가자

Motus2는 하나의 공유 파라미터 세트를 유지하며, 서로 다른 쿼리 모드를 통해 이를 세 가지 인터페이스로 노출한다 — 정책(WAM), 행동 조건화 시뮬레이터, 가치 평가기 — 로 행동 우선 방식으로 분해된다 [15]. 이 셋은 폐루프로 연결된다: 행동 청크를 제안하고, 그 결과를 상상하고, 결과에 점수를 매긴 뒤, 그 점수를 Best-of-N 테스트 시점 선택과 DiffusionNFT 스타일 정책 업데이트 모두에 사용하여 정책이 시연을 넘어 개선될 수 있게 한다. 또한 상당한 데이터 및 스케일링 내용을 담고 있다: 약 130,000시간의 자기중심 시점 코퍼스, 촉각 전문가, 그리고 중첩된 2k–20k시간 하위 집합에 대해 로그-선형인 스테레오 비디오 스케일링 법칙.

그림 10. Motus2: 하나의 파라미터 세트를 정책, 시뮬레이터, 평가기로 노출하며, 오른쪽에 모델 기반 RL 및 계획 루프가 있다 [15] (원 논문에서 재현).

목표 로봇 미세조정을 맞춘 다섯 가지 물리 과제에서 Motus2는 84%의 매크로 평균 성공률을 보고하며, 이는 자체 사전학습만으로 초기화한 경우의 51%와 비디오 모델 베이스라인 및 π0.5 모두의 0%와 대비된다. 개선 루프는 추가 점수를 더하며(두 과제에서 MBRL과 계획을 적용하여 65.0% → 75.0%), 촉각 전문가는 접촉이 많은 두 과제에서 12.5점의 가치가 있다 [15]. 증거 격차는 논문 자체의 프레이밍이 초래하는 바로 그것이다: 루프는 실제 온라인 로봇 데이터가 아니라 오프라인 프리픽스와 상상으로 실행되므로, 여기서 "자기 진화"란 학습된 시뮬레이터 내부에서의 정책 개선을 의미한다.

3.4 인간 비디오, 컴팩트 스택, 3D 상태

네 편의 논문이 이 주제를 마무리한다. LD4WAM은 인간 비디오로부터 운동 정렬된 잠재 역학 변수를 학습한다 — 다음 의미 특징 전이를 말단 효과기 운동에 명시적으로 회귀시키는 것 — 그리고 이를 LeRobot으로 통합된 5,086시간, 8개 데이터셋 코퍼스와 결합한다; 50개 RoboTwin 과제에서 93.4%, 실제 세계에서 70.5%를 보고하며 이는 π0.5의 63.3%와 대비된다. 반면 자체 절제 실험은 실제 세계 이득의 대부분을 잠재 브리지가 아니라 사전학습 코퍼스에 기인시킨다 [16]. Zero-WAM은 언어 대신 문맥 내 인간 시연 비디오로 새 과제를 지정하고, 쌍을 이룬 인간–로봇 데이터를 자동으로 생성하며(74.2K 인간–로봇 ICL 쌍, 8.6K 과제), 테스트 시점 훈련 없이 실제 로봇의 미학습 구성 시험을 보고한다 [17]. Hydra-0은 비디오 월드 모델을 행동 흐름 — 로봇 몸체의 희소하고 가시성 인식적인 이미지 평면 궤적 — 에 조건화하여, 하나의 인터페이스가 구현체와 백본 전반에 걸쳐 훈련되게 하며, 고정된 백본 내에서 그리퍼 운동 오류 90% 감소와 참조 성공률 대비 개루프 정책 평가 상관 r = 0.96을 보고한다 [18]. 4DGS-WAM은 픽셀을 명시적으로 분해된 4D 가우시안 상태로 대체하여, 행위자별 SE(3) 행동을 예측하고 객체 스플랫만 전송한다; 주어진 카메라에서 KITTI-MOT에서 두 비디오 월드 모델을 능가하지만(PSNR 18.80 대 17.46) 예측된 카메라에서는 뒤지며, 짧은 지평선에 대해서만 평가된다 [19]. 마지막으로, AcrossWAM1.0은 이번 달의 엔지니어링 논문이다: 잠재 WAM 스택에서 정책–월드–행동 경계를 명시적으로 만들고, 0.8B 백본이 사전 지정된 2점 기준 내에서 2B 백본을 대체할 수 있음을 보여주며(2,000개의 쌍을 이룬 LIBERO 에피소드에서 97.45% 대 98.00%, McNemar p = 0.27), 추론 도달 가능 파라미터가 42.4% 더 적은 체크포인트를 내보낸다 — 동시에 자체 언어 그라운딩에서 27.4%의 명령 준수 약점을 지적한다 [20].

표 3. 저자들이 보고한 스케일링 축과 주요 결과.

핵심 요점

• 이 테마의 스케일 주장은 실제 로봇 비중이 크고 그에 상응하여 전이 성능이 강하지만(ZimaBlue, Riemann-1.0), 비교 대상은 대개 사전학습 예산이 다른 VLA이며, 아무도 동일 연산량 대조 실험을 보고하지 않는다.
• "하나의 체크포인트, 다수의 인터페이스"는 이제 흔한 주장이다. 이번 달 세트에서는 정책 인터페이스만 정량적으로 검증되었고, 시뮬레이터 충실도는 정성적이거나 측정되지 않은 채 남아 있다.
• 인간 비디오는 공통의 스케일링 화폐이다. 문맥 내 프롬프트, 잠재 동역학, 행동 흐름, 통합 행동 공간은 그것을 지도 신호로 바꾸는 네 가지 서로 다른 방식이다.

4 탁자 위를 벗어나서: 주행, 내비게이션, 상호작용 세계

조작이 코퍼스의 대부분을 차지하지만, 동일한 템플릿이 실패 양상이 다른 영역으로 이식되고 있으며, 바로 그 이식 지점에서 이번 달 가장 흥미로운 부정적 대조 실험이 나온다.

4.1 GeoWAM: 주행을 위해 픽셀이 아닌 기하를 예측

GeoWAM의 전제는 주행 WAM의 유용한 미래는 미래 이미지가 아니라 미래 포인트 맵이라는 것이다 [21]. 이 모델은 다중 뷰 이력을 인코딩하고, 다단계 과거 메모리를 유지하며, 미래 기하 토큰을 포인트 맵으로 디코딩하는 기하 브랜치와 궤적을 생성하는 계획 브랜치를 갖추고 있으며, 포즈 디코더는 캐시된 기하 키에 교차 어텐션한다.

그림 11. GeoWAM: 다중 뷰 기하 인코딩이 미래 기하 브랜치와 계획 브랜치로 이어지고, 두 브랜치는 캐시된 키를 통해 포즈/기하 디코더를 공유한다 [21](원 논문에서 재현).

근거는 이례적으로 명확한데, 기하 주장은 레이블 없이 검증할 수 있기 때문이다. nuScenes에서 한 번도 학습하지 않고 nuScenes의 미래 기하를 예측하면 Abs Rel 0.202로, 전용 기하 세계 모델의 0.325와 비디오 세계 모델에서 재구성한 기하의 0.274에 비해 우수하다. 또한 계획 소거 실험은 인과적이다. 미래 기하 예측을 제거하면 navtest에서 EPDMS 1.0, navhard에서 4.9가 손실되며, navhard EPDMS는 예측 지평에 따라 단조 증가한다 [21]. nuScenes 미세조정 없이 수행한 제로샷 nuScenes 계획(L2 0.89 m, 충돌률 0.12%)이 보고되었다. 단서는 범위이다. 모든 계획 수치는 개루프 또는 의사 폐루프 NAVSIM 변형이며, 논문 자체의 가장 강한 주장은 단일 벤치마크 계열에 관한 것이다.

4.2 Hydra: 세계 모델 자체의 다양체 내부에서 탐색

Hydra는 플래너와 모델이 하나의 임베딩을 공유하도록 만든다 [22]. 시각적 상태, 포즈, 행동이 함께 인코딩된 다음 모달리티별 VQ 코드북(시각 코드 2048개; 포즈 및 행동 코드 각 64개)에 의해 압축되어, 플래닝은 학습된 운동역학적 의도의 유한 집합을 탐색하고 잠재 운동학-지각 비용으로 이를 점수화하며 — 픽셀로 디코딩하는 일은 결코 없이 — 승리한 의도가 조건부 흐름 매칭에 의해 매끄러운 명령으로 확장되기 전까지 진행된다.

그림 12. Hydra: 의도 시딩, VQ 코드북 양자화, top-k 선택, KPC 순위화 및 흐름 매칭 디코드, N회 반복 [22] (원 논문에서 재현).

보고된 메커니즘과 용량 사이의 분리가 핵심이다: 동일한 탐색 예산에서 계획 시간은 ≈0.9초로, 비교 대상인 연속 잠재 기준선의 >500초에 맞선다. 그리고 장애물 시나리오 성공률은 100%/80%/80%(장애물 없음/가림/사각지대)로, 기준선, 그 자체의 결정론적 베이스, 코드북 없는 변형의 각각 0/0/0, 40/0/0, 20/10/10에 맞선다 [22]. KPC 절제 실험은 각 잠재 비용 항이 필요함을 보여준다(하나를 제거하면 평균 충돌 0.20 → 0.40–0.70). 헤드라인을 읽는 데에는 세 가지 한계가 중요하다: 시나리오당 10회 시행, 워크스테이션에서의 오프보드 추론, 그리고 비교가 기준선을 튜닝된 구성이 아니라 Hydra 자체의 탐색 예산과 하이퍼파라미터 아래에서 실행한다는 점이다.

4.3 GameWAM: WAM 레이블이 게임과 GUI에 도달하다

GameWAM은 공유된 깨끗한 시각적 프리픽스를 통해 결합된 병렬 인과 비디오 및 행동 확산 트랜스포머와 함께, 네이티브 1인칭 게임 제어 및 GUI 제어에 공동 비디오-행동 템플릿을 적용하며, "길게 예측하고 짧게 실행"을 배치하여 온라인에서 미래 비디오 디노이징이 생략되도록 한다 [23]. 보고된 이득은 절대적 수치로 크다 — 800개 이상의 과제로 구성된 Minecraft 제품군에서 평균 성공률 50.7(Mini) / 46.6(All)로 OpenHA의 36.8/31.5에 맞서며, 성공당 실행 단계는 287에 맞서 138이다 — 그리고 그 절제 실험은 날카롭다: 미래 비디오 감독을 제거하면 평균 성공률이 50.7에서 35.7로 떨어지고, 모달리티 분리 마스크는 온라인 주파수를 8.12 Hz에서 12.51 Hz로 높인다 [23].

그림 13. GameWAM의 비디오-행동 트랜스포머 쌍: 훈련 시 공유된 깨끗한 시각적 프리픽스에 대한 공동 어텐션, 추론 시 메모리 전용 비디오 상태 [23] (원 논문에서 재현).

더 전이 가능한 기여는 진단적이다: 이 논문은 생성적 행동 정책의 소스 민감성 실패 모드를 분리하는데, 여기서 행동 출력의 지배적 DCT 대역이 명령이 아니라 조건화 소스를 따른다 — 그 대역을 도너 교체하면 시행의 94.8%에서 출력이 이동하고, 이를 0으로 만들면 관련 분산의 99.25%가 제거된다 [23]. 헤드라인 수치는 여러 논문에 걸쳐 재사용된 프로토콜에 의존하며, 맵별 보상 값은 오직 그림에만 존재한다. 이는 논문 간 게임 에이전트 비교를 신중하게 다루어야 함을 상기시킨다.

4.4 주행, 공중 및 상호작용 변형

같은 달에 공유된 벤치마크와 공유된 주의점을 가진 밀도 높은 주행 클러스터가 나왔다. SimWAM은 단일 전방 카메라로 NAVSIM navtest PDMS 91.9를 보고하고, 격리된 어텐션 마스크가 사실상 동일한 PDMS에서 궤적 추론을 1512 ms에서 518 ms로 단축함을 보여주며, 공동 학습 절제 실험(미래 비디오 감독으로 86.5 → 90.3, RL로 91.9)은 미래 감독 효과에 대한 명확한 진술이다 [24]. DA-WAM은 미래를 후보별로 만들고, 공유된 전역 미래가 미래 예측을 전혀 하지 않는 것보다 더 나쁘다는 것을 발견한다(92.81 vs 93.31 PDMS). 이는 주행 세트에서 가장 날카로운 부정 통제이다 [25]. BrainWAM은 VLM 의미 토큰이 예측 브랜치와 어텐션을 공유하도록 허용하는 것이 세계 모델 전용 브랜치에 비해 해롭다고(87.8 vs 89.5 PDMS) 보고하며, 비디오 디노이징 단계가 0이면 PDMS가 79.3으로 붕괴하지만 한 단계면 89.3으로 회복된다고 보고한다 [26]. WA-JEPA는 V-JEPA의 마스킹 목표를 미래 예측으로 재조준하여 NAVSIM-v2에서 91.7 EPDMS에 도달하고, 제로샷 HUGSIM 폐루프 HD-Score에서 가장 강한 베이스라인인 0.3252에 대해 0.4462를 달성한다 [27].

자동차를 넘어, FlowPilot은 이 패러다임을 깊이 조건화된 트랜스포머 혼합(mixture-of-transformers)을 갖춘 쿼드로터에 이식하고, 깊이 고정 통제의 26.0%에 대해 4.0% 충돌률, Jetson Orin NX에서 평균 온보드 추론 16.3 ms, 최대 5.5 m/s의 숲 비행을 보고한다 [28]. UniNav는 미래 비디오 잠재 변수, 연속 웨이포인트, 카메라 기하 토큰을 공동으로 디노이징하며, 가장 강한 내비게이션 세계 모델의 0.593에 대해 평균 ATE 0.491을, 약 900 s 계획 베이스라인에 대해 0.109 s의 단일 단계 경로를 보고한다 — 그러나 모든 주요 결과는 사전 수집된 데이터셋에 대한 오프라인 궤적 오류이며, 폐루프 내비게이션 성공 지표는 없다 [29]. 상호작용 렌더링에서 ReWorld는 서로 다른 어텐션 윈도우 아래에서 제어와 장기 지평 기억을 훈련하고 간섭을 직접적으로 보여주며(액션 주입을 추가하면 제어는 개선되지만 재방문 SSIM이 0.3898 → 0.3376으로 하락하고, 헤드별 라우팅은 라우팅하지 않은 수준의 제어를 유지하면서 회상을 복원한다) [30], Matrix-Game 3.5는 기하 인식 패치 수준 기억을 구축하고 차기 최고의 4.50°에 대해 1.63°의 카메라 회전 오차, 최고의 재방문 SSIM, 그리고 3단계 증류 후 단일 H100에서 실시간 스트리밍을 보고한다 — 다만 그 기하가 외부 추정기에서 나오고 동적 개체에는 영속적 상태가 없다는 정직한 단서를 단다 [31].

표 4. 저자들이 보고한 바에 따른 도메인 이식과 그 특유의 메커니즘.

핵심 요점

• 다른 도메인으로의 이식은 NAVSIM 스타일의 개방 루프 또는 의사 폐쇄 루프 채점으로 수렴하고 있으며, Hydra, FlowPilot, GameWAM, ZimaBlue급 시스템만이 실제 물리적 배포를 보고하는데, 대개 시험 횟수가 적다.
• 주행 클러스터는 이번 달 최고의 부정적 통제 결과를 만들어냈다: 공유 미래, 조기 의미 융합, 과도하게 공격적인 노이징 제거가 모두 해로웠으며, 이는 WAM 스택을 구성하려는 누구에게나 유용한 지침이 된다.
• 용어의 표류는 실재한다: 이 논문들 중 다수(GameWAM은 예외)는 "월드 액션 모델"이라는 용어를 전혀 사용하지 않으며, 상호작용적 렌더링 시스템은 행동을 추론하기보다 카메라를 제어한다.

5 이 분야는 스스로를 감사하기 시작한다

8월에서 가장 예상치 못한 변화는 얼마나 많은 논문들이 WAM의 중심 객체가 실제로 광고된 대로 작동하는지를 묻고 있느냐이다. 해당 기간에 네 가지 서로 다른 감사가 등장했으며, 그 결과는 일관된다: 렌더링 품질과 행동 충실성은 느슨하게만 결합되어 있다.

5.1 WorldExam: 외형이 아닌 역량

WorldExam은 네 단계의 진단 위계 — 시각적 품질, 제어 준수, 공간적 일관성, 세계 반응성 — 이며, 1,474개의 선별된 사례에 걸쳐 여덟 가지 과제로 구현되어 20개의 비디오 세계 모델에 적용되었다 [32]. 그 설계 선택은 상호작용의 결과를 프롬프트에서 제외하는 것으로, 단순히 지시받은 것을 렌더링하는 모델은 통과할 수 없게 한다; 보고된 결과는 제어와 반응성 사이의 뚜렷한 분리이다: 행동 기반 모델은 주체 제어에서 앞서고(LingBot-World 55.47 대 Veo 3.1의 37.28) 언어 기반 모델은 지형 및 상호작용 과제에서 큰 차이로 앞서며(Vidu Q3 지형 64.39 대 최고의 행동 기반 27.49), VLM 심사자는 800개 인스턴스에서 ρ = 0.8614로 인간 점수를 추종한다.

그림 14. WorldExam: 네 가지 진단 수준이 평가 과제, 지표 및 대표 사례에 매핑된 모습 [32] (원 논문에서 재현).

주의점은 경험적이라기보다 정의적인 것이다: WorldExam은 WAM의 "세계" 절반을 탐침하며 행동 공간 충실성, 정책 성공 또는 폐쇄 루프 제어를 결코 시험하지 않으며, 평가된 어떤 시스템도 스스로를 WAM이라 부르지 않는다 — 따라서 그 대표적 역량 분리는 부분적으로 각 모델이 노출하는 인터페이스가 무엇인지의 부산물이다 [32].

5.2 로봇 세계 모델은 정말로 행동을 따르는가?

가장 직접적으로 WAM과 관련된 감사는 행동 조건화된 세계 모델이 단순히 재생된 시연이 아니라 임의의 유효한 행동에 충실하게 반응하는지를 묻는다 [33]. 그 프로토콜은 시연된 재생에서 점점 더 전문가 밖 행동에 이르기까지 다섯 가지 행동 질의 범주에 걸쳐 여섯 개의 전문가 훈련 모델을 시험하며, 롤아웃을 시각적 무결성 게이트와 질의된 행동의 시뮬레이터 재생에 대한 SE(3) 말단효과기 일치로 채점한다. 진단은 일관된다: 무결성 게이트 오차는 시연된 질의에서 전문가 밖 질의로 갈수록 0.029–0.099 m 증가하며, 시각적 실패율은 6.3–28.1 포인트 상승한다. 그런 다음 논문은 확장된 행동 커버리지와 개입 효과 감독으로 구성된 레시피를 제시하는데, 저자들은 이것이 시뮬레이션된 정책 개선을 51–52%에서 65%로 끌어올린다고 보고하며, 가장 가까운 기준선에서 동일한 개선 절차의 56–57%와 대비되고, 실제 로봇 성공률은 48%에서 68%로 향상된다 [33].

그림 15. WorldSync 레시피: 행동 커버리지 확장, 행동 강제 전문가 및 개입 효과 감독이 모두 하나의 행동 조건화된 세계 모델에 공급된다 [33] (원 논문에서 재현).

증거의 균형은 비대칭적이며 이를 분명히 밝힐 가치가 있다. 진단은 폭넓게 이루어진 반면(6개 모델, 50개 과제), 개선 주장은 4개 과제 소거 실험, 실제 로봇 과제 1개, 그리고 일치하지 않는 업데이트 횟수에 근거하고 있다. 게이트 오류에 대한 논문의 대표적 승리는 미미하며(0.0661 대 0.0670), 이를 더 나쁜 원시 궤적 오류와 맞바꾸고 있다 [33].

5.3 WorldSimProbe: 모델을 시뮬레이터로 판정하기

WorldSimProbe는 "관찰 가능한 시뮬레이터 계약"을 통해 시뮬레이터 역할을 명시적으로 만든다. 즉, 제공된 행동은 해당 에이전트의 움직임을 유도해야 하고, 환경 응답은 그 실현된 움직임에 근거해야 한다. 이는 세 플랫폼에서 18,000개 이상의 인스턴스에 걸친 다섯 개 스위트로 운영화된다 [34]. WAM 연구에 가장 유용한 발견은 임계값 비대칭성이다. 한 선도 시스템의 경우 모델 행동이 지속적으로 무너지는 교란 크기가 0.374이고 다른 시스템의 경우 1.78인 반면, 시뮬레이터 경계는 0.05이다. 즉, 둘 다 참조 시뮬레이터보다 훨씬 더 많은 행동 왜곡을 허용한다. 거짓 접촉 근거화가 가장 약한 트리거이며(매크로 평균 38.6 대 방해 요소의 75.0), 생성 데이터로 훈련된 정책은 표준 통제에서 78–89%에 도달하지만 분포 외 통제에서는 21–53%에 도달하여 벤치마크와 일관되게 순서가 매겨진다 [34].

그림 16. WorldSimProbe의 다섯 개 스위트로, 지역적 행동 보정에서 전역적 커버리지와 소스 보존을 거쳐 상호작용 근거화와 역학에 이르기까지이며, RMFA 기반 점수 산정을 사용한다 [34] (원 논문에서 재현).

5.4 은닉 상태, 개입 충실도, 그리고 이론이 말하는 것

세 가지 추가 감사가 순환을 완성한다. 행동 조건부 시각적 Shell Game은 표준 비디오 백본—트랜스포머, Mamba2, 선형 어텐션, RNN—이 그럴듯한 프레임을 렌더링하지만 훈련 지평을 넘어선 은닉 교체를 구성하지 못한다는 것, 더 많은 디노이징 단계가 도움이 되지 않는다는 것, 그리고 두 가지 특정 상태 운반체 변경이 도움이 된다는 것을 보여준다(반사 가능한 선형 어텐션은 30회 교체에서 0.95의 상태 정확도에 도달하는 반면 백본은 우연 수준이며, fast-weight TTT 계층은 5/10/20/30회 교체에서 1.00/1.00/0.98/0.69를 기록한다) [35]. 캡처 게이트 개입 감사는 세계 모델이 과제 쿼리를 운반하고 실제 효과를 해결할 수 있으면서도 자체의 5단계 상상 효과는 효과 없음을 예측하는 것보다 더 나쁘다는 것을 보여준다. 즉, 캡처 R²가 0.58–0.61인 세 체크포인트에 대해 예측 효과 R²가 −5.65/−3.36/−6.33이며, 보상 채널은 이에 대해 침묵하고, TD-MPC2 모델의 크기는 운영자 오류에 대해 ρ = −0.90으로 에피소드 수익과 순위가 매겨진다 [36]. 그리고 한 이론 논문은 모방된 세계-행동 컨트롤러가 동일한 폐루프 분포를 가진 평범한 확률적 정책으로 평탄화되며, 정보성 개입이 가능하지 않는 한 관찰 학습자의 경우 최악의 경우 후회가 ≥ 1/4이고 정확한 최적해의 경우 1/2이라고 주장한다 [37]. 이 논문은 실험을 보고하지 않으며, 유한한 매개변수 클래스가 여전히 표현적 이점을 누릴 수 있음을 인정한다. 동반 입장 논문은 세계 모델링을 에이전트 지향 정보 프록시로 재구성하고 WAM에 대한 분류학적 슬롯을 제공하지만 WAM 특정 주장은 하지 않는다 [38].

표 5. 이번 달의 감사: 각각이 던지는 질문과 보고된 핵심 발견.

핵심 요점

• 감사들은 시각적 충실도가 WAM에 필요한 것의 빈약한 대리 지표라는 데 동의한다: 상태 추적, 행동 따르기, 개입 충실도 모두 렌더링 지표에서는 보이지 않는 수준에서 실패한다.
• 네 가지 감사 중 두 가지는 저자 자신의 프로토콜로 동결된 제3자 모델에 대해 실행되었으며, 이는 새로운 벤치마크만보다 훨씬 강력한 증거이다.
• 여기서 WAM이 작동하지 않는다고 말하는 것은 아니다; 분야의 성공률식 평가가 아직 WAM이 주장된 이유로 작동함을 보여주지 못한다고 말하는 것이다.

또한 주목할 점

효율성 및 후속 훈련 변형. DELE-w0.5는 이번 달 가장 강력한 반(反) 비디오 생성 주장을 펼친다 — 비디오 생성이 불필요한 중간 목표라는 것 — 그리고 대신 미래의 잠재 상태로부터 행동을 추론한다; 이는 네 가지 장기 지평 양팔 작업에서 최고 베이스라인 30.0% 대비 62.5% 전체 작업 성공률을 보고하며, 이점은 지평이 길어질수록 커지고 중앙값 추론 지연은 87.5 ms이다 [44]. Vid2WAM [12]과 Faster-WAM [5]은 각각 증류와 깊이 축소를 통해 같은 목표를 추구한다.

접촉이 많은 조작. HiTac-WAM은 동결된 WAM에 촉각 예측 분기를 부착하고 그 예측을 후보 재순위화기이자 실행 시점 검증기로 사용하며, 촉각 경로가 없는 동일 백본의 31.1% 대비 72.2% 평균 실제 로봇 성공률을 보고하고, 비용은 LPIPS 약 1.4% 및 행동 오류 약 0.9%이다 [42]. Disentangling Visuo-Tactile Foresight는 보완적 진단 경로를 취하여, 학습된 예측기를 오라클 시연으로 대체함으로써 시각-촉각 미래가 행동 전문가에 도달하는 인터페이스를 분리한다; 동일 예산 비교에서 라우팅 인터페이스는 350회 롤아웃에서 독립 융합 팔보다 8.3점 높으며, 분석에서는 작업 수준의 역전 때문에 이 결과를 재현할 가치가 있는 가설로 표시한다 [43].

시스템 및 오케스트레이션. HarnessWAM은 유한 지평 WAM이 계획, 폐색 상태, 검증 및 복구를 담을 수 없다고 주장하고, 이를 모델 외부 계층으로 추가한다 — VLM 작업 관리자, 증거 기반 상태, 그리고 계획을 WAM이 실행할 수 있는 기술에 투영하는 컴파일러; 26개 작업 메모리 아레나에서 가장 강력한 벤치마크별 베이스라인 38.5% 대비 64.4% 전체 작업 성공률을 보고하며, 동일 백본에서 +15.4~+26.0점의 이득과 하나의 물리적 정리 작업에서 95.0%를 기록한다 [41].

교차 구현체 시뮬레이터와 내비게이션 표현 연구. CLAP은 세 가지 행동 인터페이스(절대 말단효과기 자세, 언어 행동, 학습된 잠재 행동)를 하나의 행동 조건부 비디오 모델에서 조화시키고, 실제 Franka에서 제로샷 계획이 두 가지 강력한 정책을 능가한다고 보고한다(두 과제에서 80% 대 40% 및 75%). 동시에 단일 구현체 최신 기술과의 지각적 지표 동등성은 더 나쁜 FVD/FID를 수반하며, 교차 구현체 말단효과기 조건화에서는 절대 행동이 상대 행동보다 우수하다는 점을 인정한다 [39]. 표현과 이력 선택에 관한 내비게이션 연구는 해당 프레임워크에서 재구성 품질이 예측 품질과 반상관관계를 보인다고 보고한다(한 표현 계열의 최저 재구성 오차 0.069, 다른 계열의 최고 0.335). 또한 최적 표현이 직접 예측과 장기 롤아웃 사이에서 뒤바뀌며, 캐시된 이력 어텐션이 지연 시간과 메모리를 약 7배 절감한다고 보고한다. 다만 이는 모두 개루프 평가에서만 해당된다 [45].

벤치마크. PlayWorld는 고정된 궤적을 실행하는 대신 온라인으로 행동을 적응시키는 폐루프 에이전트 플레이어로 아홉 개의 인터랙티브 비디오 모델을 평가한다. 최고 모델은 전체 5점 중 2.12점을 기록하며, 두 가지 진화 차원은 1.95/1.81을 결코 넘지 않는다. 한 모델은 궤적 검증의 80.4%를 통과했지만 루브릭에서는 1.48점을 기록한다. 이는 목표 도달과 세계 상태 보존이 서로 다른 능력이라는 점을 가장 명확히 보여주는 진술이다 [40].

주목할 미해결 질문

• 동일 연산량 기준선. 이번 달의 모든 스케일링 주장(비디오 시간, 코퍼스 크기, 증류)은 서로 다른 사전학습 예산을 가진 시스템과 비교된다. 로봇 데이터에 동일한 연산량을 투입한 결과를 보고한 곳은 없다.
• 미래 채널은 제3자 평가에서 살아남는가? 가장 강력한 메커니즘 증거는 내부 절제 실험이다. 감사 논문들은 저렴한 외부 테스트를 제안한다. 공개된 체크포인트에서 행동 추종 및 은닉 상태 지표를 다시 계산하는 것이다.
• 배포 산술. 보고된 지연 시간 개선은 벤치마크 특정적이며, 종종 디코딩, 가이던스, VAE, 네트워킹을 제외한다. 이 분야에는 여전히 "실시간 WAM"을 위한 공유 측정 프로토콜이 없다.
• 명명과 중복 제거. 선별 집합 내에서 여러 개의 서로 다른 8월 논문이 같은 이름을 공유한다(4D-WAM 두 편, Faster-WAM 두 편, JEPA-WAM 두 편, SG-WAM 두 편). 월 중순 무렵 "-WAM" 접미사는 조작, 주행, 내비게이션, 게임, 수술, 무선, 항공우주를 아우른다. 현재로선 제목이 아니라 논문을 읽는 것이 불가피하다. 안정적인 분류 체계가 도움이 될 것이다.

범위와 방법

기간과 출처

이 호는 2026년 8월에 처음 제출된 세계 행동 모델(WAM) 연구(v1 날짜 2026-08-01~2026-08-31)를 다루며, arXiv 목록 날짜가 아닌 로컬 라이브러리에서 읽었다. 이 시리즈의 첫 호이므로 최초 실행 기준선이다. 비교할 이전 호가 없으며, 아래의 "새로운"은 전체 분야에서 새로운 것이 아니라 8월 기간 내에서 새로운 것을 의미한다.

WAM은 문헌에서 확립된 단일 명칭이 없으므로, 후보 풀은 해당 기간에 걸쳐 네 가지 경로로 구축되었다: (a) 제목과 초록에서의 문자적 명칭 변형("world action model(s)", "world-action model(s)", "action world model") — 66건; (b) 약어 WAM을 단어 전체로 검색 — 56건; (c) 제목에 "world model" / "world-action" / "latent dynamics" / "future imagination"이 행동/정책/로봇/에이전트 용어와 함께 포함된 논문 — 183건; 그리고 (d) WAM 정의(행동에 대한 응답으로 환경이 어떻게 진화하는지 예측하고 그것을 행동에 활용하는 것)로 표현된 의미론적 경로, 상위 300건(도달; 유사도가 0.59에서 0.37로 감소). 중복 제거 후 합집합: 341개 후보.

스크리닝

341개 후보는 명시적인 WAM 경계에 따라 일괄 스크리닝되었다: 핵심 기여가 행동에 결합된 환경 진화의 학습된 모델인 경우 포함 — 행동에 조건화된 미래 세계 상태(픽셀, 잠재, 기하, 구조화된 상태)를 예측하고/하거나 체화된 에이전트를 위해 예측된 미래로부터 행동, 정책 또는 계획을 도출하는 경우; 비행동성 비디오/3D 생성, 예측 역학이 없는 시각-언어-행동 정책, 비체화된 텍스트/웹 에이전트를 위한 세계 모델, 에이전트 궤적만의 예측, 약어만 일치하는 항목은 제외. 341개 중 204개 통과(137개 제외). 스크리닝은 제목과 초록을 사용했으며, 전체 실행 전 두 차례 시험으로 보정되었다; 기준은 스크리닝된 작업 집합에 고정되어 있으므로, 여기의 수치는 이러한 점검된 경로를 설명하는 것이지 해당 분야의 규모를 설명하는 것은 아니다.

읽기 깊이

이후 48편의 논문이 백그라운드 하위 작업에서 전문 깊이로 읽혔다: 방법, 실험 및 명시된 한계를 다루었으며, 논문별 증거 노트에는 저자들이 보고한 수치와 그 설정이 기록되었다. 25건의 분석은 첫 번째 패스에서 완료되었고, 모델 호출 실패가 발생한 23건은 재실행되었다; 48건 모두 완료되었다. 이 심층 읽기 집합은 모든 특집 항목과 아래의 "또한 주목된" 항목의 출처이며, 이번 호의 15개 확장 항목은 최소 30편의 논문을 읽고 12개 이상의 확장 항목을 요구한 과제 뒤에 있었기 때문에 일반적인 추적 브리프를 초과한다. 아래 특집 항목은 원문에서 확인됨(전문 깊이로 읽음)으로 표시된다 — 인용된 모든 수치는 논문 자체의 표 또는 텍스트에서 나오며 그 설정(벤치마크, 과제, 프로토콜)을 유지한다; 비교가 이질적인 백본이나 데이터를 혼합하는 경우, 그렇게 명시된다.

격차와 한계

• 스크리닝은 초록 수준이다: 논문은 그 실험이 완전히 뒷받침하지 않는 주장에 근거하여 포함되거나 제외될 수 있으며, 수치는 분야의 전수 조사가 아니다.
• 의미론적 경로는 상위 300건 한도에 도달했고 그 꼬리(대략 순위 170 이후)는 일반적인 VLA, 궤적 예측 및 체화된 에이전트 보안 쪽으로 표류한다; 따라서 WAM 프레이밍 밖의 인접 연구는 설계상 과소 대표되어 있는 것이지, 존재하지 않음이 입증된 것은 아니다.
• 벤치마크와 성공률 수치는 서로 다른 시뮬레이터, 체화 방식 및 데모 예산에서 나온다. 이번 호의 논문 간 성공 백분율은 논문이 일치된 비교를 보고하지 않는 한 직접 비교 가능한 것이 아니라 지시적인 것이다.
• 주장이 정성적 수치(예: "정책과 시뮬레이터를 하나의 체크포인트에")에 근거하는 경우, 이번 호는 그것을 측정된 결과로 보고하는 대신 그렇게 명시한다.

References

[1] Linhan Wang, Zijian An, Mingyuan Zhang, et al. GlanceWAM: Sparse Test-Time Imagination for World-Action Models. 2026. arXiv preprint. arXiv:2608.23927

[2] Jiakai Huang, Zhongbo Wu, Siyu Xu, et al. Foresight Without Seeing: Latent Futures for World Action Models. 2026. arXiv preprint. arXiv:2608.11605

[3] Liuhaichen Yang, Zhengyang Zhong, Hanshang Zhu, et al. WAM-OPD: Joint Video-Action Supervision for World Action Model Post-Training with On-Policy Distillation. 2026. arXiv preprint. arXiv:2608.22364

[4] Hongbo Lu, Liang Yao, Chenghao He, et al. RISE: Adaptive Imagination for World Action Models. 2026. arXiv preprint. arXiv:2608.20430

[5] Liheng Ma, Rui Heng Yang, Amin Abyaneh, et al. Faster-WAM: Do World Action Models Need Deep Action Modules? 2026. arXiv preprint. arXiv:2608.02365

[6] Jingkai Wang, Zihan Tang, Gu Zhang, et al. SLIM-0.5B: Learning Action-Grounded Predictive Latents for Robot Manipulation. 2026. arXiv preprint. arXiv:2608.09771

[7] Shanglin Yuan, Weiheng Zhao, Xin Shi, et al. DreamWAM: Beyond RGB Future Prediction for World Action Models. 2026. arXiv preprint. arXiv:2608.04996

[8] Ge Yan, Jinghao Liu, Yuzhi Fan, et al. Flex-pi: A Multi-Stream World-Action Model with Compute Flexibility. 2026. arXiv preprint. arXiv:2608.10860

[9] Yihan Lin, Jiawei He, Shifeng Bao, et al. JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling. 2026. arXiv preprint. arXiv:2608.09381

[10] Zijian Zhang, Yuqing Jiang, Weitao Zhou, et al. GaussianWAM: Distilling Geometry and Semantics from 3D Gaussian Fields into World-Action Models. 2026. arXiv preprint. arXiv:2608.24714

[11] Xiaoxiao Lu, Yunlong Dong, Jiahao Shi, et al. Making Latent Evolution Explicit: Operator-Structured Transitions for World Action Models. 2026. arXiv preprint. arXiv:2608.27259

[12] Chenhao Qiu, Ruixiang Wang, Runyi Zhao, et al. Vid2WAM: Distilling Video Diffusion Priors into World Action Models. 2026. arXiv preprint. arXiv:2608.08558

[13] Xionghao Wu, Yijun Yang, Shiyang Zhou, et al. ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training. 2026. arXiv preprint. arXiv:2609.00188

[14] Haofeng Sun, Jiangbo Pei, Fei Kang, et al. Riemann-1.0: An Embodied World Action Model for Physical AI. 2026. arXiv preprint. arXiv:2608.27033

[15] Hongzhe Bi, Zihao Zhou, Yihang Tang, et al. Motus2: A Self-Evolving General World Model for Dexterous Manipulation. 2026. arXiv preprint. arXiv:2608.30237

[16] Zhenhao Shen, Jiaqi Liang, Jasper Lu, et al. LD4WAM: Learning Latent Dynamics from Human Videos for World Action Models. 2026. arXiv preprint. arXiv:2608.22403

[17] Jiaming Zhou, Qihang Zhang, Gangwei Xu, et al. Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization. 2026. arXiv preprint. arXiv:2608.26103

[18] Hongyu Li, Bowen Wen, Xinghao Zhu, et al. Hydra-0: Action Flow for Generalist World Modeling and Control. 2026. arXiv preprint. arXiv:2608.18077

[19] Yueen Ma, Zenglin Xu, Irwin King. 4DGS-WAM: Bridging Past and Future with an Object-Centric World Action Model based on 4D Gaussian Splatting. 2026. arXiv preprint. arXiv:2608.25956

[20] Yafei Zhang, Nan Wu. AcrossWAM1.0: A Modular Latent World-Action Stack for Compact Robot Policies. 2026. arXiv preprint. arXiv:2608.29937

[21] Yiren Lu, Xin Ye, Jiaming Liu, et al. GeoWAM: Visual Geometry World Action Models for Autonomous Driving. 2026. arXiv preprint. arXiv:2608.23486

[22] Mohammad Nazeri, Alexandyr Card, Samira Huber, et al. Hydra: A Navigation World Action Model with Discrete Latent Planning and Continuous Flow-Matching Execution. 2026. arXiv preprint. arXiv:2608.28995

[23] Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Weijia Li. GameWAM: A World Action Model for Video Games. 2026. arXiv preprint. arXiv:2608.26200

[24] Zongchuang Zhao, Xin Zhou, Tianyang Xu, et al. SimWAM: A Simple World Action Model for End-to-End Autonomous Driving. 2026. arXiv preprint. arXiv:2608.07468

[25] Ruiguo Zhong, Benshan Ma, Xiaolong Chen, et al. DA-WAM: Decision-Aligned Future Latents for Driving World Models. 2026. arXiv preprint. arXiv:2608.19085

[26] Bing Zhan, Shuyao Shang, Shuo Lu, et al. BrainWAM: Action-Space Coordination of Semantic Priors and Predictive Dynamics for Autonomous Driving. 2026. arXiv preprint. arXiv:2608.12854

[27] Xinlin Wang, Yujiao Xiang, Yuheng Zhou, et al. WA-JEPA: Rethinking the Video JEPA Paradigm for World-Action Modeling in Autonomous Driving. 2026. arXiv preprint. arXiv:2608.20974

[28] Runqing Wang, Ding Yu, Pengyuan Min, et al. FlowPilot: Real-Time World-Action Modeling for Agile UAV Navigation. 2026. arXiv preprint. arXiv:2608.00635

[29] Changqing Zhou, Yueru Luo, Zeyu Jiang, Changhao Chen. UniNav: A Unified World-Action Diffusion Model for Visual Navigation. 2026. arXiv preprint. arXiv:2608.03244

[30] Zhifei Chen, Luozhou Wang, Guibao Shen, et al. ReWorld: An Interactive World Model with Long-Horizon Memory. 2026. arXiv preprint. arXiv:2608.23565

[31] Runjia Qian, Zile Wang, Jihai Zhang, et al. Matrix-Game 3.5: Enhancing Real-Time Streaming Interactive World Models with Patch Memory. 2026. arXiv preprint. arXiv:2608.29910

[32] Yuxue Yang, Shuyao Shang, Jiahe Wang, et al. WorldExam: Benchmarking World Models from Apparent Appearance to Inherent Reactivity. 2026. arXiv preprint. arXiv:2608.02603

[33] Sixiang Chen, Jiaming Liu, Jixian Wu, et al. Do Robotic World Models Really Follow Actions? Diagnosing and Aligning Action-Conditioned Generation for Policy Learning. 2026. arXiv preprint. arXiv:2608.24885

[34] Peterson Co, Sicheng Hu, Chunxuan Jiao, et al. WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation. 2026. arXiv preprint. arXiv:2608.09298

[35] Joonghyuk Shin, Yicong Hong, Jaesik Park, Xun Huang. Can Video World Models Track Unobserved World States? 2026. arXiv preprint. arXiv:2608.30692

[36] Donna Vakalis. The Intervention Gap in Latent World Models. 2026. arXiv preprint. arXiv:2608.29998

[37] Yang Yu. On the Capability Separation Between World-Model Policy Learning and Imitated World-Action Models. 2026. arXiv preprint. arXiv:2608.22197

[38] Yu Yang, Xuemeng Yang, Licheng Wen, et al. Quo Vadis, World Modeling? 2026. arXiv preprint. arXiv:2608.02713

[39] Kechen Liu, Ola Shorinwa. CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators. 2026. arXiv preprint. arXiv:2608.27406

[40] Kaixin Ding, Xi Chen, Minghong Cai, et al. PlayWorld: Benchmarking World Models with Agent Players over Long-Horizon Objectives. 2026. arXiv preprint. arXiv:2608.13552

[41] Zhaopeng Gu, Bingke Zhu, Tianxi Lin, et al. HarnessWAM: Bridging Prediction and Deliberation in World Action Models. 2026. arXiv preprint. arXiv:2608.09516

[42] Chao Xue, Chaofan Zhang, Wenxuan Ma, et al. HiTac-WAM: A Hierarchical Tactile World Action Model for Contact-Rich Robot Manipulation. 2026. arXiv preprint. arXiv:2608.19574

[43] Zihang Yao, Chaoyue Ding, Yingying Yu. Disentangling Visuo-Tactile Foresight: Oracle-Guided Interface Discovery for World Action Models. 2026. arXiv preprint. arXiv:2608.00547

[44] Fenghao Lei, Zhixiong Huang, Long Yang, et al. DELE-w0.5: Inferring Action from Future Latent State for Robotic Manipulation. 2026. arXiv preprint. arXiv:2608.22067

[45] Guangfu Guo, Xiaoqian Lu, Rui Liu, et al. Visual Representation and History Modeling for Navigation World Models. 2026. arXiv preprint. arXiv:2609.29555