2026년 10월의 세계 모델: 구축에서 측정으로
2026년 10월은 세계 모델 연구가 구축에서 측정으로 전환한 달이었다. 선별된 코퍼스에서 세 가지 변화가 두드러진다. 첫째, 세계 행동 모델(WAM) — 시각적 미래를 예측하고 그에 따라 행동하는 정책 — 이 통제된 절제 실험과 지연 시간 예산을 만났다: 요인 설계 연구는 비전-언어-행동(VLA) 정책에 미래 예측을 추가하는 것이 어디에 연결되느냐에 따라 도움이 되기도, 아무 효과가 없기도, 해가 되기도 함을 보여주며 [1], 학습이 필요 없는 스케줄러는 공개된 두 WAM을 20 Hz 제어 루프 안으로 끌어들인다 [2]. 둘째, 상호작용형 비디오 세계 모델은 장기 지평 기억을 용량 문제가 아니라 인터페이스 문제로 공략했다: 한 논문은 과거 관찰을 카메라 포즈를 키로 하는 테스트 시점 학습된 빠른 가중치에 기록하고 [8], 다른 논문은 기억이 생성기에 넘겨주는 타임스탬프가 어떤 세계 상태가 그려질지를 조용히 결정함을 보여준다 [9]. 셋째, 평가 논문들이 세계 모델이 실제로 무엇을 인코딩하고 시뮬레이션하는지를 묻기 시작했고, 첫 번째 답들은 냉정하다: 강력한 재구성과 성공률 일치가 드러난 물리적 속성을 놓치는 잠재 표현과 공존하며 [14], 시뮬레이션된 실패가 과제의 잘못된 단계에 떨어지는 것과도 공존한다 [15].
윈도: 첫 arXiv 버전(v1)이 2026-10-01부터 2026-10-31까지 제출된 논문으로, Parallax 라이브러리에서 읽었다. 범위: 키워드 경로와 의미 경로에서 나온 724개 후보, AI 선별로 579개 유지, 6편의 특집 논문은 전문 검증, 24편의 추가 논문은 초록 수준에서 기록.
mindmap
root((World models, Oct 2026))
WAMs meet control budgets
Where to wire foresight · 1
Real-time scheduling · 2
Also: 3, 4, 5, 6, 7, 22
Memory for interactive worlds
TTT fast-weight memory · 8
Valid-time re-dating · 9
Also: 10, 11, 12, 13, 23, 24, 25
What do world models know
Latent taste test · 14
Failure-level evaluation · 15
Also: 16, 17, 18, 26, 27그림 1. 이 호의 주제와 특집 논문; 숫자는 참조 색인이다.
1 세계 행동 모델이 절제 실험과 제어 예산을 만나다
8월 호는 WAM을 비용과 예측된 미래가 무엇으로 구성되어야 하는지에 초점을 둔 엔지니어링 의제로 설명했다. WAM은 또한 이 달의 대부분을 차지한다 — 선별된 제목 중 약 6분의 1(579개 중 94개)이 세계 행동 모델을 언급한다 — 그리고 10월의 가장 강력한 WAM 논문들은 그러한 설계 선택을 통제된 조건과 실제 지연 시간 예산 아래에서 시험하며, 둘 다 예지의 이득이 조건부임을 발견한다.
1.1 비전-언어-행동 모델에서 세계 모델링에 중요한 것은 무엇인가?
Ma 등 [1]은 발표된 "세계 모델 증강" VLA들이 비교 가능한 증거가 아니라고 주장하는데, 각 논문이 예측 대상, 예측이 정책에 연결되는 방식, 백본을 동시에 바꾸기 때문이다. 그들은 백본, 시연, 손실(네 개의 미래 프레임에서 예측된 미래 특징을 동결된 인코더의 특징에 코사인 정렬), 스케줄을 고정한 뒤, LIBERO, LIBERO-Plus, RoboTwin 2.0, DOMINO 및 실제 Franka 팔에 걸쳐 여섯 개의 대상 인코더, 네 가지 통합 패러다임, 두 개의 백본을 훑는다. 그림 2는 연구가 기반으로 하는 네 가지 패러다임을 보여준다: 예측은 VLM 자체의 레이어 내부에서 정렬되거나(a), 추가된 쿼리 토큰에서 디코딩되거나(b), 병렬 "미래 전문가" 스트림에 의해 생성되거나(c), 출력이 행동 전문가에 공급되는 별도의 세계 예측기에 의해 생성된다(d).
그림 2. [1]에서 비교된 네 가지 통합 패러다임으로, 공유된 VLM-플러스-행동-전문가 기준선과 대조된다([1]의 그림 2, 원 논문에서 재현).
분리형 설계 (c, d)가 성과를 내는 쪽이다. Qwen3-VL-2B 백본과 DINOv3 타깃을 사용할 때, LIBERO-Plus 분포 외 성공률은 future-expert 스트림에서 71.8%에서 76.2%로 상승한다. RoboTwin의 장기 지평 과제(Clean2Clean)에서는 패러다임 전반에 걸쳐 +16.5에서 +26.3 포인트의 향상을 보이는 반면, 단기 과제에서는 +5.5에서 +8.6에 그친다. 사전학습된 파운데이션 VLA(π0.5)에서는 백본 내부에서 정렬하는 것이 오히려 해롭다(RoboTwin Clean2Clean 69.1% → 63.6%, 세 개 시드에서 재현됨). 반면 분리형 설계는 2–3 포인트를 더한다. 통제 소거 실험은 이 이득을 분해한다. 동결된 인코더의 현재 프레임 특징만을 공급하면 71.8%에서 72.5%로 이동하고, 예측 손실을 끈 상태에서 추가 용량은 73.6%에 도달하며, 미래 타깃이 이를 76.2%로 끌어올린다. 따라서 분리형 이점의 대략 절반은 진정한 예측 감독에서 비롯된다. 여기서 월드 모델은 결코 롤아웃되거나 계획에 사용되지 않으며, 오직 행동 성공을 통해서만 평가된다.
1.2 RealtimeWAM: 월드 액션 모델을 얼마나 빠르게 실행할 수 있는가?
Liu 등 [2]은 WAM 비용의 다른 측면, 즉 수백 밀리초에 달하는 요청당 지연 시간을 공격한다. 그동안 움직이는 장면은 변한다. 그들의 학습 불필요 방법(그림 3)은 하나의 요청 안에서 관측 처리를 비디오 및 액션 예측과 중첩하고, 선택된 관측 토큰만 갱신하면서 다른 곳에서는 캐시된 피드포워드 출력을 재사용하며, 대략적인 액션 추정의 예측된 움직임에 따라 2회와 4회의 전체 디노이저 평가 중에서 선택한다.
그림 3. RealtimeWAM의 세 가지 메커니즘: (a) 비디오 및 액션 예측과 중첩된 관측 처리, (b) 캐시된 출력을 이용한 선택적 토큰 갱신, (c) 움직임으로 게이팅된 정제 단계 ([2]의 그림 4, 원 논문에서 재현).
단일 48 GiB RTX 4090에서 네 가지 시뮬레이션 설정에 걸친 평균 요청 지연 시간은 FastWAM의 경우 214 ms에서 24 ms로, OpenWAM의 경우 673 ms에서 63 ms로 감소하며, 평균 성공률은 각각 −0.02 및 −0.53 포인트 변한다. 이미 컴파일과 CUDA 그래프를 사용하는 네이티브 베이스라인과 비교해 측정하면, 속도 향상은 헤드라인의 8.9× 및 10.7×가 아니라 4.1× 및 7.2×이며, 누적 분해는 의존성 인식 병렬 실행이 가장 큰 단일 몫을 기여함을 보여준다. 실제 Franka 암에서 더 빠른 루프는 컨베이어를 포함한 다섯 과제에 걸쳐 평균 성공률을 35.6%에서 52.8%(FastWAM)로, 33.6%에서 70.8%(OpenWAM)로 높인다. 이는 더 나은 예측이 아니라 폐루프 지연 시간 효과인데, 논문은 컨베이어 성공률이 대략 90 ms를 넘으면 급락한다고 보고하기 때문이다.
| 월드 모델링에서 중요한 것 [1] | RealtimeWAM [2] | |
|---|---|---|
| 질문 | VLA에서 미래 예측은 어디에 들어가야 하는가? | WAM이 실시간 제어 루프 안에서 실행될 수 있는가? |
| 접근 방식 | 요인 설계 전수 조사: 6개 타깃 × 4개 패러다임 × 2개 백본 | 학습 불필요 스케줄링, 토큰 재사용, 움직임 게이팅 단계 |
| 핵심 결과 | LIBERO-Plus OOD 71.8% → 76.2% (future expert); π0.5 + 백본 내 정렬은 RoboTwin에서 −5.5 포인트 | 214 → 24 ms (FastWAM), 673 → 63 ms (OpenWAM), 평균 성공률 차이 0.53 포인트 이내 |
| 실제 로봇 | Franka, 4개 과제: 45.0% → 73.8% (future expert) | Franka, 5개 과제: 지연 시간 감소로 +17.2 / +37.2 포인트 |
| 증거 | 시뮬레이션 + 소규모 실제 연구; 핵심 발견에 3개 시드 | 두 개 백본; 성공률에 대한 시드 또는 구간 없음 |
표 1. 비교된 두 편의 주요 WAM 논문 (전문 검증 완료).
핵심 요점
- 예측(Foresight)은 공짜로 덧붙는 기능이 아니라 설계 선택이다. 사전 학습된 백본에 직접 연결하면 사전 지식(prior)을 지워버릴 수 있고, 분리된 스트림에 유지하면 주로 장기 지평(long-horizon) 및 동적 과제에서 이득을 준다 [1].
- 배포된 WAM의 경우 지연 시간은 결과의 일부다. [2]에서 실제 로봇에서 얻은 이득의 상당 부분은 더 빠른 재계획(replanning)에서 나오며, 속도 향상 주장은 최적화된 기준선과 비교해 읽어야 한다.
- 이번 달 나머지 논문들도 같은 방향을 가리킨다. [3]는 생성된 미래가 평균 성공률은 거의 움직이지 않지만 정밀 과제에서는 크게 해친다는 것을 발견하고, [4]는 상상된 미래에 대한 테스트 시점 선택(test-time selection)이 현실적으로 얼마나 이득을 줄 수 있는지 측정하며, [22]는 예측 지도(predictive supervision)가 두 WAM 계열에서 깨끗한, 본 적 있는 과제의 성공률을 24포인트와 73포인트 높이지만 본 적 없는 과제나 무작위화된 환경에는 안정적으로 전이되지 않는다고 보고한다.
2 기억이 대화형 비디오 월드의 인터페이스 문제가 되다
대화형 비디오 월드 모델은 장면을 청크 단위로 생성하며, 카메라나 에이전트가 돌아올 때 같은 장소를 다시 보여줘야 한다. 10월의 주요 논문들은 실패의 원인을 모델 크기가 아니라 과거가 어떻게 저장되고 생성기에 제시되는지에서 찾는다.
2.1 World-T3: 실시간 비디오 월드 모델을 위한 지속적 기억으로서의 테스트 시점 훈련
Wu 등 [8]은 과거 관측을 전용 고속 가중치(fast-weight) 파라미터에 저장하는데, 이 파라미터는 재귀 최소제곱(recursive least-squares) 규칙으로 온라인 갱신되고 카메라 포즈로 읽어낸다. 따라서 저장 공간과 스텝당 비용은 롤아웃 길이와 무관하게 일정하게 유지된다. 그림 4는 세 가지 요소를 보여준다. 최근의 깨끗한 블록들로 구성된 제한된 컨텍스트 창, 기억 쓰기와 포즈 키 기반 검색, 그리고 각 확산 트랜스포머(diffusion-transformer) 블록 내부의 게이트된 기억 잔차(memory residual)이다. 이후 자기회귀 모델은 4스텝 생성기로 증류된다.
그림 4. 테스트 시점 훈련 기억을 갖춘 World-T3의 자기회귀 모델: (a) 컨텍스트 창과 카메라 재방문, (b) 기억 쓰기와 포즈 키 기반 읽기, (c) DiT 블록으로의 통합 ([8]의 그림 3, 원 논문에서 재수록, CC BY 4.0).
120개 클립의 왕복(out-and-back) 벤치마크(1280×704에서 160프레임, 프레임 80에서 카메라 반전, 모든 재방문 간격이 21잠재 프레임 컨텍스트보다 김)에서 4스텝 모델은 재방문 PSNR을 13.52 dB에서 18.31 dB로 높이고 절대 회전 오차를 3.34°에서 1.08°로 줄이며, 두 지표 모두에서 가장 강한 기준선인 SANA-WM을 앞선다. 또한 단일 B200 GPU에서 20.6 FPS로 실행된다. 카메라 스윕이 커져도 재방문 유사도는 평평하게 유지되는데(스윕 삼분위 전체에서 0.958 / 0.964 / 0.960), 반면 두 기준선은 0.08–0.10을 잃는다. 저자들은 포즈 키 기반 검색이 훈련 비디오에 레이블을 붙이는 데 사용된 기성 포즈 추정기로부터 오차를 물려받는다는 점, 그리고 훈련 지평을 넘어서면 텍스처 저하가 남는다는 점을 지적한다.
2.2 오래된 것이 거짓은 아니다: 대화형 비디오 월드 모델을 위한 유효 시간 기억
Wang 등 [9]은 기억 벤치마크가 거의 분리하지 않는 사례를 연구한다. 에이전트가 한 영역을 바꾼 뒤 다시 되돌리므로 더 오래된 뷰가 올바른 것이다. 프레임, 가중치, 노이즈를 고정하고 타임스탬프만 교체함으로써, 그들은 동결된 FAR 생성기가 가장 최신으로 표시된 뷰를 그린다는 것을 보여준다. 두 타임스탬프를 뒤집으면 현재 상태 비중이 0.51에서 0.07로 이동한다. 이 효과는 HY-WorldPlay의 회전 위치(rotary position)에도 전이된다. 그들의 해법인 ReDate(그림 5)는 모든 프레임을 유지하고, 검색된 토큰의 날짜를 에이전트의 행동 로그로부터 그 내용이 유효한 시점(유효 시간)에 따라 다시 지정하며, 캡처된 시점을 기준으로 하지 않는다.
그림 5. ReDate는 액션 로그를 읽고, 영역이 복원된 프레임을 복원 액션이 있은 직후로 이동시키며, 변경된 영역의 토큰을 가장 오래된 검색된 프레임 앞으로 이동시킨다([9]의 그림 3, 원 논문에서 재현).
AI2-THOR의 352개 되돌림 단계에서 정확도는 학습 없이 0.36에서 0.62로 상승한다(짝지은 이득 +0.264, 95% 구간 [0.199, 0.334]). 이는 복원된 상태의 유일한 뷰를 버리는 삭제 기반 규칙을 포함해 재구현된 열 가지 메모리 규칙을 능가한다. 이득은 대상 포즈가 현재를 본 적이 있는 단계에 국한된다(0.94 대 0.54). 다른 포즈만 본 경우에는 모든 메모리가 0.10 이하에 머문다. 증거는 31개 이벤트의 실제 영상 탐침을 제외하면 시뮬레이션에 국한되며, 새 상태 정확도는 변하지 않는다.
| World-T3 [8] | ReDate [9] | |
|---|---|---|
| 메모리 형태 | 온라인으로 갱신되는 빠른 가중치, 카메라 포즈로 읽음 | 프레임 저장소, 검색된 토큰을 액션 로그로부터 날짜 재지정 |
| 학습 | 학습된 모델, 이후 4단계 증류 | 없음(고정된 생성기) |
| 벤치마크 | 120개 왕복 클립, 1280×704 | 352개 되돌림 단계, AI2-THOR(FAR 벤치마크) |
| 핵심 결과 | 재방문 PSNR 13.52 → 18.31 dB 대 SANA-WM; B200에서 20.6 FPS | 되돌림 단계 정확도 0.36 → 0.62 대 FAR |
| 명시된 한계 | 포즈 추정 잡음; 학습 지평선 너머의 드리프트 | 에이전트가 야기한 변경만 해당; 보지 못한 포즈 단계는 0.10 이하 유지 |
표 2. 상호작용형 비디오 세계 모델을 위한 두 가지 메모리 설계(전문 검증 완료).
핵심 정리
- 상수 크기 메모리는 이제 실시간 속도와 양립한다: World-T3는 카메라 스윕 전반에서 재방문 충실도를 20.6 FPS로 일정하게 유지한다 [8].
- 메모리가 무엇을 저장하는지만큼 메모리가 생성기에 무엇을 알려주는지도 중요하다: 타임스탬프 의미론만으로도 렌더링된 상태를 뒤집을 수 있다 [9].
- 긴 롤아웃을 위한 학습 측 수정은 병행하여 계속되었다 — 교사 없는 장기 지평선 미세 조정 [10], 혼합 어텐션을 사용한 인과적 사전 학습 [11], 잠재 3D 가우시안 메모리 [12], 인수분해된 정적/동적 메모리 [13].
- 두 번째 답은 상태를 픽셀과 분리한다: 엔진이나 하네스가 세계 상태와 그 규칙을 소유하고 비디오 모델은 그것을 렌더링만 한다 [23, 24]. 또한 WorldMemBench는 세계 메모리에 자체적인 260개 사례 벤치마크를 제공한다 [25].
3 평가는 세계 모델이 실제로 무엇을 아는지 묻는다
8월호는 이 분야가 스스로를 감사하기 시작했다고 언급했다. 10월에는 그 감사가 더 예리해졌다: 생성된 비디오가 올바르게 보이는지 또는 정책 순위가 상관하는지를 묻는 대신, 잠재가 물리적으로 관련된 정보를 담고 있는지 그리고 시뮬레이션된 실패가 실제 실패와 일치하는지를 묻는다.
3.1 Roz: 세계 모델 잠재에 대한 맛 테스트
Ge 등 [14]은 세계 모델 잠재가 무엇을 담아야 하는지를 정의한다 — 가치 관련 객체의 상태와 질량이나 반발계수처럼 상호작용을 통해서만 드러나는 속성 — 그리고 이를 레이블 없는 "삼각 테스트"로 전환한다: 같은 정보를 가지지만 다른 이력을 가진 두 클립은 의미 있게 다른 클립보다 잠재 공간에서 서로 더 가까이 있어야 한다. 그림 6은 그것이 테스트하는 메모리 속성을 보여준다: 선반 위의 공을 보는 것은 두 시나리오 모두 같은 닫힌 캐비닛으로 끝나더라도 표현을 바꾸어야 한다.
그림 6. Roz의 대조 과제 뒤에 있는 메모리 속성([14]의 그림 1, 원 논문에서 재현).
V-JEPA 2, Qwen, Cosmos, FastWAM, DreamDojo 전반에서 엔드포인트 과제는 포화 상태(경로 독립성 0.97–1.00)인 반면, 폐색 과제는 Qwen의 0.07을 제외한 모든 모델에서 0.00점을 기록했으며 이는 약 0.33의 우연 수준과 대비되고, 복원 스윕은 거의 모두 0이었다. 아홉 개의 DreamDojo 체크포인트 전반에서 재구성 오차는 절반 이상 감소했지만 대조 점수는 30/42에 머물렀으며, 이는 DreamDojo 자체의 동결된 비디오 VAE(31/42)와 같은 수준이다. 이 테스트들은 행동 조건화 예측이 아니라 관측된 클립 특징을 탐색하며, 단일 체크포인트와 과제별 소규모 표본을 사용하고, 점수가 훈련을 추적한다는 주장은 저자들이 공개하지 않은 모델에 의존한다.
3.2 WorldFailBench: 월드 모델은 정책 실패를 이해하는가?
Zhang 등 [15]은 정책 평가에 사용되는 월드 모델이 정책이 성공하는 빈도뿐만 아니라 정책이 어떻게 실패하는지를 재현하는지 묻는다. 이들은 동일한 정책을 동일한 시작점에서 두 번 실행하는데 — 한 번은 참조 시뮬레이터 또는 실제 로봇에서, 한 번은 월드 모델 내부에서 — 작은 장면 변화 하에서 실패 유형, 실패 단계, 성공-실패 경계를 비교하며(그림 7), 참조 대 참조 반복성 기준선에 대해 보정한다.
그림 7. WorldFailBench의 쌍체 롤아웃 설계와 세 가지 실패 수준 과제([15]의 그림 2, 원 논문에서 재현).
RoboTwin에 대한 일곱 개 월드 모델 전반에서 실패 유형 빈도 오차는 반복성 기준선의 0.061에 대해 0.159에서 0.335 범위이다. 성공률 상관이 가장 좋은 모델(DW05, 0.597)은 단계 수준 상관이 0.052에 불과하며, 모든 모델의 단계 상관은 기준선의 0.903에 대해 −0.123에서 0.095 사이에 분포한다. 420건의 경계 비교 중 400건(95.2%)에서 모델은 장면이 변할 때 성공이 얼마나 떨어지는지를 과소평가한다. 경계 테스트는 시뮬레이션에만 존재하며, 상관은 신뢰구간 없이 세에서 다섯 개의 정책에 걸쳐 계산된다.
| Roz [14] | WorldFailBench [15] | |
|---|---|---|
| 테스트 대상 | 잠재 변수가 이력과 드러난 물리적 속성을 인코딩하는지 여부 | 시뮬레이션된 롤아웃이 실패 유형, 단계, 경계를 재현하는지 여부 |
| 방법 | 인코더 잠재 변수에 대한 레이블 없는 삼각 테스트, L1 및 코사인 | 참조 대 월드 모델의 쌍체 폐루프 롤아웃 |
| 모델 | V-JEPA 2, Qwen, Cosmos, FastWAM, DreamDojo | Cosmos-Predict-2.5, DreamDojo, GE-Sim 2.0을 포함한 7개 월드 모델 |
| 주요 결과 | Qwen(0.07)을 제외한 모두에서 폐색 0.00; MSE가 절반으로 줄어도 DreamDojo는 30/42로 정체 | 최고 단계 상관 0.095 대 기준선 0.903; 경계의 95.2%가 과소평가됨 |
| 주요 한계 | 예측이 아닌 특징을 탐색; 단일 체크포인트 | 시뮬레이션 전용 경계; 상관당 3–5개 정책 |
표 3. 월드 모델에 대한 두 가지 진단적 평가(전문 검증 완료).
핵심 요점
- 이미지 수준의 견고성과 물리적 이해는 분리 가능하다: 경로 독립성을 완벽히 통과하는 모델이 폐색과 반발에서 실패한다 [14].
- 결과 일치는 실패 일치가 아니다; 월드 모델은 정책의 순위를 그럴듯하게 매길 수 있으면서도 그 실패를 잘못된 단계에 배치할 수 있다 [15].
- 10월의 관련 연구들은 다른 각도에서 같은 격차를 지적한다: 비디오 모델을 위한 측정 기반 물리 테스트 [16], 편향된 월드 모델이 여전히 정책 순위를 올바르게 매기는 조건에 관한 이론 [17], 그리고 생성된 세계의 3D 일관성을 위한 벤치마크 [18].
- 두 편의 추가 논문은 같은 진단을 더욱 날카롭게 한다: 단일 프레임 JEPA 잠재 표현은 속도 정보를 전혀 담지 않으며 [26], 이는 [14]의 낮은 속도 점수와 일치한다. 그리고 공개된 로봇 월드 모델들은 공식 데이터로 미세 조정한 후에도 검증된 484개의 실패 반사실 중 80%에 대해 여전히 성공과 유사한 결과를 예측하며, 표적화된 실패 데이터를 사용해야만 30–43%로 떨어진다 [27].
추가 사항
월드 액션 모델
- Utility-WAM은 생성된 미래에 조건화하는 것이 평균 성공률을 1포인트 미만으로 변화시키지만 정밀 작업에서는 54포인트를 손실시키며, 이를 잔차 어댑터와 RoboTwin 쿼리의 75.5%에서 비디오 생성을 건너뛰는 게이트로 수정한다 [3].
- 노이즈 제거된 반사실 프로토콜은 표준 best-of-N 추정이 선택 가능한 여유를 과대평가함을 보여준다; 실패 게이트 선택기는 폐루프 성공률을 76.9%에서 81.6%로 높인다 [4].
- WorldBridge는 새로운 작업의 행동 없는 비디오가 분포 외 RoboTwin 성공률을 25.07%에서 55.90%로, 작업당 하나의 라벨링된 시연이 70.70%로 끌어올린다고 보고한다 [5].
- CtrlWAM은 훈련 중 교란된 행동을 시뮬레이션된 시각적 결과와 짝지어 생성된 비디오와 행동 간의 일치를 강화한다 [6].
- Video Prediction Policy 2는 조작 영상으로 비디오 모델을 계속 사전 훈련하고 제로샷 ALOHA 작업에서 최강 베이스라인 대비 +18.5포인트를 보고한다 [7].
메모리와 장기 지평 생성
- Fréchet Forcing은 분포 수준 목표를 사용하여 짧은 클립으로 스트리밍 월드 모델을 미세 조정하며, 교사 없이 4,000프레임 이상 롤아웃을 안정적으로 유지한다 [10].
- Mix Forcing은 14B 모델의 인과적 사전 훈련 중 교사 강제 어텐션과 양방향 어텐션을 결합하여 품질 손실 없이 수시간 길이의 롤아웃을 보고한다 [11].
- L3G-World는 장면 메모리를 잠재 3D 가우시안으로 저장하여 생성기의 잠재 공간에 직접 렌더링하며, 9 FPS에 도달한다 [12].
- GROME는 정적 장면 기하와 동적 엔티티 상태를 분리하고 둘 모두를 훈련 없이 동결된 비디오 월드 모델에 주입한다 [13].
평가와 이론
- World Models' Last Exam in Physics는 40개의 통제된 작업에서 물리적 일관성을 측정한다; 8개 비디오 모델 중 최고가 100점 만점에 57.76점을 기록한다 [16].
- 상대 오차 분석은 학습된 월드 모델이 RL 정책 순위를 잘 매길 수 있음(Kendall τ 0.96 및 0.80)을 보여주는 한편, 실제 감사는 여전히 정보량이 약함을 보여준다 [17].
- Orbia는 720개의 탐색-재방문 인스턴스에 걸쳐 27개 대화형 월드 모델의 3D 일관성을 평가한다 [18].
언어 및 에이전트 세계 모델
- GUI 행동 선택에 대한 통제된 개입 실험에서, 평가기를 직접 학습시킬 경우 예측된 다음 화면이 감지 가능한 순위 신호를 전혀 추가하지 못한다는 사실이 발견되었다. 직접 행동 순위 결정기는 AndroidWorld 성공률을 5.8–16.4포인트 향상시킨다 [28].
- LGWM은 다음 화면의 표현을 예측하여 GUI 전환을 검증하며, 185만 건의 실제 전환으로 학습되므로 잘못된 행동으로 도달한 정당한 화면도 표시해낼 수 있다 [29].
- 소프트웨어 세계 모델은 코드 변경이 어떤 하위 구성 요소를 깨뜨릴지 예측하며, 후보 변경을 실행하는 과정에서 학습된다 [30].
잠재 계획
- LaLa-World는 행동을 자연어로 기술하여 여러 도메인에 걸친 하나의 JEPA 스타일 잠재 세계 모델을 학습시키며, 비디오 모델 기반 계획기와 동등한 성능을 6배 낮은 학습 비용으로 달성한다 [19].
- ID-WM은 계획을 고수준 도달 가능성 모델과 저수준 역동역학 세계 모델로 분리하며, 장기 지평 과제에서 단일 수준 MPC 대비 135%의 이득을 보고한다 [20].
- world2vec은 보상 없이 기계론적 잠재 동역학을 학습하고 DreamerV3보다 한 자릿수 적은 매개변수로 71개의 벤치마크 끌개를 식별한다 [21].
이전 호와의 비교
2026년 8월호는 WAM만을 다루었으며, 상상된 미래의 비용, 미래가 무엇으로 구성되는지, 규모와 인터페이스, 그리고 초기 자기 감사라는 주제를 중심으로 구성되었다. 이번 호는 범위를 세계 모델 전반으로 넓히므로 그 수치들은 비교 가능하지 않다. 세 가지 흐름이 이어진다. 비용 흐름은 모델 측 수정(비동기적 선행 탐색, 캐시된 미래 키)에서 실제 하드웨어에서 측정된 배포 엔지니어링으로 [2], 그리고 미래 분기가 때로는 계산할 가치가 없다는 증거로 [3] 이동했다. 미래가 무엇으로 구성되어야 하는가라는 질문은 이제 한 가지 설정에 대해 통제된 답을 갖는다 — 분리된 스트림에서의 2D-의미론적 목표가 견고한 선택이며, 픽셀, 3D 및 비디오 목표는 패러다임에 의존한다 [1]. 감사 흐름은 8월에 이미 하나의 완전한 섹션이었으며, 그곳에서 네 건의 감사가 렌더링 품질과 행동 충실도가 느슨하게만 결합되어 있음을 발견했다. 10월의 감사들은 한 단계 더 깊이 들어간다 — 모델이 행동을 따르는지 여부에서 나아가 그 잠재 표현이 물리적으로 관련된 상태를 담고 있는지 [14, 26], 그리고 그 시뮬레이션된 실패가 실제 실패와 일치하는지 [15, 27] — 그리고 같은 격차를 발견한다. 8월의 열린 질문 중 두 가지도 부분적인 답을 받았다: [2]는 최적화된 기준선 대비 지연 시간을 측정하고 구체적인 반응성 절벽을 명명하며, [1, 22]는 미래 채널이 실제로 이득을 전달하는지 통제된 절제 실험으로 검증한다.
범위 및 방법
검색 및 선별
코퍼스는 Parallax 라이브러리에서 최초 arXiv 버전 날짜가 2026-10-01부터 2026-10-31까지인 논문들이다. 두 경로를 결합했다: 제목과 초록에 대한 키워드 경로("world model", "world models", "world-model", "world action model", "world simulator", "world simulation model"; 545편)와, 시뮬레이션, 계획, 정책 학습, 로보틱스, 주행, 게임 또는 인터랙티브 비디오에 사용되는 학습된 환경 역학 모델의 정의로 표현된 의미 경로(상위 600편; 관련 논문이 여전히 600위 근처에 나타나므로 이 경로는 잘린 것이다). 이들의 합집합인 724개 후보는 하나의 기준 — 학습된 모델이 환경이나 장면이 어떻게 진화하는지 예측하는 것이 기여의 중심인가 — 에 대해 AI로 선별했으며, 지나가는 언급, 행동이나 역학 프레이밍이 없는 단순 비디오 생성, 학습된 예측 모델이 없는 정책은 제외했다; 579편이 선별 세트 "World models · Oct 2026 · screened"로 유지되었다. 이들은 확인된 경로들 내의 선별된 후보이며, 분야의 규모가 아니다. 포함된 579편의 제목을 모두 읽어 테마를 선택했고, 점수가 가장 높은 제외 20편은 초록과 대조해 확인했다: 논쟁의 여지가 있게 포함되어야 할 경계 논문 몇 편이 제외되었고(예를 들어 비디오 렌더러와 결합된 게임 엔진, 그리고 월드 모델을 위한 실시간 사운드), 느슨하게 관련된 논문 몇 편이 유지되었다(예를 들어 소매 예측); 어느 쪽도 테마를 바꾸지 않는다. 언어 에이전트 월드 모델(GUI, 웹, 소프트웨어 및 코드 세계)은 이 세트에서 상당한 클러스터를 형성하지만, 이 호에서는 ‘추가 사항’ 아래에서만 다룬다.
증거 깊이와 격차
특집 논문 여섯 편 [1, 2, 8, 9, 14, 15]은 전문을 읽었다: 다섯 편은 여기 인용된 각 수치 뒤에 있는 표나 절을 인용하는 논문별 검증 노트를 통해, 한 편 [8]은 절별로 직접 읽었다. 재현된 모든 그림은 캡션을 달기 전에 확인했다. ‘추가 사항’ 아래의 논문들과 테이크어웨이의 관련 연구 줄 [3–7, 10–13, 16–30]에 있는 논문들은 저자들이 진술한 내용을 기준으로 초록 수준에서 기술한다. 테마는 세트에서 가장 많은 논문이 다룬 문제들을 기준으로 선별 세트에서 선택했으며; 세트 내 의료, 스케줄링 및 시계열 "월드 모델"은 특집으로 다루지 않았다. 특집 결과 대부분은 소규모 실제 로봇 연구를 동반한 시뮬레이션 기반이며, 여러 편은 시드 분산을 보고하지 않는다 — 위의 각 결과 옆에 명시했다.
참고문헌
[1] Qisen Ma, Yixiang Chen, Yuan Xu, et al. What Matters for World Modeling in Vision-Language-Action Models?. 2026. arXiv preprint. arXiv:2610.19825
[2] Huanan Liu, Ye Li, Kangye Ji, et al. RealtimeWAM: How Fast Can I Run My World Action Model?. 2026. arXiv preprint. arXiv:2610.10079
[3] Feihong Zhang, Xi Lin, Yulong Shi, et al. Utility-WAM: Correcting Future-Induced Action Changes. 2026. arXiv preprint. arXiv:2610.39367
[4] Haojia Gao, Yue Cao, Yumin Liu, et al. How Much Can Best-of-N Help a World Action Model? Measuring Selectable Headroom and Realizing It in Closed Loop. 2026. arXiv preprint. arXiv:2610.37196
[5] Jun Cen, Yubo Guo, Hao Li, et al. WorldBridge: Bridging Video and Action for Task Generalization in World Action Models. 2026. arXiv preprint. arXiv:2610.40748
[6] Chensheng Peng, Wenhao Ding, Ran Tian, et al. CtrlWAM: Controllable World Action Models with Aligned Intent and Foresight. 2026. arXiv preprint. arXiv:2610.00859
[7] Yanjiang Guo, Haodong Yan, Zhide Zhong, et al. Video Prediction Policy 2: Predict Better, Act Better. 2026. arXiv preprint. arXiv:2610.10270
[8] Junyi Wu, Zekun Li, Chenhongyi Yang, et al. World-T3: Test-Time Training as Persistent Memory for Real-Time Video World Models. 2026. arXiv preprint. arXiv:2610.17434
[9] Ziming Wang, Chuyue Gong, Hongliang Cao, et al. Old Is Not False: Valid-Time Memory for Interactive Video World Models. 2026. arXiv preprint. arXiv:2611.00758
[10] Yian Zhao, Yu Yan, Hongcan Guo, et al. Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips. 2026. arXiv preprint. arXiv:2610.25666
[11] Zelin Gao, Hao Ouyang, Jiapeng Zhu, et al. Mix Forcing: Causal Pre-Training via Mixture Attention for Interactive World Models. 2026. arXiv preprint. arXiv:2610.33589
[12] Jinhyeok Choi, JoungBin Lee, Jongmin Lee, et al. L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory. 2026. arXiv preprint. arXiv:2610.40614
[13] Fang Yu, Xiaoxue Wu, Haiyu Zhang, et al. GROME: GROunding Factorized MEmory into Video World Models. 2026. arXiv preprint. arXiv:2610.39812
[14] Kenneth Ge, Dhruv Sheth, Kunvar Thaman. Roz: A Taste Test for World Model Latents. 2026. arXiv preprint. arXiv:2611.00612
[15] Zheng Zhang, Xiaoyang Tang, Shuaiqi Cheng, et al. WorldFailBench: Do World Models Understand Policy Failures?. 2026. arXiv preprint. arXiv:2610.33565
[16] Mingju Gao, Qingle Liu, Yuzhao Peng, et al. World Models' Last Exam in Physics. 2026. arXiv preprint. arXiv:2610.08791
[17] Ahanaf Hasan Ariq, Hasaan Ahmad. World Models Need Not Be Right to Rank Policies Right: Relative Bounds and Audit Limits. 2026. arXiv preprint. arXiv:2611.01139
[18] Dongyue Lu, Guian Fang, Hur Lim, et al. Orbia: Do Generated Videos Form a Consistent 3D World?. 2026. arXiv preprint. arXiv:2610.20693
[19] Junha Song, Geonmo Gu, Jeongeun Park, et al. LaLa-World: Scaling Latent World Models with Natural Language Actions. 2026. arXiv preprint. arXiv:2610.27851
[20] Gaoyue Zhou, Yvonne Wu, Zichen Jeff Cui, et al. Hierarchical World Models with Implicit Dynamics. 2026. arXiv preprint. arXiv:2610.42146
[21] Tobias Schmidt, Rodrigo Gonzalez Laiz, Krisztián Szuppinger, et al. world2vec: Mechanistic world models through latent dynamics learning. 2026. arXiv preprint. arXiv:2610.40637
[22] Hanwen Cui, Yuanyuan Li, Qing Guo, et al. What Does World Modeling Actually Improve in Robot Action Learning?. 2026. arXiv preprint. arXiv:2610.34593
[23] Chan Yan Ki, Yanran Zhang, Wenzhao Zheng, et al. State World Models: Execute the Rules, Generate the Pixels. 2026. arXiv preprint. arXiv:2610.26811
[24] Zike Wu, Ahmed Hatem, Chintan Trivedi, et al. BoxWorld: Let World Engines Control and Video Generators Render. 2026. arXiv preprint. arXiv:2610.36371
[25] Nan Zhou, Jianxiong Gao, Qiuyu Wang, et al. WorldMemBench: A Comprehensive Benchmark for Memory of Video World Models. 2026. arXiv preprint. arXiv:2610.19063
[26] Tinghe Zhang, Chunyu Liu, Yu Leon Liu, et al. Frozen in a Frame: The Velocity Blind Spot in JEPA World Models. 2026. arXiv preprint. arXiv:2610.04585
[27] Jiuyi Xu, Xiao Hu, Meida Chen, et al. World Models Dream of Success: Diagnosing and Repairing Failure Insensitivity in Robot World Models. 2026. arXiv preprint. arXiv:2610.09134
[28] Sizhe Tang, Hanhan Zhou, Jeffrey Svajlenko, et al. Beyond Next-Screen Prediction: The Decision Value of GUI World Models. 2026. arXiv preprint. arXiv:2610.24372
[29] Jiaming Zhang, Xuan Wang, Fuyao Zhang, et al. Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents. 2026. arXiv preprint. arXiv:2610.11942
[30] Tongli Su, Yuntong Hu, Liang Zhao, et al. Software World Models: From Consequence Prediction to Decision Value. 2026. arXiv preprint. arXiv:2610.04940
이 보고서 인용하기
@misc{parallax-2026-world-models-october-2026,
title = {{World Models in October 2026: From Building to Measuring}},
author = {{Parallax}},
year = {2026},
month = nov,
howpublished = {\url{https://parallax.ink/research/en/world-models-october-2026}},
url = {https://parallax.ink/research/en/world-models-october-2026},
note = {Parallax Research, Digest}
}