Parallax
ダイジェスト

2026年8月のWorld Action Models — 月次進捗号

2026年8月は、世界行動モデル(WAM)がスローガンではなく工学的アジェンダへと変わる月だった。スクリーニング済みコーパス全体で浮かび上がった共通テンプレートは、シーンの変化を予測する動画または潜在ダイナミクスのバックボーンと、それを読み取る行動エキスパートを組み合わせたものであり、今月の研究はこのテンプレートが苦しむ2つの点に集中している。すなわち、予測される未来が何から構成されるべきかということと、それを実際の制御ループに使えるほど安価に保つにはどうするかということである。第一の問いへの最も活発な答えは潜在・構造化された未来(ポイントマップ、幾何、意味、動き)であり、複数の論文がRGBを超える監督がロバスト性を変えるのであって忠実性を変えるのではないことを示した。第二の問いへの最も活発な答えは、非同期ルックアヘッド、キャッシュされた未来キー、計算を選択可能なストリーム、追加のサンプリングステップを要しないポストトレーニングであった。第三の、より静かな変化は、この分野が自己監査を始めたことである。エキスパート外の行動追従、隠れ状態の追跡、介入の忠実性、シミュレータの契約が8月にすべて測定され、最初の結果は、視覚的品質と制御能力の結びつきが緩いことを示している。

対象期間:2026-08-01から2026-08-31に初回投稿された論文をライブラリから読んだ。カバレッジ:4つの検索経路から341件の候補、スクリーニングで204件を保持、48件を全文深度で読了(48件すべてを2パスで完了)、うち15件を図とともに以下で詳述する。本号はシリーズの第1号であるため、比較ではなくベースラインである。

mermaid
mindmap root((WAMs, August 2026)) Test-time cost GlanceWAM · 1 ForeWAM · 2 WAM-OPD · 3 RISE, Faster-WAM, SLIM-0.5B · 4, 5, 6 What the future is made of DreamWAM · 7 Flex-pi · 8 JEPA-WAM · 9 GaussianWAM, LEON, Vid2WAM · 10, 11, 12 Scale and interfaces ZimaBlue · 13 Riemann-1.0 · 14 Motus2 · 15 LD4WAM, Zero-WAM, Hydra-0 · 16, 17, 18 Beyond manipulation GeoWAM · 21 Hydra · 22 GameWAM · 23 driving, navigation, interactive worlds · 24, 28, 30 Auditing the model WorldExam · 32 Action following · 33 Simulator cost · 34 hidden state, intervention fidelity · 35, 36

図1. 本号の5つのテーマとその中の注目論文。数字は本文で用いられる参照番号である。

1 想像された未来を手頃なものにする

今月最も一貫した工学的な物語は、テスト時の想像が制御クロックから切り離されたことである。3本の論文が、同じパイプライン上の3つの異なる点でこれに取り組んでいる。すなわち、未来がどれくらいの頻度で更新されるか、更新された未来がどのように行動ヘッドに届くか、そして訓練が終わった後にポリシーがそもそも未来を必要とするか、である。

1.1 GlanceWAM:まれに予測し、継続的に行動する

GlanceWAMの主張は、WAMの速度と成功率のジレンマは視覚的先見そのものではなく、動画生成を制御クロックに結合することから生じるというものである。その修正は、単一の共有SkyReels-V2-1.3B動画DiT上での2つの時間スケールの方式である。約3秒先の単一の疎なルックアヘッド潜在が遅いバックグラウンドクロックで生成され保持され、一方フローマッチング行動ヘッドは制御レートでその古い潜在に対して行動チャンクをデコードし、ピクセルにデコードすることは決してない。共訓練ではランダム化されたオフセットを用いるため、行動ヘッドは様々な時間的距離にあるルックアヘッドフレームに向けた逆ダイナミクスを学習し、これにより保持された潜在が単に古いだけでなく使用可能になる。

図2. GlanceWAM:(a) 分離ルックアヘッド共訓練と (b) 単一の共有動画DiT上での非同期潜在空間推論 — 疎なルックアヘッド潜在と保持状態スケジュールが注目すべき要素である(原論文より複製)。

報告されたエビデンスは、この分野の文献としては異例なほどよく統制されている。24タスクのRoboCasaキッチンスイートで72.2%(同一の50デモ/タスク条件下でCosmos Policyは67.1%)、実機ロボット試行で79.2%(π0.5は69.6%、Fast-WAMは48.0%)、そして16アクションチャンクあたり48 ms(同程度の成功率における同期型WAMの1133–3812 msに対して)。二つのアブレーションがそのメカニズムを裏づけている。学習済みチェックポイントでルックアヘッドトークンをゼロ化するとRoboCasaは61.6%に低下し、ルックアヘッドなしのベースライン64.4%を下回る。またホライズンのスイープでは約3秒付近でピークとなる。つまり未来は実際に使われており、そのおよそ3秒で十分だということである。著者自身が指摘する注意点は、シミュレーションの数値がブロッキング評価クライアントから得られたものであるため、完全にパイプライン化されたリアルタイム閉ループでの成功は推論されたものであり、実証されたものではない、という点である。

1.2 ForeWAM:未来のピクセルではなく、未来のキーを保持する

ForeWAM(Foresight Without Seeing)は、リフレッシュレートではなくインターフェースを標的にしている。直接ポリシーのインターフェース——現在の観測のみに条件づけられた行動——を維持しつつ、クリーンな現在の潜在表現にガウス初期化された未来スロットを連結したものに対して一度だけvideo-DiTのprefillを実行し、得られたkey–value状態をキャッシュして、すべての行動デノイジングステップでそれらを再利用する。ダイナミクスレジスタは学習中に教師ありで訓練され、推論時に出力されるため、未来インデックス付きの計算がピクセルデコードなしに行動経路へ到達できる。これは「潜在表現かピクセルか」よりも鋭い区別である。本論文は、この分野が予測とレンダリングを混同しており、video DiTはすでに未来位置において隠れ状態を形成していると論じている。

図3. ForeWAM:動的レジスタを伴うVAEエンコードされた動画および行動ストリームに加え、未来のキーを行動デノイジングへ経路づける学習時および推論時のマスク(原論文より転載)。

著者のプロトコル上では、その見返りは分布シフトに集中している。LIBERO-Plusで77.6%(対応するFast-WAMは51.5%、いずれもポリシーレベルの身体性事前学習なし)、50デモ/タスクのRoboCasaで59.2%対49.5%、そして6.3倍のレイテンシ削減(88.7 ms対556.3 ms)はほぼすべて行動ステージに帰属される。コンポーネントのアブレーションがインターフェースこそが要点であることを示している。潜在行動の教師あり学習のみではLIBERO-Plusは53.6→54.8、Future-KVのみでは58.5、そして両者の組み合わせで76.7となる。実機のOODタスクでは、同じモデルは依然としてπ0.5に劣る(40.0%対45.0%)。論文もこれを報告しており、WAMベースラインに勝つことは強いVLAに勝つこととは同じではない、という有用な念押しになっている。

1.3 WAM-OPD:ポストトレーニング中も二出力構造を保つ

WAM-OPDは別の問いを立てる。WAMが二つの出力を持つなら、教師は何を監督すべきか。その答えは両方を jointly に、である。凍結されたより強いWAMが、生徒自身のロールアウト履歴に対して問い合わされ、対になったターゲット——予測された未来動画と、その動画から生成されたアクションチャンク——を返し、生徒は展開時に用いる正確な動画から行動への計算を保ちながら、両方で訓練される。VLA方式のオンポリシー蒸留に対する差分は、行動の監督がトークンレベルではなく動画条件づけであることであり、RL方式のワールドモデルポストトレーニングに対する差分は、報酬がラベル付きターゲットに置き換えられていることである。

図4. WAM-OPDの三つのステージ——生徒推論、教師ラベリング、オンポリシー蒸留——では、動画と行動の両方が生徒自身の履歴から監督される(原論文より転載)。

同一の生徒チェックポイントに対する報告された改善幅は大きく、一貫している。12個のRoboTwin 2.0タスクで平均33.8% → 65.7%、4つの実ロボットタスクで51.4% → 64.6%であり、いずれも1本の動画と1ステップの行動という展開予算を変えていない。3つのアブレーションタスクすべてにおいて、統合監視はどちらか単一モダリティを上回る(より良い単一モダリティ方式に対して+5.0 / +1.7 / +5.0ポイント)。これが、動画経路が有用な情報を運ぶという本論文の主張の具体的な証拠である。ただしこれを緩和する点が2つある。教師履歴の供給元がタスク依存であること(あるタスクでは生徒履歴がはるかに良く、別のタスクでは教師履歴が良い)、そしてメイン表とアブレーション表が、あるタスクについて異なる評価抽出に依拠しているように見えることである。分析はこれを、著者らによる主張ではなく、報告された数値からの推論として記録している。

1.4 コスト軸の残り

さらに2本の論文が、同じ動きの幅を示している。RISEは固定されたロールアウト深さを学習されたSchedulerに置き換える。これはリスクプロファイルと計画利得プロファイルを予測する潜在評価器に加え、予測利得と計算量を天秤にかけるロールアウトゲートを備え、NAVSIM-v1 PDMS 91.5およびv2 EPDMS 90.8を平均2.40回のロールアウトで報告している。Faster-WAMは、深い行動モジュールは不要であることを見出した。1つの行動ブロックを保つアーキテクチャは、行動チャンクあたり52 msでLIBERO 98.3%を報告し、これはFast-WAMの196 msに対して、主に行動生成の内部で3.8倍のレイテンシ削減となる。極端な端では、SLIM-0.5Bがテスト時の予測を完全に削除し、将来予測を0.47Bの二ストリーム幹内部の潜在訓練信号として保ち、チャンクあたり60.6 msでLIBERO 97.5%を報告している(π0.5は193.1 ms、Fast-WAMは360.6 ms)一方で、LIBERO-PlusではVLA-JEPAより2.05ポイント低い。その再利用可能な成果物は崩壊診断である。EMAなしの変種は将来潜在のMSEがより低い一方で、有効ランクが61.28 → 13.95へ低下する。すなわち、見かけの良い損失が崩壊した表現を隠しているのである。

表1. 各論文がテスト時コストをどこで取り除くか。著者らが報告した結果と、本号のための証拠基盤を添えて。

論文コストを取り除く場所見出しの報告結果(設定)証拠基盤
GlanceWAM 更新頻度:約3秒ごとに1回のスパースな先読み、潜在は決してデコードされない72.2% 対 67.1% Cosmos Policy(RoboCasa、24タスク、タスクあたり50デモ);48 ms/チャンク全文
ForeWAM ピクセルデコード:Future-KVキャッシュを行動デノイジングで再利用77.6% 対 51.5% Fast-WAM(LIBERO-Plus、ポリシー事前訓練なし);88.7 ms 対 556.3 ms全文
WAM-OPD 推論ではなく訓練:1動画/1行動ステップでの蒸留65.7% 対 33.8% 同一生徒(12 RoboTwinタスク);64.6% 対 51.4% 実ロボット全文
RISE ロールアウト深さ:学習された継続/停止判断平均2.40回のロールアウトで90.8 EPDMS(NAVSIM-v2)全文
Faster-WAM 行動モジュール深さ:深い行動エキスパートなし98.3% LIBERO;チャンクあたり52 ms 対 196 ms Fast-WAM全文
SLIM-0.5B 未来そのもの:予測は訓練時のみ0.47Bで97.5% LIBERO;60.6 ms/チャンク全文

要点

  • テスト時の想像は、チャンクごとのコストから、スケジュール化またはキャッシュ化されたリソースへと変換されつつある。報告されているレイテンシ改善(6倍から3.8倍)は、著者のベンチマークにおいて成功率が変わらないか向上した状態で達成されている。
  • メカニズムに関する主張は、未来チャネルを除去するアブレーション(ルックアヘッドのゼロ化、キャッシュ経路の凍結、ジョイント教師信号の除去)によって裏付けられており、これは飽和したベンチマークにおける新たな最先端結果よりも強い証拠である。
  • 未解決の問いはクローズドループのリアリズムである。GlanceWAMはブロッキングなシミュレータクライアントで評価しており、本稿で取り上げた論文はいずれも、OODタスクで打ち負かすVLAに対して、 embodied pretrainingと計算量を一致させた比較を報告していない。

2 想像される未来は何で構成されるか

第二の集中点は、スケジュールではなくターゲットに関するものである。いくつかの論文はバックボーンを維持したまま、ビデオエキスパートに表現を求められる内容を変更している——RGBの未来はタスクに関連する状態変化と nuisance な外観を絡み合わせており、未来の他の射影の方が制御信号をより効率的に運ぶという主張である。

2.1 DreamWAM:運動・幾何・意味論としての未来

DreamWAMはFast-WAMの2エキスパートバックボーンを維持し、3つの教師付き未来ビュー——オプティカルフロー、深度由来の幾何、DINOv2意味論——を、行動に関連する未来状態の相補的な射影として追加する。そのルーティングに関する洞察は、これらのターゲットが互換ではないということである。VAEネイティブの運動はRGB潜在と共同でノイズ除去され、異種エンコーダの特徴はゲート付き残差ブランチを通じて入力され、推論時にはRGB以外のすべての経路が除去されるため、展開されるポリシーはRGBのみのままである。この論文の最も鋭い単一の結果は負の対照である。3つのターゲットすべてを共同でノイズ除去するとLIBEROで97.85%に達し、RGBのみのベースラインである98.00%を下回る一方、提案された混合ルーティングは98.90%に達する——メカニズムが教師信号の追加よりも重要である。

図5. DreamWAMの訓練時のワールドステート(RGB、フロー、深度、DINO)とゲート付きワールド残差予測。ゲートが追加ターゲットの悪影響を防いでいる(原論文から転載)。

変化が現れるのはロバスト性である。LIBERO-Plusはジョイント推論モードで69.16%から75.47%に上昇し、論文が重視するノーロールアウトモードでは51.36%から63.44%に上昇し、7つのシフト次元すべてで改善している。実機のデュアルアームプラットフォームでは、摂動条件下の平均が55.6% → 74.4%となる。シミュレーションのベースラインはすべて著者自身の再実装であり、対照比較はクロスメソッドのランキングではなく、一致させたFast-WAMのペアである——分析はこの点を明示的に指摘し、ロバスト性の主張は十分に裏付けられていると見なす一方、メカニズムの帰属(運動・幾何・意味論のどれがシフト下での改善を駆動するか)はシフト下でアブレーションされていない。

2.2 Flex-π:選択可能なストリームとしての幾何と意味論

Flex-πは同じ直観をさらに推し進め、ポイントマップとオブジェクト中心のDINO特徴を予測するが、その実現を可能にする観察はインフラストラクチャに関するものである。凍結されたWan-2.2ビデオVAEは、3Dポイントマップで訓練されたことはないにもかかわらず、それらを正確にエンコードする。したがって幾何の教師信号には、新しいセンサーも、新しい視覚事前も、推論コストも必要ない。ストリームごとの存在マスクと出力生成マスクにより、1つの6Bチェックポイントが選択可能なレイテンシ/精度のフロンティアへと変わる——行動のみで約60 msから、全ストリームで約193 msまで。

図6. Flex-π:RGB、ポイントマップ、DINOの各ストリームを共有ビデオVAEに通し、ストリーム存在マスクと出力マスクによって単一のチェックポイントをレイテンシ/精度のフロンティアに変える(原著論文より再掲)。

報告されているアブレーションは、このテーマを最も明確に定量化した記述である。単一のチェックポイントから、動画のみのストリームにDINOを追加すると+6.8%、ポイントマップを追加するとさらに+20%となり、これは50デモの5つのRoboTwinタスクにおける結果である。実世界での最大の差はデモ予算が少ないときに現れる(タスクあたり50デモで78.8%、これに対しπ0.5は31.4%、Fast-WAMは41.9%)。著者らは2つの限界を述べている。追加のモダリティは収束を遅らせ(≥10ファインチューニングエポック)、完全な同時生成は依然として同等のVLAよりも遅い。幾何が推論時に一度も生成されなくても役立つという主張が反証可能な核心であり、これに対する論文自身の証拠は、アクションのみのデコードがすでに実世界のあらゆるベースラインを上回っていることである。

2.3 JEPA-WAM:フレームではなく遷移を監督する

JEPA-WAMは対象のモダリティではなく、その性質を変える。凍結されたV-JEPA 2.1エンコーダが、現在の観測と未来の観測を時間方向にスタックして単一のパッチ構造のターゲットに符号化し、1つの共有0.5B予測器がパッチごとのコサイン距離で監督されると同時に、フローマッチングのアクションエキスパートを条件付ける表現を生成する。設計上の主張は、遷移関係は独立に符号化された端点からは復元できないというものである。端点の差分を監督するとLIBERO-Plusで70.9%に達するのに対し、ジョイントターゲットでは79.2%であり、V-JEPA特徴を保ったまま遷移予測を無効にすると73.2%に低下する。

図7. JEPA-WAM:凍結されたV-JEPA遷移ターゲット、LLM予測器、フローマッチングのアクションエキスパートが1つのバックボーンを共有する(原著論文より再掲)。

この結果は、潜在遷移の監督をロボット事前学習の代替ではなく、強力なVLAへの安価な追加要素として位置づける。大規模なポリシー事前学習なしでLIBERO-Plusで79.2%、同じ監督をπ0.5に追加すると86.3%(84.5%から)、実ロボットのID/OODで59.8%/54.2%(π0は51.8%/22.5%)。標準のLIBEROはほぼ飽和状態のままであるため、正直な要約は、この系統がもたらすのはロバスト性と展開コストであり、分布内でのピーク成功率ではないということである。

2.4 ターゲット設計空間の残り

上記のテキストを日本語に翻訳してください。すべての文を日本語で書き、途中で他の言語に切り替えないでください。

さらに3本の論文が境界を示している。GaussianWAM は異なる教師で同じ教訓を示す。訓練時に構築される一時的な3Dガウシアンフィールドが VGGT-Omega の深度と CLIP の意味論を担い、それらのターゲットを WAM の現観測潜在へ蒸留することで、FastWAM を LIBERO-Plus 上で 52.05% から 71.29% へ、Cosmos Policy を 71.52% から 77.30% へと引き上げる。しかも推論コストは増えない。この統合自体が、単純な独立蒸留に対して 1.92 ポイントの価値を持つ。LEON は、遷移の演算子こそが未探索の軸であり、そのターゲットではないと主張する。トランスフォーマー予測器を、文脈変調された低ランク演算子と加法的強制項に置き換えることで、VLA-JEPA の LIBERO 平均は 97.2% から 99.05% へ上昇するが、ポリシー向けの LaWAM 実装では中立のままである(84.13% 対 84.50%)。したがって、この論文自身の枠組みもそこでほぼベースラインの結果を受け入れている。Vid2WAM は同じ問いにデータ側から取り組み、動画拡散の事前分布を WAM へ蒸留することで、保留されたタスク軌跡を使用可能にする。新規 RoboTwin タスクでは 54.7%/55.3% 対 Fast-WAM の 45.0%/42.8%、実環境の新規タスク1件では 30% 対 5% であり、チャンクあたり 212.5 ms である。

表2. 未来ターゲットの設計選択と、著者らが報告するそれらの変化。

論文未来ターゲット推論コストの変化主要な報告結果(設定)
DreamWAM RGB + フロー + 深度 + DINO、ゲート付きルーティングなし(テスト時はRGBのみ)LIBERO-Plus 63.44% 対 Fast-WAM 51.36%(ロールアウトなし)
Flex-π RGB + ポイントマップ潜在 + DINO ストリーム選択可能(約60~193 ms)ポイントマップにより +20%(RoboTwin、5タスク、50デモ)
JEPA-WAM V-JEPA 遷移(端点のスタック)なし(ターゲット分岐は破棄)ポリシー事前学習なしで LIBERO-Plus 79.2%
GaussianWAM ガウシアンレンダリング深度 + CLIP ターゲットなし(訓練時教師)LIBERO-Plus 52.05% → 71.29%(FastWAM)
LEON 構造化演算子遷移(V-JEPA / DINO)未測定VLA-JEPA LIBERO 97.2% → 99.05%、LaWAM は中立
Vid2WAM 蒸留された動画拡散事前分布212.5 ms 対 教師 4894.5 msRoboTwin 新規 54.7% 対 Fast-WAM 45.0%

要点

  • 5つの独立したグループにわたり同じ発見が繰り返される。RGBを超えた監督は、分布内の成功よりもシフト下での頑健性を改善し、その利得は展開時に追加ストリームを破棄しても維持される。
  • ルーティングは要となる。DreamWAM の全デノイズ変種はRGBのみより悪く、GaussianWAM の統合キャリアは単純なマルチ教師蒸留を小さくしかし一貫した差で上回る。ターゲットを単純に追加しても機能しない。
  • このテーマのすべては LIBERO/LIBERO-Plus、RoboTwin、RoboCasa 上で測定されており、しばしば著者ら自身によるベースラインの再実装を伴う。論文間の百分率は指標にすぎない。

3 スケール、データ、そしていくつかのインターフェースを持つ1つのモデル

3番目の論文群は、WAM を事前学習パイプラインの終点として扱い、何がそれを汎用にするのかを問う。すなわち、どれだけの動画を必要とするのか、 embodiment をまたぐ行動インターフェースは何か、そして1つの重みセットがいくつの役割を果たせるのか、である。

3.1 ZimaBlue:動画スケールを軸として

ZimaBlueの主張は、新しいポリシーアーキテクチャではなく、行動ラベルのない身体化動画のスケーリングこそが汎化の主要な軸であるというものだ。これはWan2.2のテキスト-to-動画DiTを3段階で適応させる——最大120,000時間の因果的自己中心的動画およびロボット動画による事前学習、各身体化が自身のネイティブなスロットのみを活性化する統一100次元状態–行動空間上でのクロス身体化中間学習、そして対象ロボットでの事後学習——その後、結果を非同期のSlow(5B)/Fast(0.5B)ペアとして展開し、その連結はSlowモデルの初期層からエクスポートされたキー–バリューキャッシュである。

図8. ZimaBlueのSlow 5B動画DiTとFast 0.5B行動DiT。Slowモデルからの層状KV注入によって連結されている(原論文より再掲)。

報告されているエビデンスは広範であり、このコーパスとしては異例なほど実ロボット中心である:12のホールドアウト実タスクでのゼロショット平均77.8%対スクラッチからの36.1%、行動ラベル付きデータのみで46.1%、動画60K時間で66.9%、対してπ0.5が54.4%、DreamZeroが53.6%;摂動スイートで57.5%対15.0%;LIBERO-Plusでベンチマークごとのファインチューニング付き92.0%、ゼロショット86.7%;RoboCasa365の未見構成分割でABot-M0.6の16.5%対7.9%、そこでは100K時間の実ロボットデータで学習したVLAがなお総合でリードしている。レイテンシの話は展開側の半分である:Slowのみ、デュアルシステム、蒸留+コンパイルの各構成で449.6 ms → 33.0 ms、成功率コストは2.8ポイント。分析は、4つの学習構成が累積的であることを明示しているため、動画量はマルチ身体化行動データからきれいに分離されておらず、同じ予算をロボットデータに費やすマッチドコンピュートのベースラインは存在しない。

3.2 Riemann-1.0:単一の因果系列、結果の前に行動

Riemann-1.0は、マルチビューの視覚潜在、ロボット状態、行動を単一の因果系列に直列化し、それらを行動ファーストで予測し、次にその視覚的結果を予測する。事前学習、事後学習、展開のいずれにおいても同じマスクと目的関数を用いる。この順序付けが設計上の選択である:論文はこれを同時デノイジング、動画ファースト自己回帰、分離型2-DiT設計に対置し、混合人間–ロボット軌跡上の潜在行動モデル擬似行動、0.1から0.9へのλスケジュール、230,000時間のコーパスを用いて、弱教師あり動画を単一の目的関数下で使用可能にする。

図9. Riemann-1.0の行動ファーストの因果的可視性を持つ統一軌跡トークンと、その別個の潜在予測および行動予測ブランチ(原論文より再掲)。

ポリシー側の半分は十分に実証されている:RoboCasa-365で62.6%対最強の名前付きベースラインの54.2%、RoboTwin 2.0で94.3%、LIBEROで99.0%、4つの実タスクファミリーで成功率85.0%・進捗94.43%、ホールドアウト実OODタスクで85.0%対π0.5の50.0%。ワールドモデル側の半分はそうではない:マルチ身体化ロールアウトは定性的に示されるのみで(図10)、FVD/PSNRや行動忠実性の指標はなく、因果的因子分解を同時または分離型の代替と分離するアブレーションもない。「1つのチェックポイントがポリシーとシミュレータの両方である」という主張は、強いポリシーと測定されていないシミュレータを伴う設計上の立場として読むべきである。

3.3 Motus2:単一の重みセットにポリシー、シミュレータ、評価器

Motus2は単一の共有パラメータ集合を保持し、それを異なるクエリモードを通じて3つのインターフェースとして公開する。すなわち、ポリシー(WAM)、行動条件付きシミュレータ、価値評価器であり、行動優先で因数分解されている。この3つは閉ループに接続される。行動チャンクを提案し、その帰結を想像し、結果をスコアリングし、そのスコアをBest-of-Nテスト時選択とDiffusionNFT方式のポリシー更新の両方に用いることで、ポリシーはデモンストレーションを超えて改善できる。本論文はまた、データとスケーリングに関する実質的な内容も備える。約13万時間の一人称視点コーパス、触覚エキスパート、そしてネストされた2k〜20k時間のサブセット上で対数線形となるステレオ動画のスケーリング則である。

図10. Motus2:単一のパラメータ集合をポリシー、シミュレータ、評価器として公開し、右側にモデルベースRLと計画のループを示す(原論文から転載)。

目標ロボットのファインチューニングを揃えた5つの物理タスクにおいて、Motus2はマクロ平均成功率84%を報告し、これは自身の事前学習のみの初期化の51%、動画モデルベースラインとπ0.5の両方の0%と対比される。改善ループはさらなるポイントを上乗せし(2タスクでMBRLと計画により65.0% → 75.0%)、触覚エキスパートは接触の多い2タスクで12.5ポイントの価値がある。証拠のギャップは、論文自身の枠組みが招くものである。ループは実際のオンラインロボットデータではなく、オフラインのプレフィックスと想像によって実行されるため、ここでの「自己進化」とは学習されたシミュレータ内部でのポリシー改善を意味する。

3.4 人間の動画、コンパクトなスタック、3D状態

さらに4本の論文がこのテーマを補完する。LD4WAMは人間の動画から動きに整合した潜在ダイナミクス変数を学習する。すなわち、次セマンティック特徴の遷移をエンドエフェクタの動きに明示的に回帰させたものであり、これをLeRobotに統一された5,086時間・8データセットのコーパスと組み合わせる。RoboTwinの50タスクで93.4%、実世界で70.5%を報告し、π0.5の63.3%と対比されるが、自身のアブレーションでは実世界の利得の大部分を潜在ブリッジではなく事前学習コーパスに帰している。Zero-WAMは、言語ではなくインコンテキストの人間デモンストレーション動画によって新タスクを指定し、人間–ロボットのペアデータを自動生成し(74.2Kの人間–ロボットICLペア、8.6Kタスク)、テスト時トレーニングを一切行わずに実ロボットの未見構成での試行を報告する。Hydra-0は動画ワールドモデルを行動フロー、すなわちロボットの身体の疎で可視性を考慮した画像平面上の軌跡に条件付けする。これにより単一のインターフェースがembodimentとバックボーンをまたいで学習でき、固定バックボーン内でグリッパー運動誤差の90%削減、および参照成功率に対する開ループポリシー評価の相関r = 0.96を報告する。4DGS-WAMはピクセルを明示的に分解された4Dガウス状態に置き換え、アクターごとのSE(3)行動を予測し、物体スプラットのみを輸送する。KITTI-MOTにおいて所与のカメラでは2つの動画ワールドモデルを上回る(PSNR 18.80 対 17.46)が、予測カメラでは劣り、評価は短いホライズンのみである。最後に、AcrossWAM1.0は今月のエンジニアリング論文である。潜在WAMスタックにおいてポリシー–ワールド–行動の境界を明示し、0.8Bバックボーンが事前指定された2ポイント基準内で2Bのものを置き換え得ることを示し(2,000のペアLIBEROエピソードで97.45% 対 98.00%、McNemar p = 0.27)、推論時に到達可能なパラメータが42.4%少ないチェックポイントをエクスポートする。一方で、自身の言語グラウンディングにおける27.4%の指示遵守の弱さを指摘している。

表3. 著者らによって報告されたスケーリング軸と主要結果。

論文スケーリング軸報告された見出し(設定)根拠
ZimaBlue 120K時間の行動なし動画 + 100次元のクロスエンボディメント行動スクラッチから36.1%に対し77.8%(実機12タスク)、33.0 msループ全文
Riemann-1.0 230K時間コーパス、行動優先の統合因果系列ベースライン54.2%に対し62.6%(RoboCasa-365)、実機OODでπ0.5の50%に対し85%ポリシーは実測、シミュレータは定性的
Motus2 約130K時間の一人称視点 + 価値/評価器の結合一致させたSFTで51%に対し84%(物理5タスク)全文
LD4WAM 5,086時間の人間主体コーパス + 運動整合潜在ダイナミクスRoboTwin 93.4%、実機でπ0.5の63.3%に対し70.5%全文
Zero-WAM 文脈内人間動画プロンプト(8.6Kタスク)実機の未見構成、テスト時訓練なし全文
Hydra-0 7データソース(約2.2K時間)にまたがる行動フローインターフェース固定バックボーンでグリッパ運動EPE −90%、ポリシー評価 r = 0.96全文

要点

  • このテーマにおけるスケールの主張は実機偏重であり、それゆえに転移に関しては相応に強い(ZimaBlue、Riemann-1.0)。しかし比較対象は通常、事前学習の予算が異なるVLAであり、計算量を一致させた対照を報告しているものはない。
  • 「1つのチェックポイント、多数のインターフェース」は今や一般的な主張である。今月の集合では定量的に検証されているのはポリシーインターフェースのみであり、シミュレータの忠実度は定性的または未測定のままである。
  • 人間動画は共有されたスケーリングの通貨である。文脈内プロンプト、潜在ダイナミクス、行動フロー、統合行動空間は、それを教師信号に変える4つの異なる方法である。

4 テーブルトップの外へ:運転、ナビゲーション、インタラクティブな世界

操作がコーパスの大部分を占めるが、同じテンプレートが異なる故障モードを持つ領域へ移植されつつあり、そうした移植こそが今月最も興味深い負の対照が現れる場所である。

4.1 GeoWAM:運転のためにピクセルではなく幾何を予測する

GeoWAMの前提は、運転WAMにとって有用な未来とは未来のポイントマップであり、未来の画像ではないということである。モデルは多視点履歴をエンコードし、多レベルの履歴記憶を保持し、未来の幾何トークンをポイントマップにデコードする幾何ブランチと、軌道を生成する計画ブランチを持ち、ポーズデコーダはキャッシュされた幾何キーにクロスアテンションする。

図11. GeoWAM:多視点幾何エンコーディングが未来幾何ブランチと計画ブランチに供給され、両者はキャッシュされたキーを介してポーズ/幾何デコーダを共有する(原論文から転載)。

証拠は異例なほど明確である。なぜなら幾何の主張はラベルなしで検証できるからだ。nuScenes上で未来幾何を予測する際、nuScenesで一切訓練することなく、Abs Rel 0.202が得られ、専用の幾何ワールドモデルでは0.325、動画ワールドモデルから再構成した幾何では0.274であった。また計画のアブレーションは因果的であり、未来幾何予測を除くとnavtestで1.0 EPDMS、navhardで4.9 EPDMSを失い、navhard EPDMSは予測ホライズンとともに単調に増加する。ゼロショットのnuScenes計画(L2 0.89 m、衝突率0.12%)はnuScenesでのファインチューニングなしで報告されている。注意点は範囲である。すべての計画数値はオープンループまたは擬似クローズドループのNAVSIM変種であり、論文自身の最も強い主張は単一のベンチマークファミリーに関するものである。

4.2 Hydra:ワールドモデル自身の多様体の内側で探索する

Hydraは、プランナーとモデルが単一の埋め込みを共有するようにする。視覚状態、ポーズ、行動は一緒にエンコードされ、その後モダリティ固有のVQコードブック(視覚コード2048個、ポーズと行動のコードは各64個)によって圧縮される。そのためプランニングは、学習された有限個のキノダイナミック意図の集合を探索し、それらを潜在的なキネマティック・パーセプチュアルコストでスコアリングし(ピクセルへのデコードは一切行わない)、勝ち残った意図が条件付きフローマッチングによって滑らかなコマンドへと展開される。

図12. Hydra:意図のシーディング、VQコードブック量子化、top-k選択、KPCランキング、フローマッチングデコードをN回反復する(原著論文より再掲)。

機構と容量の分離が報告されている点が要点である。同一の探索予算において、プラン時間は約0.9秒であり、比較対象の連続潜在ベースラインでは500秒超である。障害物シナリオの成功率は100%/80%/80%(障害物なし/遮蔽あり/ブラインドコーナー)であり、ベースライン、その独自の決定論的ベース、コードブックなしの変種ではそれぞれ0/0/0、40/0/0、20/10/10であった。KPCのアブレーションは、各潜在コスト項が必要であることを示している(1つを除去すると平均衝突数は0.20 → 0.40–0.70)。見出しの数値を読むうえで重要な3つの限界がある。シナリオあたり10試行であること、ワークステーション上でのオフボード推論であること、そして比較ではベースラインをその調整済み構成ではなくHydra自身の探索予算とハイパーパラメータの下で実行していることである。

4.3 GameWAM:WAMというラベルがゲームとGUIに到達する

GameWAMは、ビデオと行動の共同テンプレートをネイティブな一人称視点のゲーム制御とGUI制御に適用する。並列な因果的ビデオ拡散トランスフォーマーと行動拡散トランスフォーマーが、共有されるクリーンな視覚プレフィックスを通じて結合され、「長く予測し、短く実行する」を展開して、オンラインでは将来ビデオのノイズ除去を省略する。報告されている改善は絶対値として大きい——800タスク超のMinecraftスイートにおける平均成功率は50.7(Mini)/46.6(All)で、OpenHAの36.8/31.5に対してであり、成功あたりの実行ステップ数は287に対して138である——そしてそのアブレーションは明確である。将来ビデオの監督を除去すると平均成功率は50.7から35.7に低下し、モダリティ分離マスクはオンライン周波数を8.12 Hzから12.51 Hzに引き上げる。

図13. GameWAMのビデオ–行動トランスフォーマー対:学習時は共有されるクリーンな視覚プレフィックスに対する結合アテンション、推論時はメモリのみのビデオ状態(原著論文より再掲)。

より転用可能な貢献は診断的なものである。本論文は生成的行動ポリシーのソース感度という失敗モードを切り分けている。そこでは行動出力の支配的なDCT帯域が、指示ではなく条件付けのソースに従う——その帯域をドナーと交換すると試行の94.8%で出力が変化し、それをゼロにすると関連する分散の99.25%が除去される。見出しの数値は論文間で再利用されるプロトコルに依存しており、マップごとの報酬値は図の中にしか存在しない。これは、論文をまたぐゲームエージェントの比較を慎重に扱うべきだという注意喚起である。

4.4 運転、航空、インタラクティブな変種

同じ月に、共通のベンチマークと共通の注意点を伴う密な運転クラスタが生まれた。SimWAMは、単一のフロントカメラでNAVSIM navtest PDMS 91.9を報告し、その分離されたattention maskが実質的に同等のPDMSで軌道推論を1512 msから518 msに短縮することを示す一方、そのco-trainingアブレーション(future-video supervisionありで86.5 → 90.3、RLありで91.9)はfuture-supervision効果を明快に述べたものである。DA-WAMは未来を候補固有のものとし、共有されたグローバルな未来は未来予測を全く行わないよりも悪いことを見出した(92.81対93.31 PDMS)。これは運転セットにおける最も鋭いネガティブコントロールである。BrainWAMは、VLMのsemantic tokenを予測分岐とattention共有させることは、world-modelのみの分岐と比較して悪化させること(87.8対89.5 PDMS)、またvideo-denoisingステップをゼロにするとPDMSが79.3に崩壊する一方、1ステップで89.3に回復することを報告している。WA-JEPAはV-JEPAのマスキング目的をfuture predictionに再ターゲットし、NAVSIM-v2で91.7 EPDMSに到達し、ゼロショットHUGSIM閉ループHD-Scoreは最強ベースラインの0.3252に対して0.4462である。

自動車以外では、FlowPilotがこのパラダイムをdepth-conditioned mixture-of-transformersを備えたクアッドロータに移植し、depth-frozenコントロールの26.0%に対して4.0%の衝突率、Jetson Orin NX上でのオンボード平均推論16.3 ms、最大5.5 m/sの森林飛行を報告している。UniNavはfuture video latents、連続waypoints、camera-geometry tokensを同時にデノイズし、最強のナビゲーションworld modelの0.593に対して平均ATE 0.491、約900 sの計画ベースラインに対して0.109 sのone-step pathを報告している——しかしすべての主要結果は事前収集データセット上のオフライン軌道誤差であり、閉ループのナビゲーション成功率指標はない。インタラクティブレンダリングでは、ReWorldが異なるattention windowの下で制御と長期記憶を訓練し、干渉を直接示している(action injectionを加えると制御は改善するがrevisit SSIMは0.3898 → 0.3376に低下する。per-head routingはunroutedレベルの制御を保ちながらrecallを回復する)。一方、Matrix-Game 3.5はgeometry-awareなpatch-level memoryを構築し、次善の4.50°に対して1.63°のcamera-rotation誤差、最高のrevisit SSIM、3ステップ蒸留後の単一H100上でのリアルタイムストリーミングを報告している——ただしそのgeometryは外部estimatorに由来し、動的エンティティには永続的な状態がないという正直な注意書き付きである。

表4. ドメインポートとその特徴的なメカニズム(著者による報告)。

PaperDomainDistinctive mechanismReported headline (setting)
GeoWAM DrivingFuture point-map forecasting feeding planningAbs Rel 0.202 vs 0.325 (nuScenes val, no nuScenes training)
Hydra NavigationDiscrete latent planning over learned intents≈0.9 s vs >500 s plan time; 80% occluded-scene success
GameWAM Games/GUIJoint video-action transformers, predict-long/execute-short50.7 vs 36.8 average success (Minecraft Mini)
DA-WAM DrivingCandidate-specific future latents93.7 PDMS NAVSIM-v1; shared future worse than none
BrainWAM DrivingAction-space coordination, not token fusion89.5 PDMS; zero video steps collapse to 79.3
FlowPilot AerialDepth-conditioned WAM, Bernstein action space4.0% vs 26.0% collisions; 16.3 ms onboard

要点

  • 他ドメインへの移植はNAVSIM型のオープンループまたは疑似クローズドループ評価に収束しつつあり、物理展開を報告しているのはHydra、FlowPilot、GameWAM、ZimaBlue級のシステムのみで、しかも通常は試行回数が少ない。
  • 運転クラスタは今月最良のネガティブコントロールを生み出した。共有未来、時期尚早な意味融合、過激すぎるノイズ除去はいずれも逆効果であり、WAMスタックを組む者にとって有用な指針となる。
  • 用語の揺れは実在する。これらの論文のいくつか(GameWAMは例外)は「world action model」を一度も使っておらず、インタラクティブレンダリング系のシステムは行動を推論するのではなくカメラを制御している。

5 分野が自己監査を始める

8月に最も予想外だった変化は、WAMの中核オブジェクトが宣伝どおりに実際に機能するかを問う論文がどれほど多いかである。期間内に4件の異なる監査が現れ、その結果は一貫している。レンダリング品質と行動的忠実性の結合は緩いのである。

5.1 WorldExam:外観ではなく能力

WorldExamは4段階の診断階層——視覚品質、制御遵守、空間的一貫性、世界反応性——であり、1,474件の厳選ケース上の8タスクとして実装され、20の動画ワールドモデルに適用された。その設計上の選択は、プロンプトからインタラクションの結果を伏せることであり、ただ指示されたとおりに描画するだけのモデルは合格できない。報告された結果は制御と反応性の間の鋭い解離である。行動駆動モデルは被写体制御で優位に立ち(LingBot-World 55.47 対 Veo 3.1の37.28)、言語駆動モデルは地形およびインタラクションタスクで大差をつけて優位に立つ(Vidu Q3の地形64.39に対し最良の行動駆動モデルは27.49)。またVLM判定器は800インスタンスで人間スコアとρ = 0.8614で一致する。

図14. WorldExam:4つの診断レベルをそれぞれの評価タスク、指標、代表例に対応付けたもの(原著論文より再掲)。

注意点は経験的というより定義上のものである。WorldExamはWAMの「世界」の半分を調べるだけで、行動空間の忠実性、ポリシー成功率、クローズドループ制御を一切検証しておらず、評価対象のシステムはいずれも自らをWAMと呼んでいない。したがってその見出しの能力分離は、各モデルがどのインターフェースを露出するかの部分的な産物である。

5.2 ロボットワールドモデルは本当に行動に従うのか?

WAMに最も直接関連する監査は、行動条件付きワールドモデルが任意の有効な行動に忠実に応答するか、単に実演を再生するだけでないかを問う。そのプロトコルは6つの専門家訓練済みモデルを5つの行動クエリカテゴリ——実演再生から次第に専門家外の行動まで——にわたって試問し、ロールアウトを視覚的完全性ゲートと、クエリされた行動のシミュレータ再生に対するSE(3)エンドエフェクタ一致度で採点する。診断は一貫している。完全性ゲート付き誤差は実演クエリから専門家外クエリにかけて0.029〜0.099 m上昇し、視覚的失敗率は6.3〜28.1ポイント増加する。論文は続いて処方箋——行動カバレッジの拡大と介入効果の監督——を提示し、著者らはこれによりシミュレートされたポリシー改善が51〜52%から65%へ上昇し(最も近いベースラインで同じ改善手順を行った場合は56〜57%)、実機成功率が48%から68%へ上昇したと報告している。

図15. WorldSyncの処方箋:行動カバレッジ拡大、行動強制エキスパート、介入効果の監督が、いずれも1つの行動条件付きワールドモデルへと供給される(原著論文より再掲)。

証拠のバランスは非対称であり、率直に述べておく価値がある。診断は広範(6モデル、50タスク)である一方、改善の主張は4タスクのアブレーション、1つの実ロボットタスク、そして一致しない更新回数に依存している。ゲート付き誤差における論文の主要な勝利はわずか(0.0661 対 0.0670)であり、それをより悪い生の軌道誤差と引き換えにしている。

5.3 WorldSimProbe:モデルをシミュレータとして評価する

WorldSimProbeは「観測可能なシミュレータ契約」によってシミュレータの役割を明示する。すなわち、供給された行動は対応するエージェントの運動を誘発しなければならず、環境の応答はその実現された運動に基づいていなければならない。これは3つのプラットフォーム上で18,000以上のインスタンスにわたる5つのスイートとして運用化されている。WAM研究にとって最も有用な発見は閾値の非対称性である。モデルの振る舞いが持続的に破綻する摂動の大きさは、ある主要システムでは0.374、別のシステムでは1.78であり、シミュレータの境界が0.05であるのに対して、両者とも参照シミュレータよりもはるかに大きな行動歪みを許容している。偽接触のグラウンディングが最も弱いトリガーであり(マクロ平均38.6 対 ディストラクタの75.0)、生成データで訓練されたポリシーは標準的な制御下では78–89%に達するが、分布外の制御下では21–53%となり、ベンチマークと一貫した順序を示す。

図16. WorldSimProbeの5つのスイート。局所的な行動校正から、グローバルなカバレッジとソース保存、相互作用のグラウンディングとダイナミクスに至るまで、RMFAベースのスコアリングを伴う(原論文より複製)。

5.4 隠れ状態、介入の忠実性、そして理論が述べること

さらに3つの監査がループを閉じる。行動条件付きの視覚的シェルゲームは、標準的な動画バックボーン——トランスフォーマー、Mamba2、線形注意、RNN——がもっともらしいフレームを描画するものの、訓練ホライズンを超えた隠れた交換を構成できないこと、より多くのノイズ除去ステップが助けにならないこと、そして2つの特定の状態キャリアの変更が助けになること(反射可能な線形注意は30回の交換で0.95の状態精度に達するのに対し、バックボーンはチャンスレベル;fast-weight TTT層は5/10/20/30回の交換で1.00/1.00/0.98/0.69を記録)を示す。キャプチャゲート付き介入監査は、ワールドモデルがタスククエリを保持し実際の効果を解決できる一方で、自身の5ステップの想像された効果が効果なしを予測するよりも悪いこと——キャプチャR²が0.58–0.61である3つのチェックポイントに対して、予測効果R²が−5.65/−3.36/−6.33——そして報酬チャネルがそれについて沈黙していること、一方でTD-MPC2モデルのサイズがエピソードリターンに対して演算子誤差でρ = −0.90と順位付けされることを示す。そして理論論文は、模倣されたワールド・アクション・コントローラが同じ閉ループ分布を持つ通常の確率ポリシーへと平坦化し、観測学習者では最悪ケースの後悔が≥ 1/4、厳密な最適解では1/2となる(有益な介入が利用可能でない限り)と論じる。それは実験を報告しておらず、有限のパラメトリッククラスは依然として表現上の優位性を享受しうることを認めている。姉妹のポジション論文はワールドモデリングをエージェント向けの情報プロキシとして再枠組みし、WAMに特有の主張を行うことなくWAMのための分類学上の枠を提供する。

表5. 今月の監査:それぞれが問う問いと、報告された主要な発見。

監査問い報告された主要な知見(設定)
WorldExam モデルは結果について推論したかのように反応するか?対照 ≠ 反応性;VLM判定器 ρ = 0.8614;20モデル、1,474ケース
Action following AC-WMは専門外の行動に従うか?専門外でのゲート付き誤差 +0.029–0.099 m;レシピによりシミュレーション改善が65%に向上
WorldSimProbe モデルはシミュレータとして振る舞うか?持続的失敗の発生率 0.374 対 シミュレータ 0.05(18,000件超のインスタンス)
Shell Game 隠れ状態は実際に追跡されているか?標準バックボーンでは偶然水準の外挿;状態キャリアの変更で修正される
Intervention gap 想像は正しい変数を動かすか?捕捉は合格する一方で予測効果のR²は負;リターンとの ρ = −0.90
Capability separation 未来予測は制御能力を追加するか?母集団の等価性;後悔境界 1/4 および 1/2(理論、実験なし)

要点

  • 監査は一致して、視覚的忠実度はWAMに必要なものの乏しい代理指標であるとしている。状態追跡、行動追従、介入忠実度はいずれも、レンダリング指標では見えない水準で失敗する。
  • 4つの監査のうち2つは、凍結されたサードパーティモデルに対して著者自身のプロトコルで実行されており、これは新しいベンチマーク単独よりもはるかに強い証拠である。
  • ここにあるのはWAMが機能しないという主張ではない。分野の成功率スタイルの評価では、WAMが主張された理由で機能することをまだ示せていない、という主張である。

その他の注目事項

効率性とポストトレーニングの変種。 DELE-w0.5は今月最も強い動画生成反対の主張を行う。すなわち、動画生成は不要な中間目的であり、代わりに未来の潜在状態から行動を推論する。4つの長期的双腕タスクで、最良のベースラインの30.0%に対して62.5%の全タスク成功率を報告し、その優位性はホライズンが長くなるほど増大し、推論レイテンシの中央値は87.5 msである。Vid2WAM とFaster-WAM は、それぞれ蒸留と深さ削減によって同じ目標を追求している。

接触リッチなマニピュレーション。 HiTac-WAMは触覚予測ブランチを凍結されたWAMに接続し、その予測を候補の再ランク付けと実行時の検証の両方に用いる。同じバックボーンで触覚経路なしの31.1%に対し、実ロボットでの平均成功率72.2%を報告し、コストは約1.4%のLPIPSと約0.9%の行動誤差である。Disentangling Visuo-Tactile Foresightは補完的な診断的アプローチをとり、学習された予測器をオラクルのデモンストレーションに置き換えて、視覚触覚の未来が行動エキスパートに到達するインターフェースを分離する。同一予算の比較では、ルーティングインターフェースが350ロールアウトで独立融合アームを8.3ポイント上回るが、この分析はタスクレベルでの逆転があるため、再現する価値のある仮説であると指摘している。

システムとオーケストレーション。 HarnessWAMは、有限ホライズンのWAMは計画、オクルージョン状態、検証、回復を担えないと主張し、これらをモデル外部の層として追加する。すなわち、VLMタスクマネージャ、証拠に基づく状態、そして計画をWAMが実行できるスキルに射影するコンパイラである。26タスクのメモリアリーナで、最強のベンチマーク特化ベースラインの38.5%に対し64.4%の全タスク成功率を報告し、同じバックボーンで+15.4から+26.0ポイントの向上、ある物理的な片付けタスクでは95.0%を示している。

クロス・エンボディメント・シミュレータとナビゲーション表現研究。 CLAPは3つの行動インターフェース(絶対エンドエフェクタ姿勢、言語行動、学習済み潜在行動)を単一の行動条件付き動画モデル内で調和させ、実機Franka上でのゼロショット計画が2つの強力なポリシーを上回る(2つのタスクで80%対40%、および75%)と報告する一方で、単一エンボディメントの最先端との知覚指標の同等性にはFVD/FIDの悪化が伴うこと、またクロス・エンボディメントのエンドエフェクタ条件付けには絶対行動が相対行動より優れることを認めている。表現と履歴の選択に関するナビゲーション研究は、そのフレームワーク内で再構成品質が予測品質と逆相関すること(ある表現ファミリーで最小再構成誤差0.069、別のファミリーで最大0.335)、最良の表現が直接予測と長期ロールアウトの間で入れ替わること、キャッシュ済み履歴アテンションがレイテンシとメモリを約7倍削減することを報告している——ただしこれはすべて開ループ評価のみである。

ベンチマーク。 PlayWorldは9つのインタラクティブ動画モデルを、固定された軌道を実行するのではなくオンラインで行動を適応させる閉ループのエージェントプレイヤーで評価する。最良のモデルは総合5点中2.12点で、2つの進化次元は1.95/1.81を超えることはなく、あるモデルは軌道検証の80.4%を通過しながらルーブリックでは1.48点である——ゴールへの到達と世界状態の保持が異なる能力であることを最も明確に示している。

注目すべき未解決の問い

  • 計算量を揃えたベースライン。 今月のすべてのスケーリング主張(動画時間、コーパスサイズ、蒸留)は、事前学習の予算が異なるシステムと比較されている。同じ計算量をロボットデータに費やした場合を報告したものはない。
  • 未来チャネルは第三者評価に耐えるか? 最も強い機構的証拠は内部アブレーションである。監査論文は安価な外部テストを示唆している:公開されたチェックポイント上で行動追従と隠れ状態の指標を再計算すること。
  • デプロイの算術。 報告されているレイテンシ改善はベンチマーク固有であり、デコーディング、ガイダンス、VAE、ネットワーキングを除外していることが多い。分野には依然として「リアルタイムWAM」のための共有測定プロトコルが欠けている。
  • 命名と重複排除。 スクリーニングされた集合内で、いくつかの異なる8月の論文が同じ名前を共有しており(2つの4D-WAM、2つのFaster-WAM、2つのJEPA-WAM、2つのSG-WAM)、月半ばまでには「-WAM」という接尾辞がマニピュレーション、運転、ナビゲーション、ゲーム、手術、無線、航空宇宙にまたがる。現在、タイトルではなく論文を読むことは避けられない。安定した分類体系があれば助かるだろう。

範囲と方法

対象期間と情報源

本号は2026年8月に初めて投稿されたWorld Action Model(WAM)の研究(v1の日付が2026-08-01から2026-08-31)を扱い、arXivの掲載日ではなくローカルライブラリから読んでいる。これは本シリーズの初号であるため初回のベースラインであり、比較すべき前号は存在しない。以下の「新規」とは8月の対象期間において新しいという意味であり、分野全体にとって新しいという意味ではない。

WAMは文献上で単一の定着した名称を持たないため、候補プールは対象期間において4つの経路から構築した:(a) タイトルおよびアブストラクトにおける文字どおりの名称バリアント(「world action model(s)」「world-action model(s)」「action world model」)——66件;(b) 単語としての頭字語WAM——56件;(c) タイトルに「world model」「world-action」「latent dynamics」「future imagination」のいずれかと、action/policy/robot/agentのいずれかの用語を含む論文——183件;(d) WAMの定義(行動に応じて環境がどのように変化するかを予測し、それを行動に用いる)として表現したセマンティック経路、上位300件(到達済み;類似度は0.59から0.37へ減衰)。重複排除後の和集合:341候補。

スクリーニング

341候補は、明示的なWAM境界に照らして一括スクリーニングした:中核的貢献が、行動に結合された環境進化の学習モデルである場合に含める——行動を条件として将来の世界状態(ピクセル、潜在表現、幾何、構造化状態)を予測すること、および/または身体性エージェントのために予測された将来から行動・ポリシー・計画を導出すること;除外するのは、行動を伴わない動画/3D生成、予測ダイナミクスを持たないvision-language-actionポリシー、非身体性のテキスト/ウェブエージェント向け世界モデル、エージェント軌跡のみの予測、頭字語のみの一致である。341件のうち204件が通過(137件を除外)。スクリーニングはタイトルとアブストラクトを用い、本実行前に2回の試行で校准した;基準はスクリーニング済みワーキングセット内で固定されているため、ここでの件数はこれらの確認済み経路を記述するものであり、分野の規模ではない。

読解の深さ

続いて48論文をバックグラウンドのサブタスクで全文深度で読解した:手法、実験、および明示された限界について、論文ごとのエビデンスノートに著者が報告した数値とその設定を記録した。25件の分析が第一パスで完了し、モデル呼び出しの失敗に遭った23件は再実行され、48件すべてが完了した。この深読みセットが、以下に挙げるすべての特集項目および「also noted」項目の出典であり、本号の15件の拡張は通常の追跡ブリーフを超えるものである。それは、その背後にあるタスクが少なくとも30論文の読解にわたって12件以上の拡張項目を求めたためである。以下の特集項目は原文で確認済み(全文深度で読解)と標記されている——引用されるすべての数値は論文自身の表または本文に由来し、その設定(ベンチマーク、タスク、プロトコル)を保持している;比較が異種のバックボーンやデータを混在させる場合には、その旨を明記している。

ギャップと限界

  • スクリーニングはアブストラクトレベルである:論文は、その実験が十分に支持しない主張に基づいて含められたり除外されたりしうるし、件数は分野の国勢調査ではない。
  • セマンティック経路は上位300件の上限に達し、その尾部(おおよそ順位170以降)は一般的なVLA、軌跡予測、身体性エージェントのセキュリティへと漂流する;したがってWAMの枠組みの外にある隣接研究は、設計上過少に表現されているのであり、存在しないと証明されたわけではない。
  • ベンチマークと成功率の数値は、異なるシミュレータ、身体性、デモ予算に由来する。本号における論文間の成功率パーセンテージは指標であって、論文が一致した比較を報告しない限り直接比較できるものではない。
  • 主張が定性的な図(例えば「ポリシーとシミュレータを1つのチェックポイントに」)に依拠する場合、本号はそれを測定結果として報告するのではなく、その旨を明記する。

References

[1] Linhan Wang, Zijian An, Mingyuan Zhang, et al. GlanceWAM: Sparse Test-Time Imagination for World-Action Models. 2026. arXiv preprint. arXiv:2608.23927

[2] Jiakai Huang, Zhongbo Wu, Siyu Xu, et al. Foresight Without Seeing: Latent Futures for World Action Models. 2026. arXiv preprint. arXiv:2608.11605

[3] Liuhaichen Yang, Zhengyang Zhong, Hanshang Zhu, et al. WAM-OPD: Joint Video-Action Supervision for World Action Model Post-Training with On-Policy Distillation. 2026. arXiv preprint. arXiv:2608.22364

[4] Hongbo Lu, Liang Yao, Chenghao He, et al. RISE: Adaptive Imagination for World Action Models. 2026. arXiv preprint. arXiv:2608.20430

[5] Liheng Ma, Rui Heng Yang, Amin Abyaneh, et al. Faster-WAM: Do World Action Models Need Deep Action Modules? 2026. arXiv preprint. arXiv:2608.02365

[6] Jingkai Wang, Zihan Tang, Gu Zhang, et al. SLIM-0.5B: Learning Action-Grounded Predictive Latents for Robot Manipulation. 2026. arXiv preprint. arXiv:2608.09771

[7] Shanglin Yuan, Weiheng Zhao, Xin Shi, et al. DreamWAM: Beyond RGB Future Prediction for World Action Models. 2026. arXiv preprint. arXiv:2608.04996

[8] Ge Yan, Jinghao Liu, Yuzhi Fan, et al. Flex-pi: A Multi-Stream World-Action Model with Compute Flexibility. 2026. arXiv preprint. arXiv:2608.10860

[9] Yihan Lin, Jiawei He, Shifeng Bao, et al. JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling. 2026. arXiv preprint. arXiv:2608.09381

[10] Zijian Zhang, Yuqing Jiang, Weitao Zhou, et al. GaussianWAM: Distilling Geometry and Semantics from 3D Gaussian Fields into World-Action Models. 2026. arXiv preprint. arXiv:2608.24714

[11] Xiaoxiao Lu, Yunlong Dong, Jiahao Shi, et al. Making Latent Evolution Explicit: Operator-Structured Transitions for World Action Models. 2026. arXiv preprint. arXiv:2608.27259

[12] Chenhao Qiu, Ruixiang Wang, Runyi Zhao, et al. Vid2WAM: Distilling Video Diffusion Priors into World Action Models. 2026. arXiv preprint. arXiv:2608.08558

[13] Xionghao Wu, Yijun Yang, Shiyang Zhou, et al. ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training. 2026. arXiv preprint. arXiv:2609.00188

[14] Haofeng Sun, Jiangbo Pei, Fei Kang, et al. Riemann-1.0: An Embodied World Action Model for Physical AI. 2026. arXiv preprint. arXiv:2608.27033

[15] Hongzhe Bi, Zihao Zhou, Yihang Tang, et al. Motus2: A Self-Evolving General World Model for Dexterous Manipulation. 2026. arXiv preprint. arXiv:2608.30237

[16] Zhenhao Shen, Jiaqi Liang, Jasper Lu, et al. LD4WAM: Learning Latent Dynamics from Human Videos for World Action Models. 2026. arXiv preprint. arXiv:2608.22403

[17] Jiaming Zhou, Qihang Zhang, Gangwei Xu, et al. Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization. 2026. arXiv preprint. arXiv:2608.26103

[18] Hongyu Li, Bowen Wen, Xinghao Zhu, et al. Hydra-0: Action Flow for Generalist World Modeling and Control. 2026. arXiv preprint. arXiv:2608.18077

[19] Yueen Ma, Zenglin Xu, Irwin King. 4DGS-WAM: Bridging Past and Future with an Object-Centric World Action Model based on 4D Gaussian Splatting. 2026. arXiv preprint. arXiv:2608.25956

[20] Yafei Zhang, Nan Wu. AcrossWAM1.0: A Modular Latent World-Action Stack for Compact Robot Policies. 2026. arXiv preprint. arXiv:2608.29937

[21] Yiren Lu, Xin Ye, Jiaming Liu, et al. GeoWAM: Visual Geometry World Action Models for Autonomous Driving. 2026. arXiv preprint. arXiv:2608.23486

[22] Mohammad Nazeri, Alexandyr Card, Samira Huber, et al. Hydra: A Navigation World Action Model with Discrete Latent Planning and Continuous Flow-Matching Execution. 2026. arXiv preprint. arXiv:2608.28995

[23] Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Weijia Li. GameWAM: A World Action Model for Video Games. 2026. arXiv preprint. arXiv:2608.26200

[24] Zongchuang Zhao, Xin Zhou, Tianyang Xu, et al. SimWAM: A Simple World Action Model for End-to-End Autonomous Driving. 2026. arXiv preprint. arXiv:2608.07468

[25] Ruiguo Zhong, Benshan Ma, Xiaolong Chen, et al. DA-WAM: Decision-Aligned Future Latents for Driving World Models. 2026. arXiv preprint. arXiv:2608.19085

[26] Bing Zhan, Shuyao Shang, Shuo Lu, et al. BrainWAM: Action-Space Coordination of Semantic Priors and Predictive Dynamics for Autonomous Driving. 2026. arXiv preprint. arXiv:2608.12854

[27] Xinlin Wang, Yujiao Xiang, Yuheng Zhou, et al. WA-JEPA: Rethinking the Video JEPA Paradigm for World-Action Modeling in Autonomous Driving. 2026. arXiv preprint. arXiv:2608.20974

[28] Runqing Wang, Ding Yu, Pengyuan Min, et al. FlowPilot: Real-Time World-Action Modeling for Agile UAV Navigation. 2026. arXiv preprint. arXiv:2608.00635

[29] Changqing Zhou, Yueru Luo, Zeyu Jiang, Changhao Chen. UniNav: A Unified World-Action Diffusion Model for Visual Navigation. 2026. arXiv preprint. arXiv:2608.03244

[30] Zhifei Chen, Luozhou Wang, Guibao Shen, et al. ReWorld: An Interactive World Model with Long-Horizon Memory. 2026. arXiv preprint. arXiv:2608.23565

[31] Runjia Qian, Zile Wang, Jihai Zhang, et al. Matrix-Game 3.5: Enhancing Real-Time Streaming Interactive World Models with Patch Memory. 2026. arXiv preprint. arXiv:2608.29910

[32] Yuxue Yang, Shuyao Shang, Jiahe Wang, et al. WorldExam: Benchmarking World Models from Apparent Appearance to Inherent Reactivity. 2026. arXiv preprint. arXiv:2608.02603

[33] Sixiang Chen, Jiaming Liu, Jixian Wu, et al. Do Robotic World Models Really Follow Actions? Diagnosing and Aligning Action-Conditioned Generation for Policy Learning. 2026. arXiv preprint. arXiv:2608.24885

[34] Peterson Co, Sicheng Hu, Chunxuan Jiao, et al. WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation. 2026. arXiv preprint. arXiv:2608.09298

[35] Joonghyuk Shin, Yicong Hong, Jaesik Park, Xun Huang. Can Video World Models Track Unobserved World States? 2026. arXiv preprint. arXiv:2608.30692

[36] Donna Vakalis. The Intervention Gap in Latent World Models. 2026. arXiv preprint. arXiv:2608.29998

[37] Yang Yu. On the Capability Separation Between World-Model Policy Learning and Imitated World-Action Models. 2026. arXiv preprint. arXiv:2608.22197

[38] Yu Yang, Xuemeng Yang, Licheng Wen, et al. Quo Vadis, World Modeling? 2026. arXiv preprint. arXiv:2608.02713

[39] Kechen Liu, Ola Shorinwa. CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators. 2026. arXiv preprint. arXiv:2608.27406

[40] Kaixin Ding, Xi Chen, Minghong Cai, et al. PlayWorld: Benchmarking World Models with Agent Players over Long-Horizon Objectives. 2026. arXiv preprint. arXiv:2608.13552

[41] Zhaopeng Gu, Bingke Zhu, Tianxi Lin, et al. HarnessWAM: Bridging Prediction and Deliberation in World Action Models. 2026. arXiv preprint. arXiv:2608.09516

[42] Chao Xue, Chaofan Zhang, Wenxuan Ma, et al. HiTac-WAM: A Hierarchical Tactile World Action Model for Contact-Rich Robot Manipulation. 2026. arXiv preprint. arXiv:2608.19574

[43] Zihang Yao, Chaoyue Ding, Yingying Yu. Disentangling Visuo-Tactile Foresight: Oracle-Guided Interface Discovery for World Action Models. 2026. arXiv preprint. arXiv:2608.00547

[44] Fenghao Lei, Zhixiong Huang, Long Yang, et al. DELE-w0.5: Inferring Action from Future Latent State for Robotic Manipulation. 2026. arXiv preprint. arXiv:2608.22067

[45] Guangfu Guo, Xiaoqian Lu, Rui Liu, et al. Visual Representation and History Modeling for Navigation World Models. 2026. arXiv preprint. arXiv:2609.29555

このレポートを引用

bibtex
@misc{parallax-2026-world-action-models-august-2026, title = {{World Action Models in August 2026 — Monthly Progress Issue}}, author = {{Parallax}}, year = {2026}, month = oct, howpublished = {\url{https://parallax.ink/research/en/world-action-models-august-2026}}, url = {https://parallax.ink/research/en/world-action-models-august-2026}, note = {Parallax Research, Digest} }

続きを読む