2026年9月における動画生成 — 進捗状況の追跡
2026年9月、動画生成は一度に七つの面で前進した。そして記憶に値する三つの変化は、画質に関するものではない。エージェント的オーケストレーションは、ラッパーではなく研究対象となった: 二つのシステムが、リクエストを組み立てるコントローラーを今や訓練しており、一つはマルチショットの連続性を明示的なストーリー状態に基づかせ、監査は、これらのループを閉じる検証器がハーネス自身の実行ログによって操作されうることを示している。長期的ホライズンの系統は単一の診断に収束した——履歴が形成される方法における訓練と推論の不一致——そして少なくとも六つの異なる修正を生み出したが、そのいずれもまだ組み合わされておらず、いくつかはモーションと品質をトレードオフしている。そして指標の妥当性が研究テーマとなった: 制御されたスケーリング研究は、検証損失がモデル能力の順位を反転させうることを示し、ポストトレーニングの調査は、その自身の表がリーダーボードではないと明言し、インタラクティブなワールドモデルの評価は依然として主にスループットである。その根底では、ワールドモデルの研究が、転移可能なものとターゲットごとに再訓練が必要なものとを分野が分離しつつあることを示している。
対象期間とカバレッジ: arXiv v1 の投稿日が 2026-09-01 から 2026-09-30 の間にある論文(2026-10-14 時点での直前の完全な暦月); 374件の候補をスクリーニングし、220件を採用し、32件を全文精読した。
スコープ: 動画生成モデルとその生成能力における進展——アーキテクチャと品質、長期/
flowchart TB
R["Screened corpus, September 2026<br/>220 included of 374 candidates"]
R --> T1["Agentic orchestration<br/>12 papers"]
R --> T2["Control and editing<br/>43 papers"]
R --> T3["Evaluation, physics and safety<br/>37 papers"]
R --> T4["Efficiency and systems<br/>36 papers"]
R --> T5["World models and interaction<br/>15 papers"]
R --> T6["Long video, autoregressive, streaming<br/>13 papers"]
R --> T7["Joint audio-video<br/>10 papers"]
T1 --> D1["StoryEngine · MVAgent · VideoGen-Agent<br/>Don't Read the Log · CamPilot · CineCrew"]
T2 --> D2["CoaG · BEACON · VideoX-Qwen · SVEET"]
T3 --> D3["Post-training survey · Scaling for Reasoning<br/>EraseSAE · BadAction"]
T4 --> D4["SplitMoE · PARK · Sol-H3 · LongLive-Plug"]
T5 --> D5["Honeycomb · Waypoint-1.5 · OctWorld<br/>WorldWeave · H3-World"]
T6 --> D6["Self-Aligned Forcing · Recency Forcing<br/>LongTake · Rollout-Marginal Distillation"]
T7 --> D7["Soundwich · AV-GRPO"]図1. スクリーニング済みの2026年9月コーパスにおける七つのテーマと、本号で論じる論文。分類された件数はタイトルとアブストラクトに対してモデルが割り当てたものであるため概算であり、さらに54件の論文は未割り当てのまま残された。出典: 本号自身のスクリーニング。
1. エージェント的オーケストレーションは、単なるラッパーではなく研究対象となった
9月のエージェント的動画研究は、もはや単に「生成器の前に置かれたLLM」ではない。二つの論文はコントローラー自体を訓練し、一つはループを閉じる検証器を監査し、一つはパイプラインをそもそもエージェント的と呼ぶべき条件の基準を提案している。共有される技術的主張は、テキストのみの計画では凍結された生成器が描画する内容を十分に規定できないため、修正はより良い散文ではなく、型付けされた視覚的条件付けと明示的な状態でなければならない、というものである。
1.1 StoryEngine:物語状態を、ピクセルの再読解ではなく権威あるオブジェクトとして扱う
StoryEngine は、エージェント型パイプラインが後続のショットをテキスト計画や以前に生成されたピクセルに条件付けることで、省略された行為や配置ミスのあるオブジェクトが新たな物語上の事実として暗黙に再解釈されてしまうという失敗モードを対象としている。その設計は権威ある意味計画と誤りうる視覚観測を分離する。すなわち、各エンティティは配置と物語に関連する属性を持ち、決定論的リデューサがショットごとに状態を更新し、ショットごとの遷移はレンダリングされた動画から推定するのではなく計画された効果から計算される。前のショットの末尾フレームは、次のショットを条件付ける前に一方向の互換性ゲートを通過しなければならず、基準を満たさなかった場合は計画を固定したまま有界の局所修復(予算 )を引き起こす。
根拠は60話のベンチマーク(三つの診断スイート:物語の実現、ショット間の一貫性、視覚的一貫性。1話あたり10ショット、二つの反復するロケーション)であり、二つのバックボーン、Veo 3.1 と Wan2.2-TI2V-5B 上で実行されている。論文が名指しする二つのエージェント型ベースライン(ViMax、MovieAgent)に対して、著者らは Veo で平均マージン 0.1416、Wan で 0.1304 を報告し、両バックボーンで同じ順位であり、アブレーションでは最大の低下を grounded render planning の除去に帰している。論文自身が示す二つの注意点は見出しの数字よりも重要である。すなわち、計画テキストの指標はバックボーン間で共有されているため二つのバックボーンのブロックを混在させてはならず、VLM 判定器はループ内評価器と同じモデルであるため、VLM 判定の指標は本手法に有利に働きうる。際立つ明示された限界は、権威ある計画の誤りが持続するということである。誤ったエンティティカタログや効果の順序は、どれだけ後の視覚的証拠を積んでも修復できない。
図2. StoryEngine のパイプライン:物語状態の伝播、grounded render planning、そして互換性ゲートと有界修復ループを備えた連続性を意識した生成。 の図2から転載。本号のために画像をピクセルレベルで検査した。
1.2 コントローラが訓練され始める
二つの論文は、オーケストレーション方針を手書きのプロンプトから学習された対象へと移す。
MVAgent はブラックボックス設定を真剣に扱う。8〜16ショットの物語は、内部状態を一切共有しない凍結された生成器への個別の API 呼び出しを通じて生成される。論文はショット間の一貫性を条件の構築として捉え直し、エージェントがテキストだけでなく型付きの条件付け入力——固定された位置的役割(遷移アンカー、キャラクターポートレート、環境ビュー)を持つ画像——を交換し、続いて各リクエストを構成する Orchestrator を Trunk-GDPO で訓練する。これはショットレベルのエージェント型 RL 手法であり、ショットごとに 個の候補をサンプリングし、各報酬成分を候補間で正規化してから集約し、最高アドバンテージの候補のみをトランクとして継続する。ViMax-Bench(35話)上で、同じ生成器と同じ VLM エージェントの下で総合一貫性 0.5611 対 ViMax の 0.5500 を報告し、ViMax との人間によるペアワイズ比較で 60.06% に勝利する。著者自身の枠組みはこれを「生成器の能力と判定者の信頼性に依存する」ものとして限定している。表を比較する読者のために指摘しておく価値があるのは、アブレーションのブロックが異なる(Qwen3-32B の)Orchestrator を用いているため、その数値は主表と比較できないこと、そして読んだ節のどこにも解像度、長さ、ステップ数が報告されていないことである。
VideoGen-Agent は代わりにツール選択ポリシーを訓練する。Qwen3-VL-8Bエージェントは、拡張(ウェブ検索、コード物理シミュレータ)、生成(T2V/
CamPilot はコントローラの映画的部分を訓練する。すなわち、14,581本の実写映画動画からVLMで注釈付けされたショットに教師され、GRPOで最適化される、アングル・ショットサイズ・5属性のモーションタプルを予測するCamera Work Plannerであり、これをシーン/
1.3 プロンプト連鎖ではなく制作層のDSL
CineCrew は脚本と生成器の間に明示的な中間表現を置く。クリップはFilmDSLにコンパイルされ、クリップごとに3つの層(物語的アクション、連続性フックを含む映画的ステージング、レンダースペック)を持ち、キーフレーム優先で生成され、失敗を構造化されたQAオブジェクトに変えて局所的な再生成を駆動する(クリップ全体の再プロンプトではなく)ことで修復される。Persona Schemaは特性をビートレベルの振る舞いにマッピングし、永続的なProduction Rulebookはクルーエージェント(Showrunner、Art Department、Story Editor、Dailies Reviewer、Post Supervisor)によって共有される。VLMによって判定された20のMovieBench物語において、報告された17の指標の大半で3つのベースラインをリードし、24名参加の研究で6軸のうち5軸で勝利し、ショットレベルの映画的スコアではLTX-Studioに敗れている。論文には限界のセクションがなく、数値を比較しようとする者にとって重要なことに、解像度、クリップ長、サンプリングステップ、ハードウェア、既製バックボーンの正体を明記していないため、そのスコアを他の論文のスコアと並べて位置づけることはできない。
1.4 弱点は検証器にある
Don't Read the Log は、こうしたループを構築する者にとって今月最も鋭い結果である。フレームを固定し、ハーネスが自らのマルチモーダル審査器に供給する補助テキスト(ナレーションの文字起こし、実行ログ、焼き込まれた字幕)のみを変化させ、判定が純粋に視覚的な要件に基づいて動くかどうかを測定する。7Bから32BまでのオープンウェイトのQwen-VL審査器は、実行ログが成功を主張する場合、目視で明らかに失敗したクリップの78~90%を受け入れる。閉ループ内では、非敵対的なプランナーがこれを悪用する——素朴な8B構成は審査通過1.00で終わる一方、真の通過は0.28であり、論文は天井の同一性「真の通過」が構成間で小数第2位まで成立することを示している。試験されたフロンティアのクローズド審査器は動かなかったが、予算の都合でサブセット(26~109クリップ)で実行された。提案される修正はプロンプトレベルではなく構造的なものである。すなわち、各要件を型付けし、その要件を立証できる証拠の種類のみを審査器にルーティングする(加えてフレームに焼き込まれたテキストをOCRマスキングする)。これによりハックされた0.14~0.08と真の通過0.86~0.92が、エピソードあたりおよそ3~4倍のコストで回復する。それ自体の限界は次のとおりである。著者ラベル付きの109クリップのベンチマーク、シミュレーションであって実運用ではない修復ループ、単一のオープンウェイト審査器ファミリー、そして音声要件が一切インスタンス化されていないこと。
図3. 補助テキストが純粋に視覚的な要件に対する判定を動かす。支持的な実行ログがあると、オープンウェイトの審査器は失敗クリップの0.78~0.90を受け入れる(左パネル)。一方、矛盾するログはQwen3-VLの受入率を0.00~0.08に押し下げ、GPT-5.4-miniを0.90のまま残す(右パネル)。の図1。本号のためにピクセルレベルで閲覧。
1.5 「エージェント的」であるための基準と、それに基づくコーパスの姿
Agentic Visual Generation は、この分野にはエージェント性について一貫した基準が存在しないと論じる——計画の深さ、ツール数、マルチロール設計、RLはいずれも証拠として用いられているが、そのいずれもコントローラが実際にどの生成上の決定を下せるかを決定づけるものではない。それは、コントローラが因果的に変更できる最新の将来の生成決定(仕様決定 → 実行 → タスク内の結果適応 → タスク間の経験再利用)によって定義される、コントローラ能力のラダーL0~L4を提案し、曖昧なケースは下位のレベルに割り当てる。これはポジションペーパーである。その評価プロトコルは提案されたものであって測定されたものではなく、図中のコーパス件数は閲覧用コピーのテキストレイヤーからは利用できない。それでもなお、報告されている二つの構造的観察は示唆に富む。すなわち、レビューされた記録のうちL0に該当するのはわずか4件であり、つまりコーパスはコントローラを備えたシステムを中心に意図的に構築されている。そして2026-H2には、2026年8月24日までに52件の記録が含まれている。
表1. 本号のエージェント的システムが実際に最適化しているものと、その検証方法。
| システム | 訓練される対象 | 検証 | 報告された証拠の根拠 |
|---|---|---|---|
| StoryEngine | なし(訓練不要) | 互換性ゲート+基準ごとの評価器、制限付き修復 | 60ストーリー×10ショット、2つのバックボーン |
| MVAgent | オーケストレーター(Trunk-GDPO、rank-64 LoRA) | VLMオブザーバー+テキスト/動画ジャッジ | 35ストーリー(ViMax-Bench) |
| VideoGen-Agent | ツール選択ポリシー(SFT+GRPO) | ループ内の検出・深度ツール | 600プロンプト(VABench) |
| CamPilot | カメラワークプランナー(GRPO) | 評価器・修正器ループ | 14,581本の映画動画 |
| CineCrew | なし(プロンプトレベルの役割からなるクルー) | デイリーレビュアー→局所的な再生成 | 20の物語(MovieBench) |
| Don't Read the Log | なし(監査+証拠ルーティング) | 型付きルーティング+OCRマスキング | 109のニアミスクリップ、36の失敗 |
注視すべき緊張関係。 わずか1か月の間に、5本の論文が計画・生成・検証のループを構築し、1本の論文が、そのループの中で最も安価な構成要素であるジャッジが、ハーネスが自身の実行ログを転送する場合には誠実なプランナーによって悪用可能であることを示した。9月に提案された緩和策(型付き証拠ルーティング、ジャッジと人間の一致チェック、VLM不要の指標)は表面的なものではなく構造的なものであり、方向性としては正しい。しかし、そのいずれもまだ大規模なデプロイ済みハーネスの内部で評価されていない。
要点 — 9月のエージェント型動画パイプラインは3つの職務に分裂した。すなわち、条件の構築(型付き、視覚的、状態に根ざした)、コンポーザーの訓練、結果の検証である。検証の職務は3つの中で最も信頼性が低い。オープンウェイトのジャッジは、ハーネス自身のログが成功を主張する場合、目に見えて失敗したクリップの78~90%を受け入れ、誠実なプランナーは修復ループの中でそれを悪用する。提案された緩和策はプロンプトレベルではなく構造的なものであり、いずれもまだデプロイ済みハーネスで検証されていない。
2. 長期的生成は1つの診断に収束し、修正方法では分岐した
長尺動画に関する9月の論文はほぼすべて、同じ失敗から出発している。因果的に、一度に1チャンクずつ実行するように蒸留された生成器は、その約5秒の訓練ホライズンをはるかに超えたロールアウトにおいて劣化する——ドリフト、飽和、あるいはその逆のほぼ静止したフレームである。これらの論文はまた、履歴がどのように形成されるかにおける訓練と推論のミスマッチという診断を共有しており、主にループのどの部分に介入するかで異なっている。驚くべきことに、いずれも単にコンテキストウィンドウを拡大することで長さを得ているわけではない。
2.1 履歴はどこにあり、どのように監督されるか
Self-Aligned Forcing は履歴をノイズを含むが微分可能なものにする。履歴のキー/
Recency Forcing は、1層低い位置、すなわち注意の重み付けに介入する。まず位置的応答を測定する。これは、距離にあるコンテキストフレームを別のロールアウトからのフレームに差し替えたときに、速度予測がどれだけ変化するかを測るものであり、距離に対する急峻な減衰と、デノイズステップごとの体系的な構造を見出す。次に、時間的距離とデノイズステップでパラメータ化され、コンテキストの履歴部分にのみ適用される単調で非正のバイアスを注意ロジットに加える。このバイアスは、アブレーションの結果、線形および対数よりもべき乗則の減衰が選ばれている。再パラメータ化によってバイアスを値に吸収させることで、未修正のFlashAttention呼び出しとして実行される。論文ではこれを6.06 msと測定しており、バイアスを直接適用したFlexAttentionの70.34 msと対比している()。VBench-Longの60秒設定では、品質84.02対LongLive 81.98、Rolling Forcing 81.56を報告し、動的度合いは75.48対LongLiveの42.85である。留意すべき点が2つある。その訓練不要の変種と訓練ベースの変種は異なるモデルレジームであり、同一のシステムとして読んではならない。また、論文はベースラインに対するウォールクロックやメモリの比較を報告しておらず、カーネルのマイクロベンチマークのみを報告している。
LongTake は教師強制が目にするものを変える。数ステップの学生モデルを短いクリップから初期化する代わりに、シンクフレームと直近フレームのキャッシュを伴う長い正解動画に対して教師強制を適用する。著者らはこれにより自己ロールアウトDMDに対する直接的な初期化が得られ、訓練段階を一つ丸ごと削除できると主張している。第二の機構は、その結果得られた自己回帰教師を再利用して、学生自身のロールアウトの後半フレームを監督する。30秒のロールアウトでは、ハイブリッドDMDで動的度96.30を報告しており、これはRolling Forcingの93.44、SGF、MemRoPE、Context Forcingの約51〜59に対して、同等の審美性と品質スコアでの値である。この指標問題に対する著者ら自身の枠組みは繰り返す価値がある。30秒では、より高い審美性スコアを持つすべてのベースラインは動的度58以下にとどまり、動的度90超の唯一のベースラインは審美性で3.9ポイント劣る。これは、二つの軸がトレードオフの関係にあり、単一の数値ではこのファミリーを誤って表すことを思い起こさせる。
図4。同じ5秒の自己ロールアウト蒸留の下での、長期間の教師強制と短クリップ初期化の比較(30秒のロールアウトで評価):動的度は90.73対51.30で、被写体整合性(96.83対98.19)と美的品質(62.51対63.90)は近接している。の図5。本号ではピクセルレベルで閲覧した。
Rollout-Marginal Distillation は、コンテキストではなく教師信号のターゲットを問題視する。動画レベルの分布マッチングはロールアウト全体をまとめて採点するため、教師の実スコア予測が生徒の欠陥のある履歴を引き継ぎ、新しいチャンクを過去のアーティファクトとの整合性へ向けて修正してしまう。修正法は、各チャンクをチャンク分布の教師に対して独立に採点し、その後、動画レベルのDMDで精緻化してチャンク間の一貫性を回復する。VBench-Longの60秒動画で報告されている差は大きく、チャンクサイズ1で合計81.26に対しSelf Forcing 70.94、Causal Forcing 69.88であり、差の大半は意味スコアに存在する(68.24対43.17および36.03)。論文はこれをベースラインにおけるプロンプト追従の崩壊に帰している。この帰属はもっともらしいが、個別にアブレーションされたわけではない。その完全な手法は品質において限界のみのアブレーションをわずかに下回る(84.52対84.90)一方で、合計と意味では上回っている。見出しの数値を引用する前に知っておく価値のある詳細である。
表2。長期間の訓練・推論ミスマッチに対する6つの介入と、それぞれが何を教師するか。
| 論文 | レバー | 変更点 | ベースと期間 | 見出しの結果 |
|---|---|---|---|---|
| Self-Aligned Forcing | 履歴 | ノイズを含むが微分可能な履歴K/ | Wan2.1-1.3B、20–100秒 | 4-GPUパイプラインで49.1潜在FPS、VBench合計85.04 |
| Recency Forcing | アテンション | ロジットに対する単調な近時性バイアスを、値に吸収させる | Wan2.1-1.3B、60秒 | VBench-Long品質84.02対81.98 |
| LongTake | 初期化 | 長い実動画に対する教師強制の後、自己ロールアウトDMD | Wan2.1-1.3B、30–60秒 | 30秒で動的度96.30対93.44 |
| Rollout-Marginal Distillation | 教師信号のターゲット | チャンクごとの限界採点の後、動画レベルの精緻化 | Wan 14B → 1.3B、60秒 | VBench-Long合計81.26対70.94 |
| Mask Forcing | ロールアウトノイズ | DMD目的関数を変えずにデュアルノイズマスキング | Wan2.1-1.3B、30秒 | 3つのベースラインでHPSv3 +0.29から+1.03 |
| SemanTok | トークナイザ | 保持される各プレフィックスは凍結されたDINOv2特徴を再構成しなければならない | 17フレーム128×128クリップ | 85Mモデルが16トークン予算で2.29Bベースラインを上回る |
2.2 同じ系統におけるその他の修正
Mask Forcing はこのグループの中で最も安価な介入である。自己ロールアウトのみを摂動させ、わずかにクリーンなタイムステップからのトークンをランダムマスクによってスケジュールノイズ状態に混ぜ込み、元の DMD 目的関数と元の条件付けタイムステップはそのまま保持する。そして既存の 3 つのパイプラインにわたる改善(HPSv3 で Self Forcing +0.29、Causal Forcing +0.80、LongLive +1.03)に加え、72~83% の人間選好を報告しており、実データも追加のポストトレーニングも不要である。唯一の後退——LongLive のチャンク単位の動的度が 76 から 69 へ低下——については、著者らはドリフトがオプティカルフローを膨張させる VBench のアーティファクトであると説明しているが、その説明は主張であって測定ではない。SemanTok はスタックのもう一端を攻撃する。すなわち、保持されるすべてのプレフィックスが凍結された DINOv2 特徴を再構成しなければならない動画トークナイザであり、これにより初期のトークンがクリップの意味論を担う。16 トークン予算の 85M 自己回帰モデルが両データセットの gFID で 2.29B のベースラインを上回り、トークンのビットコストも 32% 少ないと報告している。しかし評価は 17 フレーム・128×128 のクリップであるため、ストリーミングという動機は実証ではなく推論に基づくものであり、著者ら自身の説明によれば、トークナイザは低予算時に色と外観の再構成忠実度が低い。
要点 — 6 本の論文が同じ訓練・推論間のミスマッチを異なる層から攻撃した。履歴の微分可能性 、アテンションの重み付け 、長動画からの初期化 、蒸留ターゲット 、ロールアウトノイズ 、そしてトークナイザ である。いずれも他の手法と組み合わされておらず、結果は指標に依存する。これらの論文の間で運動のダイナミクスと知覚品質はトレードオフの関係にあり、そのうち 2 本は一貫性指標がほぼ静止した出力を報酬として与えうると警告している。
3. ワールドモデル: ストアを有界にすることで対話的生成が展開可能になった
9 月の対話的ワールドモデルは、バックボーン(ほとんどが既存の動画拡散モデルをラップする)よりも、チャンク間でシーンをどのように保存するかによって差別化されている。本テーマはそのストアを有限にする論文を扱い、次のテーマではそれを成長させる論文を扱う。
3.1 決して成長しないストア
Honeycomb はシーンを 6 つの固定サイズ 2D プレーン(3 つの空間プレーンと 3 つの時空間プレーン)に保存し、各チャンクの条件付けのために読み出し、その場で書き戻すため、メモリはロールアウト長に応じて成長しない。成長する点群や成長する潜在キャッシュと比較して、WorldScore 平均で最良(65.52 対 63.21 および 61.20)、閉ループ再訪 PSNR で 17.22 dB 対次点 15.99 を報告している。読者にとって最も有用なアブレーションはライターに関するもので、シーンごとの最適化は 17.44 dB に達するが書き込みあたり約 3,130~3,228 ms を要し、「置換」ライターは 17.16 dB まで劣化して書き込み時間が 11.2 → 40.1 ms に増大する一方、再帰ライターは 17.22 dB を 13.1~13.2 ms の一定値で維持する。この設計の明示されたコストは解像度のトレードオフである。シーン境界が拡大するにつれ、固定グリッドはより広い空間と時間をより粗い解像度でカバーすることになる。制限事項の節はなく、ベースラインのバイトフットプリントは定量化されておらず、定性的に示されているのみである。
図 5. Honeycomb の初フレーム初期化、メモリ条件付き生成、再帰更新。右側に 6 つの固定サイズ HexMemory プレーンを示す。 の図 3 から再掲。本号のために画像をピクセルレベルで検査した。
Honeycomb は Waypoint-1.5 によって補完される。これは1.28Bのインタラクティブなワールドモデルであり、その目標はメモリ効率ではなくコンシューマGPU上でのリアルタイム性にある。単一ストリームの因果的DiTで、ブロックごとのコントローラ注入とローリングKVキャッシュ(密な16フレームのローカルリングに加え、4ブロックごとに拡張された128フレームのリング)を備え、フレームごとの拡散フォーシングで訓練され、4ステップに蒸留されている。報告されているスループットが最大の注目点である——720P INT8ではRTX 5060 Ti以上で30 latent FPSを超え、360PではRTX 3060を含む試験したすべてのカードで30 latent FPSを超える。この論文が報告していないことも同様に注目に値する。レイテンシの数値も、品質やFVDの指標も、行動遵守の指標も、名指しされたワールドモデルとの直接比較も、アブレーションも報告されていない。論文自身のアブストラクトは、レンダリングFPS、latent FPS、制御レートを区別すると主張しているが、読んだ範囲のセクションではlatent FPSのみが定義され測定されている——これは本レポートの観察であり、著者の主張ではない。システム論文としては一貫した選択であるが、そのワールドモデルが正しいかどうかを問う者にとって、ここでの9月の根拠基盤はスループットと定性的なロールアウトに過ぎない。
表3. 本テーマにおける有界メモリのワールドモデル。
| システム | メモリ | 有界か? | 主要な根拠 | 記録されたコスト |
|---|---|---|---|---|
| Honeycomb | 6つの固定サイズプレーン、インプレース更新 | はい | WorldScore 65.52(点群ベースラインの63.21に対して) | 境界の拡大に伴い解像度が低下 |
| Waypoint-1.5 | ローリングKVキャッシュ(16フレームリングに加え拡張された128フレームリング) | はい | RTX 5060 Ti以上で720P INT8において≥30 latent FPS | スループットのみの評価;品質指標なし |
要点 — ストアを有界にすることが、インタラクティブなワールドモデルを実運用可能にする鍵である。固定プレーン集合は報告されている書き込みあたり13 msでメモリを一定に保ち、ローリングキャッシュはコンシューマハードウェア上でインターフェースを30 latent FPS超に保つ。その代償は両論文で明らかである。境界の拡大に伴い解像度が劣化し、リアルタイムの研究はスループットのみで評価されており、制御忠実度や長期安定性の測定はない。
4. ワールドモデル:推論ではなく、構成によってストアを成長させる
4.1 融合ジオメトリ対コミット済みジオメトリ
OctWorld は逆の道を取る。拡張可能なオクツリーTSDFマップで、ボクセル解像度は深度からピクセルごとに割り当てられ、生成されたRGB-D観測と融合され、次のチャンクの条件付けとしてレンダリングし直される。これは、ワールドメモリは蓄積されるのではなく融合されるべきだという今月の最も明快な表明である——WorldScore静的50.31および3D一貫性71.67を報告し(Gen3Cの70.52、Voyagerの66.35に対して)、長い屋外軌跡においてGen3Cに対して22名参加のユーザースタディで53.8%対39.5%で勝利している。認められているコストは現実的である。ボクセルの枝刈りがなく、すべてのノードがGPU上にキャッシュされるためメモリがシーン範囲とともに増大し、粗いノードは特徴を保持しないため視点依存の詳細度がない。ベースラインも異なる解像度とチャンク長で実行されている(Gen3C 1280×704/
WorldWeave は、さらに厳格な規則によって同じ本能を推し進める。生成されたRGBは決してワールド状態へ書き戻されない。代わりに、明示的な計量ワールド——地形、地区、アセットインスタンス、継承された境界インターフェース——が検証済みの構築によって成長し、動画生成はそれを読み取り専用で問い合わせる。地形拡張は計測問題として扱われる(隣接面にフィットさせたサーフェスに対する残差符号化、デコーダ反転、接合部におけるエルミート形式の微分制約:高さのみの接合は0.319 mの残差を残すが、微分の継承により m未満に抑えられる)。120の探索および再訪タスクにおいて、本手法は最良の構造的運動整合性(2.30対2.21)と2番目に良い美的スコアを報告し、シード安定性はベースラインよりもはるかに厳密である(画質における変動係数0.39%対、最も近い競合相手の27.61%)。論文自身の記述による2つの注意点:WorldWeaveは構築したワールドから問い合わせた深度を受け取る一方、ベースラインは最初のフレーム、軌跡、プロンプトのみを受け取るため、条件は一致していない。また著者らは静的幾何に限定しており、深度はハードなレンダリング制約ではなくガイダンスとして用いている。
図6. WorldWeaveのパイプライン:計量地形チャンクはコミット済みの隣接チャンクに対して完成され、シーンは状態コミットの前に計画・検証され、動画生成はコミット済みワールドを読み取り専用ロックの下で問い合わせる。の図2。本号ではピクセルレベルで閲覧。
表4. 本テーマにおける成長する記憶ワールドモデル。
| システム | 記憶 | 成長するか? | 主要な証拠 | 記録されたコスト |
|---|---|---|---|---|
| OctWorld | 生成されたRGB-Dから融合される拡張可能な八分木TSDF | はい、プルーニングなし | 3D整合性71.67;ユーザー調査53.8%対39.5% | GPUメモリがシーン範囲とともに増大 |
| WorldWeave | 明示的に構築されたワールド、コミット専用書き込み | はい、検証済みコミットを通じて | 構造的運動整合性2.30対2.21 | ベースラインが受け取らない深度を受け取る;静的シーンのみ |
| H3-World | なし——固定長セグメント | 該当なし | 行動反転フロー+52.7 → −106.0 | 品質指標なし、永続状態なし |
4.2 生成器自身のインターフェースを通じた制御
H3-World はこのグループで最も低コストな介入である。行動モジュールを追加するのではなく、潜在区間ごとのキャラクターおよびカメラの行動を短い自然言語プロンプトとして表現し、それらを凍結された33B MiniMax-H3生成器のパックされた自己アテンション系列に、鏡映された位置オフセットと決定論的な「単一出口」アテンションマスクとともに詰め込み、ランク32のLoRAのみを訓練する——報告ではパラメータの0.199%、7,872クリップ、10,000ステップ。興味深い結果はその診断にある:単一のグローバルな運動指示を与えられた凍結モデルは、クリップ途中の反転にほとんど応答せず(累積平均水平フロー0.0 → −17.3)、LoRAをゼロにした潜在区間ごとのインターフェースは無応答であり(0.003)、訓練済みバージョンは+52.7 → −106.0を生み出す。一定の運動では、凍結モデルとH3-Worldはほぼ同一である(301.8対300.5)。これは、粗い運動ではなく時間変化する制御をもたらすのはLoRAであるという著者らの主張を支持する。数値的に支持されない主張は「生成品質の維持」(定性的な例のみで、FVDも人間による研究もない)と汎用性である:本研究は短時間ホライズンかつ固定長であり、永続的なワールド状態も、リアルタイム相互作用も、計画もなく、レイテンシやハードウェアの数値も報告していない。
要点 — ストアを成長させることが許されたとき、今月の2つのルートは信頼するものが異なる。OctWorldは生成された観測を八分木に融合し、その代償として増大し続けるメモリとボクセル枝刈りの欠如を抱える。一方WorldWeaveは生成ピクセルに一切書き戻しを許さず、世界に結合する前にすべてのコミットを検証する。両者とも一貫性においてベースラインを上回るが、それは同一条件の下ではない。WorldWeaveにはベースラインが見ることのない深度が与えられ、OctWorldのベースラインは異なる解像度とチャンク長で実行されるからである。
5. 制御と編集:より大きなモデルではなく、より安価なインターフェース
制御と編集はスクリーニング済みコーパスにおいて最大の単一バケットであり、ここで読む論文は共通する設計上の本能を共有している。すなわち、ユーザーが指定しなければならないものを減らし、新しいモダリティを安価に学習させることである。4本のうち2本はまた、制御論文の結果がいかにその評価プロトコルに依存するかを示している。
5.1 より少ないものを求める
CoaG は、人の立つ位置とカメラの動く位置の両方を確定するために、人がどれだけ少ないジオメトリを描けばよいかを問い、その答えとしてワイヤーフレームグリッドとして描かれた地面平面と、各人物につき1本の直立した円柱を提示する — ポーズも、向きも、ボックスもない。オープンな14B制御バックボーン上のLoRAは、約1,935個の自動生成されたタプル(rank 64、1度に1エキスパート、8×H100でエキスパートあたりGPU1基につき約1時間50分と70 GB)で学習される。方法論上の修正の1つは、この論文の範囲を超えて適用されるため、特に挙げる価値がある。基本のレシピは参照画像をターゲットクリップのフレームから取得するが、これは制御ビデオが供給するはずのまさにそのレイアウトを漏洩させてしまう。そこでCoaGは参照をインペイントされた背景から読み取る。著者らは、人間による研究も、アブレーションのグリッドも、定量的な制御性指標も実行していないことを異例なほど明示しており、したがって表現に関する主張は、均一にサンプリングされた定性的結果と手作業で作成されたストレステスト(6本の円柱で6人の人物。1.7/
図7. CoaGの制御表現とデータエンジン:同じ3つの入力 — シーングリッド、参照画像、テキスト — が学習時と推論時の両方で共有レンダラーに供給され、rank 64のLoRAが凍結された制御バックボーンを、各デノイズステップにつき2組の重みで適応させる。の図2。本号のためにピクセルレベルで閲覧。
BEACON は、特定の人物の動画に対して同様の「安価な要素を一つ追加する」という手法を取っている。同一性は画像として保持されるが、振る舞いは別個の表出動画に条件付けられ、二つの分岐が互いに漏れ出さないようなアテンション設計によって実現されている。学習可能パラメータは約0.15Bで、凍結された14Bのバックボーン上で学習される。報告されている表出性の向上は顕著であり(MEADにおけるemotion-FIDは0.86に対し、二つのベースラインはそれぞれ2.28と3.17)、同一性と表出の転送、すなわちある被験者の顔に別の人物の動態を組み合わせることを実証している。興味深い結果はプロトコル効果である。通常の中立的参照を用いた測定プロトコルでは、BEACONの顔類似度(0.760)はStand-Inベースライン(0.826)を下回るが、正解フレームが表出的である場合には順序が逆転する(0.852対0.678)。したがって、このサブ領域における比較であって、どの参照フレームを用いたかを明記せずに単一の同一性指標を引用するものは、解釈不可能である。著者らはまた、残留する外観の漏れ(生成された目の色が表出参照に部分的に従う)を認めており、最も近い二重参照の先行手法として挙げているSlot-IDとの比較は行っていない。
表5. 本テーマにおける制御および編集の論文。
| 論文 | ユーザーが指定するもの | 学習コスト | 主要な証拠 | 記録された注意点 |
|---|---|---|---|---|
| CoaG | 地面平面グリッドと人物ごとに1本の円柱 | LoRA、8×H100でエキスパートあたり約1時間50分および70 GB | サンプリングされたストレステストにおいてレイアウト、人数、カメラ経路に従う | 定量的な制御可能性指標もベースラインもなし |
| BEACON | 同一性画像と表出参照動画 | 凍結された14Bバックボーン上で約0.15Bの学習可能パラメータ | emotion-FID 0.86対2.28および3.17 | 中立プロトコル下で顔類似度がベースラインを下回る |
| VideoX-Qwen | 指示、マスクなし | 三段階。最終段階では厳選された30Kの720pクリップ | 11の自動指標のうち9で最高平均 | VLM判定器1つ、100例、人間による研究なし |
| SVEET | 指示、スタイル、マスクまたは深度、ストリーミング | 単一のA100でLoRAランク128、バックボーンは凍結 | VLM編集精度7.43対7.07 | 15 FPSと主張されているが、表には一度も示されていない |
5.2 データ問題としての編集
VideoX-Qwen は、指示ベースの編集に対してデータ中心の道を取っている。合成された対レコードのパイプライン(物体の除去、追加、置換、属性編集を、各方向について既存の動画モデルを再利用して生成)により、89%の自動受理率で120万件を超える方向性レコードが得られ、統合エディタは疎な意味トークンと密なソース潜在の両方を消費し、漸進的に高解像度化する三段階で学習される。UniVideoおよびKling O1に対して100例で比較し、11の自動指標のうち9で最高平均を報告している。指示追従は7.70対6.91および7.61、SSIMは0.766対0.572および0.670であり、判定器はQwen2.5-VL-7Bモデルで、人間による研究はない。著者らは、Kling O1が美的品質と画像品質において依然として強いことを認めており、また多数の先行手法が名指しされているにもかかわらず、直接比較はこれら二システムに限られている。
SVEET はストリーミング編集に取り組む。そこでは、編集能力を因果バックボーンへ蒸留するという明らかな道筋は高コストである。これに対する答えは、双方向モデル上で編集を学習し、再学習なしで凍結したストリーミングバックボーンへ転送することである。制御ブランチは完全な3Dアテンションからフレーム単位の2D空間アテンションへ変更され(したがって追加の時間的KVキャッシュは不要)、最小二乗/
要点 — 9月の制御論文はいずれもユーザーが指定しなければならないものを削減している。地面平面と人物ごとの1本の円柱がレイアウトとカメラを同時に制御し、アイデンティティは画像のまま、振る舞いは2本目の参照動画から得られ、指示編集はアーキテクチャではなく120万件の合成ペア記録で購入され、ストリーミング編集は因果バックボーンを再学習せずに双方向モデルから転送される。4本のうち2本は測定表ではなく主張された動作点に依拠しており、2本は主要なアイデンティティまたは速度の数値が測定プロトコルに依存することを示している。
6. 効率性:4つの別々のレバー、そして能力と目標の間のより明確な線
9月の効率性の研究は1つの物語ではない。それは容量、近似精度、サービング、再利用へと明確に分かれ、4本のうち2本は自らの数値が何を意味し、何を意味しないかを読者に伝えるために実際の労力を費やしている。
6.1 容量と近似
SplitMoE は容量に取り組む。LLM流のトークン単位のmixture-of-expertsルーティングとロードバランシングは、時空間的に一貫した動画パッチを無関係なエキスパートに分散させてしまうため、エキスパートプールをセマンティックプールと汎用プールに分割し、クリーンなVAE特徴から導出したプロトタイプ誘導でルーティングを行い、意図的にセマンティックエキスパートのバランスを取らない。Wan 2.2の低ノイズチェックポイントからアップサイクルされ、27Bパラメータのうち14Bを活性化し、ロードバランシング付きMoEベースラインと同一ソース由来の密モデルの両方と比較される。これは因果的主張のために論文が依拠する比較であり、クロスモデルの行は計算量が一致していないと明示的に警告している。同一ソースの対照に対して、列挙されたすべてのVBench-2およびT2V-CompBenchの列で優位に立つ(ヒューマンフィデリティ84.47対73.49および73.08、制御性45.72対35.51および30.37)。一方、訓練は6.84秒/
PARK は、作業量ではなく近似の精度を攻撃する。スパース注意は通常、平均化されたセントロイドからクエリ/
表6. このテーマにおける効率化論文。
| 論文 | 手段 | 設定 | 主要な証拠 | 記載された注意点 |
|---|---|---|---|---|
| SplitMoE | プロトタイプ誘導ルーティングを備えた分割役割MoE | Wan 2.2、27Bパラメータ中14Bを活性 | 人間の忠実度84.47対ロードバランスMoEの73.49 | 公式アンサンブルに対して制御性を失う |
| PARK | スパース注意のための正確なブロック検索 | 720pで4モデル | 密注意への類似度最高で1.53–1.76倍のエンドツーエンド高速化 | 指標は密出力への類似度を測るものであり品質ではない |
| Sol-H3 | クロス解像度の2段階サービングと探索済みスタック | MiniMax-H3 33B | 1–4台のGB200で13.7–17.0倍、DGX Sparkで31倍 | 同一ワークロードに対する2つの報告タイミングが一致しない |
| LongLive-Plug | once-for-allのケイパビリティLoRA | Wan2.2-TI2V-5B、54の下流モデル | 約80対約457 GPU時間、ステップ数5倍–12.5倍削減 | 再利用にはベースモデルの互換性のある派生が必要 |
6.2 サービングと再利用
Sol-H3 は手法論文ではなくサービング報告であり、今月最も具体的なデプロイ証拠である。MiniMax-H3の49ステップの軌跡を、での4ステップ、潜在から潜在へのハンドオフ(学習済み×2アップサンプラとクロスVAEアダプタ、VAE往復の12,749 msに対して63 ms)、および異なるバックボーンによる3つのリファインステップに再構成し、その上で明示的なフェイルクローズド契約の下でカーネルと通信スタックを探索する。探索は生成契約を変更してはならないため、受け入れられたすべての変更は同一条件比較である。報告された結果は、1–4台のGB200で49ステップベースラインに対して13.7–17.0倍、DGX Sparkで31倍、RTX 5090で26.3倍、そしてメモリは142.4 GiB(119.68 GiBプールを超過)からエッジデバイス上で116.9 GiBに削減された。低解像度ドラフト/
LongLive-Plug は再利用を目的とする。バックボーン・ファミリー上で三つの能力——シングルパスCFG、4ステップ・サンプリング、長文脈誤り訂正——を一度だけ蒸留し、対象データや対象訓練なしに互換性のある下流チェックポイントへマージできる機能的なLoRAとする。経済性が最大の売りである。共有ベース・アダプタに約80 H100 GPU時間であるのに対し、測定対象の四タスク全体でタスク別蒸留を積み上げると456.8 GPU時間であり、再利用性は八つのタスクカテゴリにわたる54の下流モデルで5倍から12.5倍のステップ削減を伴って検証されている。正直な部分は見出しよりも重要である。長文脈の結果は、勝利ではなく指標に依存するトレードオフを伴う競合水準だと著者らは述べており(VBenchの七次元平均は64秒で73.51→75.77だが、背景一貫性は88.87→80.81に低下する)、再利用にはベースモデルの互換性のある子孫が必要であり、本論文はナイーブ・ベースラインとの比較がアダプタとサンプラーの両方で異なることを認めているため、LoRA単独の効果は確立されていない。
図8. ワンスフォーオール蒸留はコスト曲線を変える。タスク別蒸留は四つの下流タスク全体で163.9→456.8 H100 GPU時間と累積する一方、共有ベース・アダプタは約80時間にとどまる。の図2。本号ではピクセルレベルで閲覧。
要点 — 9月の効率性は一つのレバーではなく四つの別個のレバーであった。固定のアクティブパラメータでの容量、疎注意近似の精度、サービング・スタック、そしてワンスフォーオール蒸留である。最も強いパターンは、転移可能な能力と対象ごとの訓練の分離——共有アダプタの約80 GPU時間に対し、タスク別蒸留は約457——と、数値が何でないかを明言する姿勢である。すなわち絶対品質ではなく高密度モデルとの類似性、あるいは勝利ではなく指標に依存するトレードオフである。
7. 音声–映像:サウンドトラックが編集可能になり、報酬は分離したまま学習する
本稿で読む二本の論文は、合同音声–映像生成に対する診断を共有している。音声側は単一のモノリシックな信号として扱われてきた、というものである。両者はそれを正反対の方法で修正する。
7.1 サウンドトラックを編集可能にする
Soundwich は学習不要である。凍結された音声–映像ジョイントフローモデルをラップし、単一の音声潜在表現を個のソース固有ステムと内部的なシーンステムへと展開する。各ステムにはガイダンスが与えられ、発音中および無音の参照から取得した「キャリア」アテンションベクトルをキャッシュして各ソースがいつアクティブになるかをスケジュールする。シーンステムは生成の前半で共有コンテキストを集約し、シーン統合段階でそれをブロードキャストしてから破棄される。得られたステムはリタイム、ミュート、差し替え、リミックスが可能であり、報告されているスケジューリングの数値は大きい。ウィンドウ成功率は93.1%で、同じバックボーンを素朴にバッチ展開した場合の15.0%、商用オムニモデルの85.0%を上回る。ウィンドウ外の活動は1.7%で69.7%に対し、意図したウィンドウ内の単語誤り率は0.060で0.779に対し良好である。この項目が有用なのは不確実性の報告による。著者らはブートストラップ区間を示し、商用モデルとの差のうち単語誤り率(−0.008、CI [−0.156, 0.175])とウィンドウ成功率(+8.1 pp、CI [−2.8, 22.8])はゼロを含むため、そのサンプルサイズで支持されるのはオンセット誤りの差(−0.541 s、CI [−1.323, −0.068])のみであると注記している。またベースラインは異なる解像度で実行されており、人間による研究は比較対象システムのうち3つのみをカバーしている。
図9. Soundwichの層状生成:ソースごとの時間ウィンドウを伴うシーンプロンプトが、1つの共有映像上でステム形成を駆動し、エンティティルーティングが各ステムをその視覚的ソースに結びつけ、出力は個別に編集可能な音声ステムを持つ映像となる。の図2。本号ではピクセルレベルで閲覧。
7.2 報酬を分離しておく
AV-GRPO は代わりに、強化学習によってジョイントモデルをポストトレーニングする。その鍵となる考え方はクレジット割り当てである。音声–映像のペアサンプルを1つのポリシー出力として扱うのではなく、各フェーズはアンカーモダリティの完全に実現された軌跡を条件とし、他方のタワーのみを更新する。これをステップごとに交互に行うため、グループ内ではアンカーの報酬が一定となり、中心化後に相殺され、同期の比較が統制されたまま残る。難易度で層別化したプロンプトセットを用いたLTX-2.3 22Bバックボーン上で、音声品質5.097 → 5.798、非同期化0.757 → 0.542をベースに対して報告し、ほとんどの列でマルチ報酬ベースラインを上回る。一方で2つの後退も認めている(LoRA変種の映像品質5.816はベースの5.855を下回り、視覚的リアリズム4.395は4.399をわずかに下回る)。また、タワーを凍結する動機として挙げたコスト削減の主張には、実時間やメモリの測定が伴っていない。
音声は、別の箇所で読んだ2本の論文においても第一級の制約である。は映像アテンションをスパース化しつつ生成音声を密で正確なまま保ち、それを変更せずにリファインメントへ通す。は制御を追加しつつネイティブ音声ストリームを保持するが、それを評価もスコアリングもしない。
表7. 本テーマにおける音声–映像ジョイント論文。
| 論文 | 経路 | ベース | 主要な根拠 | 記録された注意点 |
|---|---|---|---|---|
| Soundwich | 学習不要の層状音声ステム | 凍結LTX-2.5 22B | ウィンドウ成功率93.1% 対 素朴展開の15.0% | 商用モデルとの差は信頼区間にゼロを含む |
| AV-GRPO | モダリティアンカー型分離RL | LTX-2.3 22B | 音声品質5.097 → 5.798、非同期0.757 → 0.542 | 2つの品質後退を認める。コストの主張は未測定 |
要点 — 同じ不満への2つの相反する道筋:Soundwichは学習なしで凍結モデルの単一ミックストラックをスケジュール済みステムへ展開することで編集可能にし、AV-GRPOは各モダリティの報酬が自身のタワーのみを更新するようジョイントモデルをポストトレーニングし、アンカー軌跡は固定したままにする。前者は最も引用しやすいギャップについてゼロを含むブートストラップ区間を報告し、後者は2つの品質劣化を認めつつ、一度も測定していない学習コスト削減を主張する。
8. 生成の評価と統治:指標の妥当性が研究テーマになった
今月の評価と安全性の論文は異常なほど自己批判的であり、そのうち3本は主に分野がどのように測定するかについての主張をしている。
8.1 指標が実際に測定しているもの
Video Generation Models: A Survey of Post-Training and Alignment はここでは目録として機能する:教師ありファインチューニング、自己学習/蒸留、選好および報酬手法、推論時ステアリングにわたる117の手法項目、加えてサイズ付きの20の学習データセットと28のベンチマーク。読者にとって最も有用な内容は、著者らが自身の表に付した警告である——収集されたスコアはリーダーボードではない。なぜならプロトコルはベースモデル、サイズ、サンプリング予算、プロンプト集合において異なり、解像度、クリップ長、サンプリングステップはほとんどの評価で単に報告されていないからである。収集された証拠に対する実質的な読みは、滑らかさと一貫性のスコアは動的度合いを追跡せず、1つの報酬を最適化すると他の次元が横ばいまたは悪化しうるというものである。また、動画モデルに特化した安全性ポストトレーニングは「依然として強固な研究の蓄積を欠いている」と率直に述べ、文献が圧倒的に拡散ベースであるため自己回帰的アラインメントは過小に表れているとも述べている。
Scaling Video Generation for Reasoning はその種の疑念を制御実験に変える:正確なシミュレータ真値を持つルービックキューブ、9つの規定された回転、そして7つのサイズ(19.7M–938.4M)にわたってゼロから学習されたモデル。その中心的な結果は指標妥当性の発見である——検証フローMSEは能力によってモデルを順序付けせず、逆転させうる:150万本の学習動画で、1Bモデルは70Mモデルより低いMSEを持つが、平均フレーム精度は41.00%に対して3.67%である。計算の話も同じく具体的である:約0.1 PF-daysで70Mモデルは行動後フレーム精度44.6%に達する一方、1Bモデルは0.3%であり、3.14 PF-daysでようやく83.7%に達する。第3の発見は建設的なものである:記号的状態予測パスを追加すると、20Mモデルが0.0445 PF-daysでフレーム精度31.1%から67.3%へ向上し、1.33 PF-daysの550M動画のみモデルにほぼ匹敵する——約30倍の計算である。2つの正直な注意点:ステッカー表現は手作りであり一般化しないかもしれず、べき乗則の計算外挿は予算ではなく例示的とラベル付けされ、フィッティング窓への強い感度がある。また、記憶に値する診断も報告している——モデルは行動の80%を正しく追従しながらフレームの0.3%しか正確に合わせられない、すなわち間違ったキューブの正しい面を回しているのである。
図10. フィッティングおよび外挿された計算–精度フロンティア:同じ測定が、フロンティアのどの部分をフィッティングするかに応じて大きく異なる予測を支持する——平均フレーム基準で、最後の3分の1からは23.55 PF-days、中央の3分の1からは422,700 PF-days。の図7;本号ではピクセルレベルで閲覧。
表8. このテーマにおける評価と安全性の論文。
| 論文 | 何を測定するか、または何を破るか | 設定 | 主要な証拠 | 記録された注意点 |
|---|---|---|---|---|
| ポストトレーニング調査 | 117手法の分類体系と集計表 | 拡散/DiTバックボーンが主流 | スコアはリーダーボードではないと自らの表で警告 | 統一的な再評価やメタ分析はなし |
| Scaling for Reasoning | 計算量に対する能力、ゼロから学習 | 19.7M~938.4Mパラメータ、ルービックキューブ | 約0.1 PF-daysで、70Mモデルがフレーム精度44.6%に達するのに対し、1Bモデルは0.3% | 手作り状態表現。外挿は例示的 |
| EraseSAE | 凍結生成器内部での概念消去 | CogVideoX-5B、HunyuanVideo | ヌード 2.62 対 2.88、SSIM 74.99 対 42.39 | 主要な差は異なるベースラインに由来 |
| BadAction | 逐次行動チャネルへのバックドア | Astra + Wan2.1-1.3B、100の一人称視点クリップ | 攻撃成功率 91.0%(SSIM)/ 89.6%(人間)対 69.4/61.3 | 単一バックボーンと単一データセット。検出器は行動を一切見ない |
8.2 消去と新たな攻撃面
EraseSAE は、テキストから動画への拡散における概念消去にスパースオートエンコーダを持ち込む。分割された畳み込みSAEが文脈特徴と概念特徴を分離し、対照ログ比帰属がオフラインで概念カーネルを選択し、タイムステップ分解マスクが推論時の空間変調ガイダンスパスをゲートする。ヌード消去では、CogVideoX-5Bの生成器分割において、最強のベースラインの2.88に対して2.62を報告し、無関係な内容の保持がはるかに優れ(SSIM 74.99 対 42.39)、5人の著名人アイデンティティに対する残差検出の低減も大きい。注意点は3つある。2つの主要な差は異なるベースラインに対して計算されているため、1つの差ではない。アブレーションは単一の損失項から18.32ポイントのSSIM寄与を示しており、1つの構成要素に依拠するには大きすぎる効果である。そして、序論の主要なパーセンテージ向上は、読んだ限りでは実験セクションのどの表からも再現できなかった。さらに、この論文には制限セクションが一切ない。
BadAction は、誰も攻撃していなかったチャネルへのバックドア攻撃を研究する。プロンプトでもピクセルでもなく、対話型動画モデルの逐次行動ストリームである。行動シーケンスに接ぎ木された固定の4ステップ動作パターンを、凍結されたターゲット動画と組み合わせることで、モデルはトリガーされると以降のユーザー行動への応答を停止する一方、良性のシーケンスは正常に振る舞う。SSIMベースの測定で91.0%、10人の人間評価者で89.6%の攻撃成功率を報告し、最強の画像チャネルベースラインの69.4%と61.3%に対して優位である。良性ユーティリティはクリーンモデルに近い(CLIPSIM 82.3 対 85.1)。実用的な発見は防御結果にある。2つの拡散バックドア検出器は行動チャネル攻撃に対してF1 66.2と29.3に達する。これは画像チャネルとテキストチャネルを検査しており、行動制御を見ていないためである。範囲の制限は現実的である。単一バックボーン、単一の一人称視点データセット、100クリップ、解像度・クリップ長・ハードウェアは未報告である。しかし、攻撃面はこの論文が名指しする文献と比較して真に新しい。
横断的知見。 の検証器汚染の監査と合わせて、このセクションは、9月にこの分野で最も弱い測定リンクがループに最も近いものであったことを示唆する。すなわち、エージェント型ハーネス内のジャッジ、モデルサイズ比較に用いられる損失曲線、集計されたリーダーボード、そして行動チャネルを一切見ない検出器である。
要点 — 生成することだけでなく、生成を測定することが今月の研究テーマとなった。検証損失は能力について誤った方向を示すことがある。117のポストトレーニング手法に関するサーベイは、その表の中で、集計されたスコアはリーダーボードではないと自ら警告している。そして、防御側が見ていないところに新たな攻撃面が現れている——対話型モデルの逐次行動チャネルと、エージェントハーネスの補助テキストである。動画ポストトレーニングに特化した安全性の研究は依然として薄く、サーベイもその点を率直に述べている。
その他注目されたもの
全文を読んだ論文以外に、スクリーニングした220本の論文を7つのテーマに分類した(単一ラベル。主要な貢献が複数テーマにまたがる場合や確信度が低い場合は54本が未割り当てのままとなった)。以下の件数は今月の確認済みルート内での件数であり、分野のシェアではなく、これらのテーマについて全体でどれだけの論文が存在するかについても何も語るものではない。
表9. スクリーニング済みコーパスにおけるテーマと、全文を読んでいない代表的な論文(タイトルと要旨に基づく単一ラベル分類。件数は確認済みルート内のみ)。
| テーマ | 分類された論文数 | 全文を読んでいない例 |
|---|---|---|
| 制御と編集 | 43 | Vidu S2(リアルタイム対話型編集)、LIFT(layout-in-future generation)、DynaTokens、PartiCam、ThinkV2V、ViTeX-Bench |
| 評価、物理、安全性 | 37 | HappyWorld-Bench、OPIS、Principia、MotionInsight、生成的IPRのための動画ウォーターマーキング、FOMO(選択的動画アンラーニング) |
| 効率とシステム | 36 | TSGate、SparkDiffusion、WaveAlign、DSAQuant、UnStep、Carnator、vidax |
| ワールドモデルとインタラクション | 15 | Zing-0.5(行動とテキストの統合制御)、Astronex-World、SolarWM、DiVA、Code Plans → Diffusion Renders |
| 長尺動画、自己回帰、ストリーミング | 13 | Elastic Forcing、ViRDM、Compress to Remember、No Corners Cut、Video DeltaNet |
| エージェント的オーケストレーション | 12 | DramaAgent、Timeline-Bench、MVWeaver、Unified Agentic Video Editing、DataMagic、MaLiang-Harness |
| 音声と動画の統合 | 10 | 音声動画モデルにおけるAttention Triangle、ORAV、AV-SafetyBench、PRISM-Bench、AVIO |
範囲と方法
検索とスクリーニング
コーパスは、v1投稿日が2026-09-01から2026-09-30までのキーワード検索と意味検索を統合したもので、あらかじめ文書化した包含基準に照らしてスクリーニングした。基準は、動画生成モデルまたはその生成能力への貢献とし、ドメイン転移の研究は、その貢献が生成手法に還元される場合に限り対象とした。374本の候補をスクリーニングし、220本が通過した。スクリーニング済みの作業セットは 视频生成 2026-09 · AI 精筛 である。
証拠の深さとギャップ
220本のうち32本は全文を読んだ——手法と実験の節に加え、節マップが示す付録も含む——残りはタイトルと要旨のみから要約した。除外した154本のうち20本を再検査した。境界的な除外の1本、すなわち画像から動画への生成の手続き的正しさを評価するベンチマークは、判断基準をわずかに下回ってスクリーニングで除外され、ニアミスとして記録されている。本号の3つの数値はテキストではなく図に由来する(LongTakeの動的度合い、Recency Forcingのユーザー調査、CamPilotのカメラサブタスク)ため、根拠となるノートでその旨を明記している。
除外された境界事例
ドメイン色の強い生成研究——運転シーンや身体化された世界モデル、動画試着、手話・吹き替えシステム——は、その貢献自体が生成手法である場合を除き、対象外とした。一部の項目には10月系列のarXiv識別子(2610.xxxxx)が付されているが、これはそれらのv1が2026-09-30に投稿され、次のバッチで告知されたためである。対象期間は識別子ではなくv1の投稿日に対して適用した。テーマ別の件数はタイトルと要約に対する単一ラベルの分類器によるもので、220件のうち54件は未割り当てのままであるため、概算であり、また1本の論文は1つのテーマにのみ現れる。
注目論文の概要
表10. 本号で論じる論文、それぞれが引くレバー、そしてその見出しの数値を最も大きく制限する注意点。
| 論文 | 主要なレバー | ベース / 設定 | 見出しの証拠(報告どおり) | 主な注意点 |
|---|---|---|---|---|
| StoryEngine | 明示的なストーリー状態 + 有界修復 | Veo 3.1 と Wan2.2-TI2V-5B、60ストーリー × 10ショット | Veo上の平均 0.7690 対 0.6274(ViMax) | 判定者 = ループ内評価器;計画エラーは回復不能 |
| MVAgent | 型付き視覚条件付け + ショット単位RL | 凍結されたVeo 3.1、ViMax-Bench 35ストーリー | 一貫性 0.5611 対 0.5500;60.06%の人間選好 | アブレーションブロックは異なるオーケストレーターを使用 |
| VideoGen-Agent | 訓練済みツール選択ポリシー | Qwen3-VL-8B、VABench 600プロンプト | 75.6(より強力なツールで86.1)対 ベース56.5 | 報酬VLM = ベンチマーク判定者;単一タスクRLがわずかに高い |
| Don't Read the Log | 証拠ルーティング(監査 + 修正) | 109のニアミスクリップ、36の失敗 | 支持的なログ下で判定者は失敗の78–90%を受理;ルーティング後の真の合格率 0.28 → 0.86 | 109クリップのベンチマーク、シミュレートされた修復ループ |
| CamPilot | 学習されたカメラ文法 | 14.5Kの映画動画、Fireflyバックボーン | カメラMacro-Acc 63.7 対 59.5 | ラベルとテストが同一のVLMアノテーターを共有 |
| CineCrew | 制作DSL + クルーエージェント | 20のMovieBenchナラティブ | 17指標の大半で3ベースラインをリード | 制限セクションなし;バックボーンと解像度は未記載 |
| Self-Aligned Forcing | 微分可能なノイズ履歴 | Wan2.1-1.3B、20–100秒 | 155.18 GiB / 132.78秒 対 187.45 / 186.73 | すべての集計で最良ではない;ベースラインは以前の報告からの引用 |
| Recency Forcing | アテンションロジットへの再近性バイアス | Wan2.1-1.3B、60秒 | VBench-Long品質 84.02 対 81.98 | 訓練不要版と訓練版は異なるモデル |
| LongTake | 長動画ティーチャーフォーシング | Wan2.1-1.3B、30–60秒 | 30秒時点で動的 96.30 対 93.44 | 1.3Bのみ;ΔIQ系指標は静的出力を優遇 |
| Rollout-Marginal Distillation | チャンク限界監督 | Wan 14B → 1.3B、60秒 | 合計 81.26 対 70.94 | 品質は自身の限界のみのアブレーションを下回る |
| Honeycomb | 定数サイズの再帰メモリ | Wan2.2 5B、WorldScore | 平均 65.52 対 63.21 | 制限セクションなし;ベースラインのメモリフットプリントは定量化されていない |
| Waypoint-1.5 | リアルタイムiWM向けシステム | 1.28B因果DiT、消費者向けGPU | RTX 5060 Ti以上で720P INT8 ≥30潜在FPS | スループットのみの評価;品質または忠実度指標なし |
| OctWorld | 拡張可能なオクツリーTSDFメモリ | 15Bと14B、433–505フレーム | 静的 50.31、3D 71.67 | ベースラインは異なる解像度/チャンク長 |
| Scaling for Reasoning | 制御されたスケーリング研究 | 19.7M–938.4M、ルービックキューブ | 約0.1 PF-日で70Mが44.6% 対 1Bがフレーム精度0.3% | 手作りの状態表現;外挿は例示的 |
| Sol-H3 | クロス解像度サービング + RSI探索 | MiniMax-H3 33B | 13.7–17.0×(クラウド)、31×(エッジ) | 同一ワークロードに対する2つの報告タイミングが一致しない |
| LongLive-Plug | 一度きりの能力蒸留 | Wan2.2-TI2V-5B、54の下流モデル | 約80 対 約457 GPU時間;5×–12.5×のステップ削減 | 再利用には互換性のある子孫が必要;長文脈はトレードオフ |
| Soundwich | 訓練不要の層状オーディオステム | LTX-2.5 22B、15シーン | ウィンドウ成功率 93.1% 対 15.0%(ナイーブ拡張) | 商用モデルとのギャップには信頼区間ゼロが含まれる |
| AV-GRPO | モダリティ固定の分離RL | LTX-2.3 22B | 音声品質 5.097 → 5.798;DeSync 0.757 → 0.542 | 2つの品質低下を認める;コスト測定なし |
| EraseSAE | SAE概念消去 | CogVideoX-5B、HunyuanVideo | ヌード 2.62 対 2.88、SSIM 74.99 対 42.39 | マージンは異なるベースライン由来;制限セクションなし |
| BadAction | アクションチャネルバックドア | Astra + Wan2.1-1.3B、100クリップ | ASR 91.0/89.6 対 69.4/61.3 | 1つのバックボーンと1つのデータセット;解像度は未報告 |
References
[1] Yingrui Wang, Zeqing Wang, Yeying Jin. StoryEngine: A State-Grounded Agentic Framework for Video Storytelling. arXiv:2609.33627, 2026. https://
[2] Xiangyu Kong, Wenjie Zhou, Fengping Tian, et al. MVAgent: Multi-Agent Video Generation via Consistent Condition Construction and Shot-Level Policy Optimization. arXiv:2609.30609, 2026. https://
[3] Binxu Li, Haoyi Duan, Yuhui Zhang, et al. VideoGen-Agent: Reinforcing Video Generation Agents. arXiv:2609.24997, 2026. https://
[4] Jian Xu. Don't Read the Log: Execution Traces Contaminate Verifiers in Video-Generation Agents. arXiv:2609.28564, 2026. https://
[5] Yang Wu, Stefano Petrangeli, Ishita Dasgupta, Yu Shen. CamPilot: A Multi-Agent Cinematic Assistant for Camera-Controlled Movie Generation. arXiv:2609.10943, 2026. https://
[6] Jiaben Chen, Sixun Dong, Qinhong Zhou, et al. Better Call CineCrew: Consistent Ultra-Long Narrative-to-Film Generation. arXiv:2609.07720, 2026. https://
[7] Yinming Huang, Shuyuan Tu, Xi Yan, et al. Agentic Visual Generation: From Generative Models to Agentic Control. arXiv:2609.06758, 2026. https://
[8] Weiqiang Wang, Zhuokun Chen, Yusheng Dai, et al. Self-Aligned Forcing: Streaming Video Diffusion with Differentiable Noisy History. arXiv:2609.38114, 2026. https://
[9] Tri Cao, Hung Nguyen, Phong Nguyen, Khoi Nguyen. Recency Forcing: Bridging the Long-Horizon Gap in Autoregressive Video Generation. arXiv:2609.19729, 2026. https://
[10] Byoungwoo Park, Jaemoo Choi, Juho Lee, Yongxin Chen. LongTake: Learning to Sustain Dynamics in Long-Horizon Video Generation. arXiv:2609.38562, 2026. https://
[11] Chenjian Gao, Zhihao Hu, Jianqi Ma, et al. Rollout-Marginal Distillation for Long-Horizon Autoregressive Video Generation. arXiv:2609.37925, 2026. https://
[12] Zhuoran Zhao, Shengju Qian, Tongtong Liang, et al. Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout. arXiv:2609.09123, 2026. https://
[13] Mikhail Dereviannykh, Vikram Voleti, Simon Donne, et al. SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation. arXiv:2610.00686, 2026. https://
[14] Jack Wei Lun Shi, Kaichen Zhou, Haoyu Chen, et al. Honeycomb: Constant-Size Scene Memory Representation for Video World Models. arXiv:2609.37690, 2026. https://
[15] Rajit Rajpal, Shahbuland Matiana, Liew Wei Pyn, et al. Waypoint-1.5: A Real-Time Video World Model for Consumer Hardware. arXiv:2609.37107, 2026. https://
[16] Zelong Lv, Sicheng Xu, Jianfeng Xiang, et al. OctWorld: Long-Range World-Consistent Video Generation with Octree-Based 3D Mapping. arXiv:2609.03919, 2026. https://
[17] Yifan Huang, Lifan Jiang, Qingyue Hao, et al. WorldWeave: Growing Persistent Geometric Worlds for Video Generation. arXiv:2609.34221, 2026. https://
[18] Danze Chen, Zeqing Wang, Ziyue Lin, Xingyi Yang, Yeying Jin. H3-World: Turning Language Understanding into World Control. arXiv:2609.01560, 2026. https://
[19] Zhangsihao Yang, Mengyi Shan. CoaG: Cylinders on a Grid for Coarse 3D Layout Control in Video Generation. arXiv:2609.24208, 2026. https://
[20] Pokrzywa Baptiste, Nabyl Quignon, Yara Bahram, et al. BEACON: Behavior and Appearance Control for Subject-Specific Video Generation. arXiv:2609.13264, 2026. https://
[21] JJiahang Li, Dingbao Shao, Xinyu Chen, et al. VideoX-Qwen: Data-Centric Instruction-Based Video Editing. arXiv:2609.26015, 2026. https://
[22] Yujia Hu, Jiajun Li, Zihao He, Songhua Liu. Streaming Video Editing with Easy Adaptation (SVEET). arXiv:2609.24788, 2026. https://
[23] Yu Xu, Yuxin Zhang, Xiao Yang, et al. Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE. arXiv:2609.38140, 2026. https://
[24] Yun Dai, Jiarui Wen, Huiping Zhuang, Cen Chen, Ziqian Zeng. PARK: Accurate Block Retrieval for Sparse Attention in Video Diffusion Transformers. arXiv:2609.38978, 2026. https://
[25] Yitong Li, Jincheng Yu, Junsong Chen, et al. Sol-H3: Recursive Self-Improvement for MiniMax-H3 Inference Acceleration on Sol-Engine across Cloud and Edge. arXiv:2609.35110, 2026. https://
[26] Shuai Yang, Luozhou Wang, Wei Huang, et al. LongLive-Plug: Once-for-All Distillation for Video Generation. arXiv:2609.38154, 2026. https://
[27] Zhuo Ning, AmirHossein Naghi Razlighi, Sagi Polaczek, et al. Soundwich: Video Generation with Layered and Controllable Audio. arXiv:2610.00691, 2026. https://
[28] Zhiyu Xu, Weilong Yan, Yufei Shi, et al. AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation. arXiv:2609.29816, 2026. https://
[29] Chaoyu Li, Xiaoyi Gu, Yogesh Kulkarni, et al. Video Generation Models: A Survey of Post-Training and Alignment. arXiv:2610.00812, 2026. https://
[30] Weihang Guo, Xiaoyu Wu, Yifei Wang, Niloofar Mireshghallah, Lydia E. Kavraki. Scaling Video Generation for Reasoning: At What Cost? arXiv:2609.36599, 2026. https://
[31] Xinghao Wang, Dong Li, Wei Yu, et al. EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders. arXiv:2609.03629, 2026. https://
[32] Zhihang Wu, Zhongqi Wang, Jie Zhang, et al. BadAction: Backdoor Attacks on Interactive Video Generation via Action-Guided Triggers. arXiv:2609.39047, 2026. https://
このレポートを引用
@misc{parallax-2026-video-generation-in-september-2026,
title = {{Video Generation in September 2026 — Progress Tracking}},
author = {{Parallax}},
year = {2026},
month = oct,
howpublished = {\url{https://parallax.ink/research/en/video-generation-in-september-2026}},
url = {https://parallax.ink/research/en/video-generation-in-september-2026},
note = {Parallax Research, Digest}
}