2026年9月视频生成——进展追踪
2026年9月,视频生成在七个方面同时向前推进,而其中值得记住的三项变化与图像质量无关。智能体式编排成为研究对象,而不再是简单包装:两个系统现在会训练组合请求的控制器,一个系统将多镜头连续性建立在显式故事状态之上,而一项审计表明,闭合这些回路的验证器可以被测试框架自身的执行日志操纵。长时程这一族收敛于同一个诊断——历史形成方式上的训练—推理不匹配——并至少产生了六种不同的修复方案,但这些方案尚不能组合,其中若干种还在运动与质量之间取舍。而指标有效性成为一个研究课题:一项受控缩放研究表明,验证损失可能颠倒模型能力的排序;一项对后训练方法的综述声明其自身的表格并非排行榜;交互式世界模型的评估仍以吞吐量为主。在这一切之下,世界模型的工作显示出该领域正在区分哪些是可迁移的,哪些必须按目标重新训练。
时间窗口与覆盖范围: arXiv v1 提交日期在 2026-09-01 至 2026-09-30 之间(截至 2026-10-14 的上一个完整自然月)的论文;筛选了374篇候选,纳入220篇,全文阅读32篇。
范围: 视频生成模型及其生成能力方面的进展——架构与质量、长时/
flowchart TB
R["Screened corpus, September 2026<br/>220 included of 374 candidates"]
R --> T1["Agentic orchestration<br/>12 papers"]
R --> T2["Control and editing<br/>43 papers"]
R --> T3["Evaluation, physics and safety<br/>37 papers"]
R --> T4["Efficiency and systems<br/>36 papers"]
R --> T5["World models and interaction<br/>15 papers"]
R --> T6["Long video, autoregressive, streaming<br/>13 papers"]
R --> T7["Joint audio-video<br/>10 papers"]
T1 --> D1["StoryEngine · MVAgent · VideoGen-Agent<br/>Don't Read the Log · CamPilot · CineCrew"]
T2 --> D2["CoaG · BEACON · VideoX-Qwen · SVEET"]
T3 --> D3["Post-training survey · Scaling for Reasoning<br/>EraseSAE · BadAction"]
T4 --> D4["SplitMoE · PARK · Sol-H3 · LongLive-Plug"]
T5 --> D5["Honeycomb · Waypoint-1.5 · OctWorld<br/>WorldWeave · H3-World"]
T6 --> D6["Self-Aligned Forcing · Recency Forcing<br/>LongTake · Rollout-Marginal Distillation"]
T7 --> D7["Soundwich · AV-GRPO"]图1. 筛选后的2026年9月语料库中的七个主题,以及本期讨论的论文。分类计数由模型根据标题和摘要分配,因此是近似的;另有54篇论文未被分配。来源:本期自身的筛选。
1. 智能体式编排成为研究对象,而不仅仅是包装
9月的智能体视频工作不再只是“生成器前面放一个LLM”。其中两篇论文训练控制器本身,一篇审计闭合回路的验证器,还有一篇提出了一条判断标准:一条流水线在什么条件下才该被称为智能体式。共同的技术主张是:纯文本计划不足以确定冻结生成器会渲染出什么,因此修复方案必须是带类型的、视觉条件加上显式状态,而不是更好的文字表述。
1.1 StoryEngine:将故事状态作为权威对象,而非对像素的重新解读
StoryEngine 针对的失败模式是:智能体流水线将后续镜头建立在文本计划或先前生成的像素之上,因此一个被遗漏的动作或一个位置错误的物体,会被悄然重新解释为新的叙事事实。其设计将权威语义计划与可错的视觉观察分离:每个实体携带放置位置和故事相关属性,一个确定性归约器按镜头更新状态,而每个镜头的转换由计划效果计算得出,而非从渲染视频中估计。上一镜头的尾帧必须通过单向兼容性门控,才能对下一镜头施加条件;未通过标准的镜头会触发有界的局部修复(预算 ),同时保持计划固定不变。
证据是一个60个故事的基准(三个诊断套件:叙事实现、跨镜头连贯性、视觉一致性;每个故事10个镜头,两个重复出现的地点),在两个骨干模型 Veo 3.1 和 Wan2.2-TI2V-5B 上运行。相对于论文提到的两个智能体基线(ViMax、MovieAgent),作者报告在 Veo 上平均领先 0.1416,在 Wan 上平均领先 0.1304,两个骨干模型上的排名相同,消融实验将最大降幅归因于移除有依据的渲染规划。论文自身提供的两个注意事项比标题数字更重要:计划文本指标在两个骨干模型间共享,因此两个骨干模型板块不得混合比较;VLM 评判器与循环内评估器是同一模型,因此 VLM 评判的指标可能偏向该方法。最突出的已声明局限是:权威计划错误会持续存在——错误的实体目录或效果顺序无法通过任何数量的后续视觉证据来修复。
图2. StoryEngine 的流水线:故事状态传播、有依据的渲染规划,以及具有兼容性门控和有界修复循环的连续性感知生成。转载自 的图2;该图像已针对本期进行像素级检查。
1.2 控制器开始被训练
两篇论文将编排策略从手写提示转移到一个学习得到的对象上。
MVAgent 认真对待黑盒设定:八到十六镜头的故事通过单独 API 调用一个冻结的生成器来生成,该生成器不共享任何内部状态。论文将跨镜头一致性重新表述为条件构造,智能体交换类型化条件输入——具有固定位置角色的图像(过渡锚点、角色肖像、环境视图),而不仅仅是文本——然后训练 Orchestrator,用 Trunk-GDPO 组合每个请求。Trunk-GDPO 是一种镜头级智能体 RL 方案,每个镜头采样 个候选,在聚合前对每个奖励分量跨候选进行归一化,并仅继续最高优势的候选作为主干。在 ViMax-Bench(35个故事)上,它报告总体一致性为 0.5611,而 ViMax 在同一生成器和 VLM 智能体下为 0.5500,并在与 ViMax 的人类成对比较中赢得 60.06%;作者自己的表述将其限定为“受生成器能力和评判者可靠性的约束”。对于比较表格的读者来说值得指出的是:消融板块使用了不同的(Qwen3-32B)Orchestrator,因此其数字与主表不可比,并且所读章节中任何地方都没有报告分辨率、时长或步数。
VideoGen-Agent 转而训练一种工具选择策略。一个 Qwen3-VL-8B 智能体在三个工具组上运行推理——行动——观察循环——增强(网络搜索、一个代码物理模拟器)、生成(T2V/
CamPilot 训练控制器的电影摄影部分:一个 Camera Work Planner 预测角度、景别和一个五属性运动元组,由来自 14,581 个真实电影视频的 VLM 标注镜头监督,并用 GRPO 优化,包裹在场景/
1.3 生产层 DSL,而不是提示链
CineCrew 在剧本和生成器之间加入了一个显式中间表示:片段被编译为 FilmDSL,每个片段有三层(叙事动作、包括连续性钩子的电影化调度、渲染规格),首先生成关键帧,并通过将失败转化为结构化 QA 对象来修复,这些对象驱动局部化再生成,而不是整段重新提示。一个 Persona Schema 将特质映射到节拍级行为,并且一个持久的 Production Rulebook 由剧组智能体(Showrunner、Art Department、Story Editor、Dailies Reviewer、Post Supervisor)共享。在由 VLM 评判的 20 个 MovieBench 叙事上,它在所报告的 17 项指标中的大多数上领先其三个基线,并在一个 24 人研究中赢得六轴中的五个轴,但在镜头级电影摄影评分上输给 LTX-Studio。论文没有局限性部分,而且——对任何比较数字的人都很重要——它没有说明分辨率、片段长度、采样步数、硬件或其所用现成骨干的身份,因此其分数无法与其他论文的分数放在一起比较。
1.4 验证器是薄弱点
不要读日志 是本月对构建这类循环的人而言最尖锐的结果。它固定画面,只改变用于驱动自身多模态评判器的辅助文本(旁白转录、执行日志、烧录字幕),并测量判定是否会在一个纯视觉要求上发生移动。开放权重的 Qwen-VL 评判器从 7B 到 32B,当执行日志声称成功时,会接受 78–90% 的明显失败片段;在闭环中,非对抗性规划器利用了这一点——朴素的 8B 配置最终评判器通过率为 1.00,而真实通过率为 0.28,论文显示上限恒等式真实通过 在各配置下保持到两位小数。测试的前沿闭源评判器没有移动,但由于预算限制,它们是在子集(26–109 个片段)上运行的。提出的修复是结构性的而非提示层面的:为每个要求标注类型,只将能够确立该要求的证据类型路由给评判器(外加对烧录进画面的文本进行 OCR 掩码),这在每回合约 3–4 倍成本下,将被攻破率从 0.14–0.08 恢复到 0.86–0.92,真实通过率恢复到 0.86–0.92。其自身局限:一个带有作者标注的 109 片段基准,一个模拟而非部署的修复循环,一个开放权重评判器家族,且没有实例化任何音频要求。
图 3。辅助文本会在一个纯视觉要求上移动判定。在使用支持性执行日志时,开放权重评判器接受 0.78–0.90 的失败片段(左图),而矛盾的日志将 Qwen3-VL 的接受率压到 0.00–0.08,并让 GPT-5.4-mini 保持在 0.90(右图)。 的图 1;本期以像素级查看。
1.5 “智能体式”的一项标准,以及该标准下语料库的样子
Agentic Visual Generation 认为,该领域对智能体性没有一致的标准——规划深度、工具数量、多角色设计和 RL 都被用作证据,尽管它们都不能决定控制器实际可以做出哪些生成决策。它提出了一个控制器能力阶梯 L0–L4,其定义依据是控制器能够因果改变的最新未来生成决策(规范 → 执行 → 任务内结果适应 → 跨任务经验复用),并将模糊情形归入较低层级。这是一篇立场论文:其评估协议是提出的,而非测量的,其图表中的语料库计数无法从阅读副本的文本层使用。它报告的两点结构性观察仍然有信息量:只有四条被审记录落在 L0,即语料库是刻意围绕承载控制器的系统构建的;并且 2026-H2 截至 2026 年 8 月 24 日在其记录中包含 52 条记录。
表 1。本期中的智能体系统实际优化什么,以及它们如何验证。
| 系统 | 被训练的对象 | 验证 | 报告的证据基础 |
|---|---|---|---|
| StoryEngine | 无(免训练) | 兼容性门控 + 逐标准评估器,有界修复 | 60 个故事 × 10 个镜头,两个骨干 |
| MVAgent | 编排器(Trunk-GDPO,rank-64 LoRA) | VLM 观察者 + 文本/视频评审器 | 35 个故事(ViMax-Bench) |
| VideoGen-Agent | 工具选择策略(SFT + GRPO) | 循环中的检测与深度工具 | 600 个提示(VABench) |
| CamPilot | 摄像机工作规划器(GRPO) | 评估器–修订器循环 | 14,581 部电影视频 |
| CineCrew | 无(提示级角色组成的团队) | 样片审阅者 → 局部重生成 | 20 个叙事(MovieBench) |
| Don't Read the Log | 无(审计 + 证据路由) | 类型化路由 + OCR 屏蔽 | 109 个近失片段,36 个失败 |
值得关注的张力。 在一个月内,五篇论文构建了计划–生成–验证循环,而一篇论文表明,只要测试框架转发自己的执行日志,该循环中最廉价的组件——评审器——就会被诚实的规划者利用。九月提出的缓解措施(类型化证据路由、评审器–人类一致性检查、无 VLM 指标)是结构性的而非表面性的,这是正确的方向;但这些措施都尚未在已部署的测试框架中大规模评估。
要点 —— 九月的智能体视频流水线分为三项工作:构建条件(类型化、视觉化、以状态为根据)、训练合成器,以及验证结果。验证工作是三者中最不可信的:当测试框架自己的日志声称成功时,开放权重评审器会接受 78–90% 明显失败的片段,而诚实的规划者会在修复循环中利用这一点。所提出的缓解措施是结构性的而非提示层面的,且尚未在已部署的测试框架中测试。
2. 长时程生成收敛于同一诊断,却在修复方案上分道扬镳
几乎所有九月关于长视频的论文都从同一个失败出发:一个被蒸馏为以因果方式逐块运行的生成器,在远超其约 5 秒训练时长的 rollout 中退化——漂移、饱和,或相反地出现近乎静态的帧。这些论文也共享同一个诊断,即历史形成方式中的训练–推理不匹配,它们的不同主要在于干预循环中的哪个部分。引人注目的是,它们都没有通过简单扩大上下文窗口来换取长度。
2.1 历史位于何处,以及如何被监督
自对齐强迫 使历史变得有噪声但可微:历史键/
近因强迫 在更低一层进行干预,即注意力加权。它首先测量一种位置响应——当距离 处的上下文帧被来自另一条 rollout 的帧替换时,速度预测变化多少——并发现随距离急剧衰减,外加一种系统性的逐去噪步结构。然后,它向注意力 logits 添加一个单调、非正的偏置,该偏置由时间距离和去噪步参数化,且仅应用于上下文中属于历史的部分,并在消融后选择幂律衰减而非线性与对数衰减。一种重参数化将偏置吸收到值中,使其作为未修改的 FlashAttention 调用运行;论文测得为 6.06 ms,而直接应用偏置的 FlexAttention 为 70.34 ms()。在 VBench-Long 的 60 秒设置上,它报告质量 84.02,而 LongLive 为 81.98、Rolling Forcing 为 81.56;动态程度为 75.48,而 LongLive 为 42.85。有两点需要牢记:其免训练变体和基于训练的变体是不同的模型机制,不能当作同一系统来解读;并且论文未报告与基线的墙钟时间或内存比较,只有内核微基准。
LongTake 改变了教师强迫所看到的内容。它不是在短片段上初始化一个少步学生,而是在长真值视频上施加教师强迫,并使用汇帧和近期帧缓存;作者认为这为自 rollout DMD 提供了直接初始化,并消除了整个训练阶段;第二个机制复用由此得到的自回归教师来监督学生自身 rollout 的后续帧。在 30 秒 rollout 上,它报告混合 DMD 的动态程度为 96.30,而 Rolling Forcing 为 93.44,SGF、MemRoPE 和 Context Forcing 约为 51–59,美学和质量分数相当。其自身对指标问题的表述值得重复:在 30 秒时,每个美学分数更高的基线动态程度都保持在 58 或以下,而唯一一个动态程度高于 90 的基线则在美学上落后 3.9 分——这提醒我们,这两个轴相互权衡,单一数字会歪曲这一家族。
图4。在相同的5秒自展开蒸馏下,长时程教师强制与短片段初始化的对比,在30秒展开上评估:动态程度90.73对51.30,主体一致性(96.83对98.19)和美学质量(62.51对63.90)接近。的图5;本期在像素级查看。
Rollout-Marginal Distillation 归咎于监督目标而非上下文:视频级分布匹配对整个展开联合打分,因此教师的真实分数预测继承了学生有缺陷的历史,并将新片段纠正为与过去伪影一致。其修复方案是让每个片段独立地针对片段分布教师打分,然后用视频级DMD进行细化以恢复跨片段连贯性。在VBench-Long 60秒视频上报告的差距很大——在片段大小为1时,总分81.26对Self Forcing的70.94和Causal Forcing的69.88——而语义分数是差距的主要所在(68.24对43.17和36.03),论文将此归因于基线中的提示跟随崩溃;这一归因看似合理,但没有单独进行消融。其完整方法在质量上略低于仅边际消融(84.52对84.90),而在总分和语义上领先——在引用头条数字之前,这一细节值得了解。
表2。针对长时程训练–推理不匹配的六项干预,以及各自监督的内容。
| 论文 | 杠杆 | 变化内容 | 基础与范围 | 头条结果 |
|---|---|---|---|---|
| Self-Aligned Forcing | 历史 | 有噪但可微的历史K/V,使未来损失到达写入路径 | Wan2.1-1.3B,20–100秒 | 49.1潜在FPS,使用4-GPU流水线;VBench总分85.04 |
| Recency Forcing | 注意力 | 对logits施加单调近因偏置,并吸收到values中 | Wan2.1-1.3B,60秒 | VBench-Long质量84.02对81.98 |
| LongTake | 初始化 | 在长真实视频上进行教师强制,然后进行自展开DMD | Wan2.1-1.3B,30–60秒 | 30秒时动态程度96.30对93.44 |
| Rollout-Marginal Distillation | 监督目标 | 逐片段边际打分,然后进行视频级细化 | Wan 14B → 1.3B,60秒 | VBench-Long总分81.26对70.94 |
| Mask Forcing | 展开噪声 | 双噪声掩码,DMD目标不变 | Wan2.1-1.3B,30秒 | 在三个基线上HPSv3 +0.29至+1.03 |
| SemanTok | 分词器 | 每个保留前缀必须重建冻结的DINOv2特征 | 17帧128×128片段 | 一个85M模型在16-token预算下胜过2.29B基线 |
2.2 同一家族中的其他修复
Mask Forcing 是该组中最廉价的干预:它仅扰动自展开(self-rollout),通过一个随机掩码将来自稍干净时间步的 token 混入调度噪声状态,同时保留原始 DMD 目标和原始条件时间步,并报告在三个现有流水线上的增益(Self Forcing +0.29,Causal Forcing +0.80,LongLive +1.03),以及 72–83% 的人类偏好,且无真实数据、无额外后训练。其唯一退步——LongLive 的逐块动态度从 76 降至 69——被作者解释为 VBench 的伪影,即漂移夸大了光流;该解释是一种主张,而非测量。SemanTok 攻击栈的另一端:一种视频 tokenizer,其每个保留的前缀必须重建冻结的 DINOv2 特征,从而使早期 token 携带片段语义。它报告称,一个 85M 自回归模型在 16-token 预算下,在两个数据集上的 gFID 均击败 2.29B 基线,且 token 所需比特数减少 32%——但评估使用的是 17 帧 128×128 片段,因此流式动机是推断性的而非已证明的,并且据作者自己所述,该 tokenizer 在低预算下重建颜色和外观的保真度较低。
要点 — 六篇论文从不同层面攻击了同一个训练–推理不匹配:历史可微性 、注意力加权 、从长视频初始化 、蒸馏目标 、展开噪声 和 tokenizer 。没有一项与另一项结合,且结果依赖于指标:运动动态和感知质量在这些论文中存在权衡,其中两篇警告一致性指标可能奖励近乎静态的输出。
3. 世界模型:限制存储使交互式生成可部署
九月的交互式世界模型,其区分度更少来自骨干网络——大多数封装现有的视频扩散模型——而更多来自它们如何在块之间存储场景。本主题涵盖使该存储有限的论文;下一个主题涵盖让存储增长的论文。
3.1 永不增长的存储
Honeycomb 将场景存储在六个固定大小的 2D 平面中,三个空间平面和三个时空平面,读取这些平面以条件化每个块,并原地写回,因此内存从不随展开长度增长。相对于增长的点云和增长的潜在缓存,它报告了最佳 WorldScore 平均值(65.52 对 63.21 和 61.20)以及闭环重访 PSNR 为 17.22 dB,对比次优的 15.99。对读者最有用的消融是写入器:逐场景优化达到 17.44 dB,但每次写入成本约 3,130–3,228 ms,“替换”写入器退化为 17.16 dB,写入时间从 11.2 增至 40.1 ms,而循环写入器保持 17.22 dB,稳定在 13.1–13.2 ms。该设计所声明的代价是分辨率权衡:随着场景边界扩大,固定网格以更粗的分辨率覆盖更多空间和时间。没有局限性部分,基线字节占用从未被量化,仅定性地展示。
图 5. Honeycomb 的首帧初始化、记忆条件生成和循环更新,右侧为六个固定大小的 HexMemory 平面。转载自 的图 3;该图像已为本期在像素级检查。
Honeycomb 由 Waypoint-1.5 补充,后者是一个 1.28B 交互式世界模型,其目标是在消费级 GPU 上实现实时运行,而非内存效率:一个单流因果 DiT,具有逐块控制器注入和滚动 KV 缓存(密集的 16 帧局部环,加上每第四个块的膨胀 128 帧环),以逐帧扩散强制训练并蒸馏为四步。报告的吞吐量是头条——720P INT8 在 RTX 5060 Ti 及以上清除了 30 潜在 FPS,而 360P 在包括 RTX 3060 在内的每张测试卡上都清除了它。论文没有报告的内容同样值得注意:没有延迟数据、没有质量或 FVD 指标、没有动作遵循指标、没有与所命名世界模型的正面比较,也没有消融。其自己的摘要声称要区分渲染 FPS、潜在 FPS 和控制速率,但在所阅读的章节中只有潜在 FPS 被定义和测量——这是本报告的观察,而非作者的声明。对于一篇系统论文,这是一个连贯的选择;对于任何询问该世界模型是否正确的人,这里九月的证据基础是吞吐量加定性 rollouts。
表 3. 本主题中的有界内存世界模型。
| System | Memory | Bounded? | Headline evidence | Documented cost |
|---|---|---|---|---|
| Honeycomb | 六个固定大小的平面,原地更新 | 是 | WorldScore 65.52 对比点云基线的 63.21 | 分辨率随边界扩展而下降 |
| Waypoint-1.5 | 滚动 KV 缓存(16 帧环加膨胀 128 帧环) | 是 | 从 RTX 5060 Ti 及以上,在 720P INT8 下 ≥30 潜在 FPS | 仅吞吐量评估;无质量指标 |
要点 — 限制存储是使交互式世界模型可部署的关键:固定平面集将内存保持在报告的每次写入 13 ms 的平稳水平,而滚动缓存使接口在消费级硬件上保持 30 潜在 FPS 以上。代价在两篇论文中都可见:分辨率随边界扩展而下降,而实时工作仅以吞吐量评估,没有控制保真度或长时程稳定性测量。
4. 世界模型:让存储增长,通过构造而非推理
4.1 融合几何与提交几何
OctWorld 走的是相反路线:一个可扩展的八叉树 TSDF 地图,其体素分辨率根据深度逐像素分配,与生成的 RGB-D 观测融合,并渲染回去作为下一块的调节。这是本月关于世界记忆应当被融合而非累积的最清晰表述——它报告了 50.31 WorldScore 静态和 71.67 3D 一致性,对比 Gen3C 的 70.52 和 Voyager 的 66.35,并在长户外轨迹上与 Gen3C 的 22 名参与者用户研究中以 53.8% 对 39.5% 获胜。其承认的代价是真实的:没有体素修剪,所有节点都缓存在 GPU 上,因此内存随场景范围增长,并且没有视图相关的细节层次,因为粗节点不保留特征。基线也以不同的分辨率和块长度运行(Gen3C 1280×704/121 帧,Voyager 768×512/49,OctWorld 832×480/36),因此 WorldScore 表混合了设置,不应被解读为匹配比较。
WorldWeave 以更严格的规则将同一直觉推得更远:生成的 RGB 永远不会写回世界状态。取而代之的是,一个显式的度量世界——地形、街区、资产实例和继承的边界接口——通过经过验证的构造而生长,视频生成以只读方式查询它。地形扩展被视为一个测量问题(针对邻域拟合曲面的残差编码、解码器反演、接合处的 Hermite 式导数约束:仅高度接合留下 0.319 m 残差,导数继承将其降至 m 以下)。在 120 项探索与重访任务上,它报告了最佳结构-运动一致性(2.30 对 2.21)和次佳美学分数,且种子稳定性远紧于基线(图像质量上的变异系数为 0.39%,而最接近的竞争者为 27.61%)。来自论文自身文本的两点保留:WorldWeave 接收从其构造世界查询得到的深度,而基线仅获得第一帧、轨迹和提示——因此条件并不匹配——并且作者将自己限制在静态几何上,深度仅作为引导而非硬性渲染约束。
图 6. WorldWeave 的流水线:度量地形块针对已提交的邻居完成,场景在状态提交前被规划和验证,视频生成在只读锁下查询已提交的世界。 的图 2;本期以像素级查看。
表 4. 本主题中的增长记忆世界模型。
| 系统 | 记忆 | 是否增长? | 头条证据 | 记录成本 |
|---|---|---|---|---|
| OctWorld | 从生成的 RGB-D 融合的可扩展八叉树 TSDF | 是,无剪枝 | 3D 一致性 71.67;用户研究 53.8% 对 39.5% | GPU 内存随场景范围增长 |
| WorldWeave | 显式构造世界,仅提交写入 | 是,通过经过验证的提交 | 结构-运动一致性 2.30 对 2.21 | 接收基线没有的深度;仅静态场景 |
| H3-World | 无——固定长度片段 | 不适用 | 动作反转流 +52.7 → −106.0 | 无质量指标且无持久状态 |
4.2 通过生成器自身接口进行控制
H3-World 是该组中最廉价的干预:它没有添加动作模块,而是将每个潜在区间的人物和摄像机动作表示为简短的自然语言提示,将其与镜像位置偏移和确定性“单出口”注意力掩码一起打包进冻结的 33B MiniMax-H3 生成器的打包自注意力序列中,并仅训练一个 rank-32 LoRA——报告为参数的 0.199%、7,872 个片段和 10,000 步。诊断结果才是有趣之处:一个冻结模型收到一个全局运动指令,对片段中段的反转几乎不响应(累积平均水平流 0.0 → −17.3),将 LoRA 置零的每潜在接口无响应(0.003),而训练后的版本产生 +52.7 → −106.0;在恒定运动上,冻结模型和 H3-World 几乎相同(301.8 对 300.5),这支持了作者关于 LoRA 所换来的是时变控制而非粗略运动的说法。它没有在数值上支持的说法是“保持生成质量”(仅有定性示例,没有 FVD 或人工研究)和通用性:该研究是短时程和固定长度的,没有持久世界状态、没有实时交互和没有规划,并且没有报告延迟或硬件数据。
要点 — 当存储被允许增长时,该月的两条路线在信任对象上有所不同:OctWorld 将生成的观测融合进八叉树,并付出内存持续增长且无体素剪枝的代价;而 WorldWeave 则根本不让生成的像素回写,并在每次提交加入世界之前对其进行验证。两者在一致性上都超过了各自的基线——但并非在匹配条件下,因为 WorldWeave 获得了基线从未见过的深度信息,而 OctWorld 的基线运行在不同的分辨率和块长度下。
5. 控制与编辑:更廉价的接口,而非更大的模型
控制与编辑是筛选语料库中最大的单一类别,而此处阅读的论文共享一种设计本能:减少用户必须指定的内容,并使新模态易于学习。四篇中有两篇还说明了控制类论文的结果在多大程度上取决于其评估协议。
5.1 要求更少
CoaG 追问一个人必须绘制多少几何信息才能同时确定人的站位和相机的运动,并给出了答案:一个以线框网格绘制的接地平面,加上每人一个直立圆柱体——没有姿态、没有朝向、没有包围盒。在开放 14B 控制骨干网络上训练一个 LoRA,使用约 1,935 个自动生成的元组(秩 64,一次一个专家,在 8×H100 上每个 GPU 每个专家约 1 小时 50 分钟和 70 GB)。有一个方法论上的修正值得单独指出,因为它适用于本文之外:基础配方从目标片段的某一帧取参考图像,这恰好泄露了控制视频本应提供的布局,因此 CoaG 改为从修补后的背景中读取参考。作者异常明确地表示,他们没有进行人类研究、没有消融网格、也没有定量可控性指标,因此表示主张依赖于均匀采样的定性结果和手工编写的压力测试(六个圆柱体给出六个人;1.7/
图 7. CoaG 的控制表示与数据引擎:相同的三个输入——场景网格、参考图像和文本——在训练和推理时都馈入共享渲染器,一个秩为 64 的 LoRA 以每个去噪步骤两组权重的方式适配冻结的控制骨干网络。 的图 2;本期以像素级查看。
BEACON 针对特定主体的人类视频采取了类似的“添加一个廉价因素”策略:身份保持为一张图像,但行为通过一种注意力设计以一段单独的表情视频为条件,该设计防止两个分支相互泄漏,并在冻结的 14B 主干上以约 0.15B 可训练参数进行训练。其报告的表情丰富度提升显著(在 MEAD 上,emotion-FID 为 0.86,而两个基线分别为 2.28 和 3.17),并展示了身份–表情迁移——一个主体的脸配上另一个主体的动态。有趣的结果是一个协议效应:在通常的中性参考测量协议下,BEACON 的人脸相似度(0.760)低于 Stand-In 基线(0.826),但当真实帧为表情帧时,排序反转(0.852 对 0.678)。因此,该子领域中任何只引用单一身份指标而不说明使用哪个参考帧的比较都是无法解释的。作者还承认存在残余外观泄漏(生成的眼睛颜色部分跟随表情参考),并且没有与 Slot-ID 进行比较,而他们将其称为最接近的双参考先验。
表 5. 本主题中的控制和编辑论文。
| 论文 | 用户指定什么 | 训练成本 | 主要证据 | 记录的注意事项 |
|---|---|---|---|---|
| CoaG | 一个地平面网格加每人一个圆柱体 | LoRA,在 8×H100 上每个专家约 1 小时 50 分钟和 70 GB | 在抽样压力测试中遵循布局、数量和相机路径 | 没有定量可控性指标或基线 |
| BEACON | 身份图像加一段表情参考视频 | 在冻结的 14B 主干上约 0.15B 可训练参数 | emotion-FID 0.86 对 2.28 和 3.17 | 在中性协议下人脸相似度低于基线 |
| VideoX-Qwen | 一条指令,无掩码 | 三个阶段;最后阶段使用 30K 条精选 720p 片段 | 在 11 个自动指标中的 9 个上取得最佳均值 | 一个 VLM 评判器,100 个示例,无人类研究 |
| SVEET | 指令、风格、掩码或深度,流式 | 在一张 A100 上使用 rank 128 的 LoRA,主干冻结 | VLM 编辑准确率 7.43 对 7.07 | 声称 15 FPS,从未以表格列出 |
5.2 编辑作为数据问题
VideoX-Qwen 采用以数据为中心的路径进行基于指令的编辑:一个合成配对记录流水线(对象移除、添加、替换和属性编辑,每个方向复用现有视频模型)以 89% 的自动接受率产生超过 120 万条方向性记录,并且一个统一编辑器同时消费稀疏语义 token 和密集源 latent,分三个逐步提高分辨率的阶段训练。在 100 个示例上,与 UniVideo 和 Kling O1 相比,它报告在 11 个自动指标中的 9 个上取得最佳均值——指令遵循 7.70 对 6.91 和 7.61,SSIM 0.766 对 0.572 和 0.670——评判器为 Qwen2.5-VL-7B 模型,且无人类研究;作者指出 Kling O1 在美学和成像质量上仍然更强,并且尽管提到了许多先验系统,正面对比仅限于这两个系统。
SVEET 攻击的是流式编辑,其显而易见的路径——将编辑能力蒸馏为因果骨干——代价高昂。它的答案是:在双向模型上学习编辑,并将其迁移到无需重新训练的冻结流式骨干上:控制分支从完整 3D 注意力改为逐帧 2D 空间注意力(因此没有额外的时间 KV 缓存),并且最小二乘/SVD 过程将可训练更新约束到承载双向到因果差距的方向的正交补上。在方法间使用相同测试集的 VLM 编辑准确率分数上,它报告为 7.43,而 3D 注意力 VACE 变体为 7.07,消融实验表明两项改动都有贡献(3D 但无正交训练为 7.07,2D 且有正交训练为 7.43)。两点保留:单张 H100 上 15 FPS 的运行点只是断言,没有任何延迟表;最严格的通用性主张(跨异构骨干迁移)依赖一个定性附录图;论文各节中的两个学习率也不一致( 对 )。
要点 — 九月的控制类论文都减少了用户必须指定的内容:一个地平面加上每人一个圆柱体即可同时控制布局和相机 ;身份保持为一张图像,而行为来自第二段参考视频 ;指令编辑靠 120 万条合成配对记录而非架构来实现 ;流式编辑从双向模型迁移,而无需重新训练因果骨干 。四篇中有两篇依赖的是断言的运行点而非测量表,另有两篇表明,标题中的身份或速度数字取决于测量协议。
6. 效率:四个各自独立的杠杆,以及能力与目标之间更清晰的分界
九月的效率工作并非一个故事。它清晰地分为容量、近似精度、服务和复用——而且四篇论文中有两篇花了实实在在的篇幅告诉读者,它们的数字意味着什么、不意味着什么。
6.1 容量与近似
SplitMoE 攻击的是容量问题:LLM 风格的逐 token 专家混合路由加上负载均衡,会把时空上连贯的视频 patch 分散到互不相关的专家上,因此它将专家池拆分为语义池和通用池,使用由干净 VAE 特征导出的原型引导进行路由,并有意地不对语义专家做均衡。它从 Wan 2.2 低噪声检查点升级而来,激活 27B 参数中的 14B,并与负载均衡 MoE 基线和来自同一来源的稠密模型进行比较——论文依赖这一比较来支撑因果性主张,因为它明确警告其跨模型行并非算力匹配。它在所列的每个 VBench-2 和 T2V-CompBench 列上都领先同源对照组(人类保真度 84.47 对 73.49 和 73.08;可控性 45.72 对 35.51 和 30.37),同时报告训练为 6.84 秒/迭代,而 MoE 基线为 6.69,稠密模型为 5.66。与官方 Wan 2.2 集成相比,它七项中胜五项,并在可控性和交互性上落败;在常识和数理方面又落后于 LongCat-Video——因此这是一个路由质量的结果,而非全面胜利,论文也如此表述。
PARK 攻击的是近似精度,而非计算量。稀疏注意力通常根据平均后的质心对查询/
表 6. 本主题中的效率论文。
| 论文 | 杠杆 | 设置 | 主要证据 | 记录在案的保留意见 |
|---|---|---|---|---|
| SplitMoE | 具有原型引导路由的分角色 MoE | Wan 2.2,27B 参数中激活 14B | 人类保真度 84.47,对比负载均衡 MoE 的 73.49 | 相对于官方集成模型损失了可控性 |
| PARK | 稀疏注意力的精确块检索 | 720p 下的四个模型 | 在与稠密结果相似度最佳时端到端加速 1.53–1.76× | 指标衡量的是与稠密输出的相似度,而非质量 |
| Sol-H3 | 跨分辨率两阶段服务加搜索得到的栈 | MiniMax-H3 33B | 1–4 块 GB200 上 13.7–17.0×,DGX Spark 上 31× | 同一工作负载报告的两个计时不一致 |
| LongLive-Plug | 一次性能力 LoRA | Wan2.2-TI2V-5B,54 个下游模型 | 约 80 对比约 457 GPU 小时;步数减少 5×–12.5× | 复用需要与基础模型兼容的后代模型 |
6.2 服务与复用
Sol-H3 是一份服务报告而非方法论文,也是本月最具体的部署证据。它将 MiniMax-H3 的 49 步 轨迹重构为 上的 4 步、一次潜空间到潜空间的交接(学习得到的 ×2 上采样器加一个跨 VAE 适配器,63 ms,对比 VAE 往返的 12,749 ms),以及使用不同主干网络的 3 个精修步骤,然后在显式的失败关闭契约下搜索内核与通信栈:搜索不得改变生成契约,因此每一项被接受的更改都是同类对比。报告的结果:在 1–4 块 GB200 上相对 49 步基线加速 13.7–17.0×,在 DGX Spark 上 31×,在 RTX 5090 上 26.3×,内存从 142.4 GiB(超出 119.68 GiB 池)降至边缘设备上的 116.9 GiB。它承认低分辨率草稿/
LongLive-Plug 将复用作为目标:在骨干模型家族上一次性蒸馏三种能力——单次前向 CFG、四步采样和长上下文纠错——作为功能性 LoRA,可合并到兼容的下游检查点中,无需目标数据或目标训练。经济性是重点:共享基础适配器约需 80 H100 GPU 小时,而在其测量的四个任务上累积逐任务蒸馏需要 456.8 GPU 小时,复用已在八个任务类别的 54 个下游模型上验证,步骤减少 5×–12.5×。诚实之处比重点更重要:作者将长上下文结果描述为与指标相关的权衡具有竞争力,而非胜利(VBench 七维均值在 64 秒时 73.51 → 75.77,但背景一致性从 88.87 降至 80.81),复用需要基础模型的兼容后代,并且论文承认其朴素基线比较在适配器和采样器上均不同,因此孤立的 LoRA 效果尚未确立。
图 8. 一次性蒸馏改变了成本曲线:任务特定蒸馏在四个下游任务上累积 163.9 → 456.8 H100 GPU 小时,而共享基础适配器保持在约 80 小时。 的图 2;本期以像素级查看。
要点 — 九月的效率是四个独立的杠杆,而非一个:固定活跃参数下的容量 、稀疏注意力近似的准确性 、服务栈 和一次性蒸馏 。最强的模式是将可迁移能力与逐目标训练分离——约 80 GPU 小时的共享适配器对比逐任务蒸馏约 457 小时——以及愿意说明数字不是什么:相似度而非绝对质量 ,或指标相关权衡而非胜利 。
7. 音频–视频:配乐变得可编辑,奖励学会保持分离
这里阅读的两篇论文共享对联合音频–视频生成的诊断:音频侧一直被当作单一整体信号处理。它们以相反的方式修复它。
7.1 让配乐可编辑
Soundwich 无需训练:它包裹一个冻结的联合音视频流模型,使单一音频潜变量扩展为 个源特定分轨加上一个内部场景分轨,并带有逐分轨引导和缓存的“载波”注意力向量——这些向量从有声和无声参考中捕获,用于调度每个源何时活跃;场景分轨在生成的前半段汇集共享上下文,并在场景整合阶段将其广播回去,此后场景分轨被丢弃。得到的分轨可以重新定时、静音、替换或重新混音,且所报告的调度数字很大:窗口成功率 93.1%,而同一骨干的朴素批量扩展为 15.0%,商业全能模型为 85.0%;窗口外活动 1.7%,而对照为 69.7%;目标窗口内词错误率为 0.060,而对照为 0.779。这一条目之所以有用,在于其不确定性报告:作者给出了自助法区间,并指出他们与商业模型在词错误率(−0.008,CI [−0.156, 0.175])和窗口成功率(+8.1 个百分点,CI [−2.8, 22.8])上的差异包含零,因此在该样本量下只有起始误差差异(−0.541 秒,CI [−1.323, −0.068])得到支持;基线也运行在不同分辨率下,且人类研究只覆盖了所比较系统中的一个子集。
图 9. Soundwich 的分层生成:带有逐源时间窗口的场景提示驱动在单个共享视频上形成分轨,实体路由将每个分轨绑定到其视觉源,输出是带有可单独编辑音频分轨的视频。 的图 2;本期以像素级查看。
7.2 保持奖励分离
AV-GRPO 则通过强化学习对联合模型进行后训练,其关键思想是信用分配:不是将成对的音视频样本视为一个策略输出,而是每个阶段都以锚定模态的完全实现轨迹为条件,并且只更新另一座塔,每 步交替一次——因此在组内锚定奖励是常数,并在中心化后抵消,从而使同步比较得到控制。在 LTX-2.3 22B 骨干上,使用难度分层提示集,它报告音频质量从 5.097 → 5.798,失同步从 0.757 → 0.542,优于基础模型,并在大多数列上击败多奖励基线。它也承认了两项退步(LoRA 变体中的视频质量 5.816,低于基础模型的 5.855;视觉真实感 4.395,略低于 4.399),并且其降低成本的主张——冻结塔的既定动机——没有附带墙钟时间或内存测量。
音频在两篇于别处阅读的论文中也是一等约束: 在稀疏化视频注意力的同时保持生成音频稠密且精确,并将其不经细化直接路由过去; 在添加控制的同时保留原生音频流,但从未对其进行评估或评分。
表 7. 本主题中的联合音视频论文。
| 论文 | 路线 | 基础 | 头条证据 | 已记录注意事项 |
|---|---|---|---|---|
| Soundwich | 无需训练的分层音频分轨 | 冻结的 LTX-2.5 22B | 窗口成功率 93.1%,而朴素扩展为 15.0% | 与商业模型的差距在其置信区间中包含零 |
| AV-GRPO | 模态锚定的解耦 RL | LTX-2.3 22B | 音频质量 5.097 → 5.798;失同步 0.757 → 0.542 | 承认两项质量退步;成本主张未经测量 |
要点 — 针对同一抱怨的两条相反路径:Soundwich 无需任何训练,通过将冻结模型的单一混合音轨扩展为按时间排列的分轨,使其变得可编辑 ;而 AV-GRPO 则对联合模型进行后训练,使每种模态的奖励只更新其自身的塔,同时锚定轨迹保持固定 。第一篇报告了自助法区间,其最常被引用的差距包含零;第二篇承认了两项质量回退,同时声称实现了从未测量的训练成本降低。
8. 评估与治理生成:指标有效性成为一个研究主题
本月的评估与安全论文异常自我批判,其中三篇的主张主要关乎该领域如何测量。
8.1 指标实际测量的是什么
《视频生成模型:后训练与对齐综述》 在此起到清单的作用:涵盖监督微调、自训练/
《为推理扩展视频生成》 将这类怀疑转化为受控实验:一个具有精确模拟器真值的 魔方、九个规定转动,以及从零开始在七种规模(19.7M–938.4M)上训练的模型。其核心结果是一项指标有效性发现——验证流 MSE 并不按能力对模型排序,且可能将其倒置:在 150 万训练视频下,1B 模型的 MSE 低于 70M 模型,但平均帧准确率为 3.67%,而后者为 41.00%。算力叙事同样具体:在约 0.1 PF-天时,70M 模型达到 44.6% 的动作后帧准确率,而 1B 模型为 0.3%,并且直到 3.14 PF-天时才达到 83.7%。第三项发现是建设性的:增加一次符号状态预测过程,可将 20M 模型在 0.0445 PF-天时的帧准确率从 31.1% 提升至 67.3%,大致相当于 1.33 PF-天时的 550M 纯视频模型——约 30 倍算力。两个诚实的注意事项:贴纸表示是手工设计的,可能无法泛化;幂律算力外推被标注为示意性而非预算,且对拟合窗口高度敏感。它还报告了一个值得记住的诊断——模型可以正确跟随 80% 的动作,同时只有 0.3% 的帧完全正确,也就是说,转动了错误魔方的正确面。
图 10. 拟合与外推的算力–准确率前沿:相同的测量支持差异巨大的预测,取决于拟合前沿的哪一部分——对于平均帧标准,从最后三分之一拟合得到 23.55 PF-天,而从中间三分之一拟合得到 422,700 PF-天。 的图 7;本期以像素级查看。
表 8. 本主题中的评估与安全论文。
| 论文 | 它衡量或打破了什么 | 设置 | 主要证据 | 已记录的警示 |
|---|---|---|---|---|
| Post-training survey | 117 种方法的分类法与汇编表格 | 扩散/DiT 主干占主导 | 在其自身的表格中警告这些分数并非排行榜 | 没有统一的重新评估或元分析 |
| Scaling for Reasoning | 能力与算力的关系,从零开始训练 | 19.7M–938.4M 参数,魔方 | 在约 0.1 PF-days 时,一个 70M 模型达到 44.6% 帧准确率,而一个 1B 模型仅为 0.3% | 手工设计的状态表示;外推仅作示意 |
| EraseSAE | 冻结生成器内部的概念擦除 | CogVideoX-5B、HunyuanVideo | 裸露 2.62 对 2.88,SSIM 74.99 对 42.39 | 主要差距来自不同的基线 |
| BadAction | 对顺序动作通道的后门 | Astra + Wan2.1-1.3B,100 个自我中心视频片段 | 攻击成功率 91.0%(SSIM)/ 89.6%(人类)对 69.4/61.3 | 一个主干和一个数据集;检测器从未看到动作 |
8.2 擦除与新的攻击面
EraseSAE 将稀疏自编码器引入文本到视频扩散中的概念擦除:一个分区卷积 SAE 将上下文与概念特征分离,对比对数比率归因离线选择概念核,时间步解析掩码在推理时门控一次空间调制引导过程。在裸露擦除上,它报告 CogVideoX-5B 的生成器划分上为 2.62,而最强基线为 2.88,同时对无关内容的保留远好得多(SSIM 74.99 对 42.39),并且对五个名人身份的残差检测大幅减少。三点警示:两个主要差距是针对不同基线计算的,因此它们并非同一个差距;消融显示单个损失项对 SSIM 贡献了 18.32 个百分点,把如此大的效应压在单个组件上;引言中的主要百分比增益无法从实验部分所读到的任何表格中复现——而且该论文完全没有局限性部分。
BadAction 研究了对一个此前无人攻击过的通道的后门攻击:不是提示词,也不是像素,而是交互式视频模型的顺序动作流。一个固定的四步运动模式被拼接进动作序列,并与一个冻结的目标视频配对,教会模型在触发后停止响应后续用户动作,而良性序列则表现正常。它报告基于 SSIM 测量的攻击成功率为 91.0%,十名人类评判者为 89.6%,而最强的图像通道基线为 69.4% 和 61.3%,良性效用接近干净模型(CLIPSIM 82.3 对 85.1)。防御结果才是实用发现:两个扩散后门检测器在动作通道攻击上仅达到 F1 66.2 和 29.3,因为它们检查的是图像和文本通道,而不是动作控制。范围局限是真实存在的——一个主干、一个自我中心数据集、100 个片段,且未报告分辨率、片段长度或硬件——但相对于论文所列举的文献,这一攻击面确实是新的。
交叉议题。 与 对验证器污染的审计一起看,本节表明,在九月,该领域最薄弱的测量环节正是最接近循环的那些:代理式测试框架内部的评判者、用于比较模型规模的损失曲线、汇编排行榜,以及从未看到动作通道的检测器。
要点 — 衡量生成,而非仅仅生成,本月成了一个研究课题。验证损失可能在能力问题上指向错误方向 ;一项对 117 种后训练方法的综述在其自己的表格中警告,所汇总的分数并非排行榜 ;新的攻击面正在防御者未曾关注的地方出现——交互模型的顺序动作通道 和智能体框架的辅助文本 。针对视频后训练的安全工作仍然薄弱,综述对此直言不讳。
另附说明
除完整阅读的论文外,220 篇经过筛选的论文被归入七个主题(单标签;54 篇因主要贡献跨越多个主题或置信度较低而未被分配)。以下计数是本月在已核查路径内的计数,而非领域占比,也不能说明这些主题总体上存在多少篇论文。
表 9. 筛选语料库中的主题及未完整阅读的代表性论文(基于标题和摘要的单标签分类;计数仅限已核查路径内)。
| 主题 | 已分类论文 | 未完整阅读的示例 |
|---|---|---|
| 控制与编辑 | 43 | Vidu S2(实时交互式编辑)、LIFT(未来布局生成)、DynaTokens、PartiCam、ThinkV2V、ViTeX-Bench |
| 评估、物理与安全 | 37 | HappyWorld-Bench、OPIS、Principia、MotionInsight、面向生成式知识产权的视频水印、FOMO(选择性视频遗忘) |
| 效率与系统 | 36 | TSGate、SparkDiffusion、WaveAlign、DSAQuant、UnStep、Carnator、vidax |
| 世界模型与交互 | 15 | Zing-0.5(联合动作与文本控制)、Astronex-World、SolarWM、DiVA、Code Plans → Diffusion Renders |
| 长视频、自回归与流式 | 13 | Elastic Forcing、ViRDM、Compress to Remember、No Corners Cut、Video DeltaNet |
| 智能体编排 | 12 | DramaAgent、Timeline-Bench、MVWeaver、Unified Agentic Video Editing、DataMagic、MaLiang-Harness |
| 音视频联合 | 10 | 音视频模型中的注意力三角、ORAV、AV-SafetyBench、PRISM-Bench、AVIO |
范围与方法
检索与筛选
语料库是对 v1 提交日期 2026-09-01 至 2026-09-30 的合并关键词与语义检索,并按照书面纳入标准进行筛选:对视频生成模型或其生成能力的贡献,其中领域迁移工作仅在贡献回归生成方法时才被纳入。共筛选 374 篇候选论文,220 篇通过;筛选后的工作集为 视频生成 2026-09 · AI 精筛。
证据深度与缺口
220 篇中有 32 篇进行了全文阅读——方法和实验部分,以及章节图所暴露的附录——其余仅根据标题和摘要进行总结。154 篇排除文献中有 20 篇被重新检查;一篇边界性排除文献,即图像到视频生成程序正确性的基准,以略低于决策阈值的分数被筛除,并记录为接近入选。本期中有三个数字来自图表而非正文(LongTake 的动态程度、Recency Forcing 的用户研究以及 CamPilot 的相机子任务),并在底层笔记中如此标注。
被排除的边界案例
领域风味的生成式工作——驾驶场景与具身世界模型、视频试穿、手语与配音系统——被视为超出范围,除非其贡献本身是生成方法。少数条目带有十月序列的 arXiv 标识符(2610.xxxxx),因为其 v1 于 2026-09-30 提交并在下一批中公布;窗口适用于 v1 提交日期,而非标识符。主题计数来自对标题和摘要的单标签分类器,220 篇中有 54 篇未分配,因此它们只是近似值,且一篇论文只出现在一个主题下。
精选论文一览
表 10. 本期讨论的论文、每篇论文所拉的杠杆,以及最限制其头条数字的注意事项。
| 论文 | 主要杠杆 | 基础 / 设置 | 标题证据(如所报告) | 主要注意事项 |
|---|---|---|---|---|
| StoryEngine | 显式故事状态 + 有界修复 | Veo 3.1 和 Wan2.2-TI2V-5B,60 个故事 × 10 个镜头 | 在 Veo 上平均 0.7690 对 0.6274(ViMax) | 评判器 = 循环内评估器;计划错误不可恢复 |
| MVAgent | 类型化视觉条件 + 镜头级 RL | 冻结的 Veo 3.1,ViMax-Bench 35 个故事 | 一致性 0.5611 对 0.5500;60.06% 人类偏好 | 消融模块使用不同的编排器 |
| VideoGen-Agent | 训练的工具选择策略 | Qwen3-VL-8B,VABench 600 个提示 | 75.6(使用更强工具为 86.1)对基线 56.5 | 奖励 VLM = 基准评判器;单任务 RL 略高 |
| Don't Read the Log | 证据路由(审计 + 修复) | 109 个近失片段,36 个失败 | 在支持性日志下,评判器接受 78–90% 的失败;路由后真实通过率 0.28 → 0.86 | 109 片段基准,模拟修复循环 |
| CamPilot | 学习的镜头语法 | 14.5K 电影视频,Firefly 主干 | 镜头 Macro-Acc 63.7 对 59.5 | 标签和测试共享一个 VLM 标注器 |
| CineCrew | 制作 DSL + 剧组智能体 | 20 个 MovieBench 叙事 | 在 17 项指标中的大多数上领先 3 个基线 | 无局限性部分;主干和分辨率未说明 |
| Self-Aligned Forcing | 可微噪声历史 | Wan2.1-1.3B,20–100 秒 | 155.18 GiB / 132.78 秒 对 187.45 / 186.73 | 并非在所有聚合指标上最佳;基线引自先前报告 |
| Recency Forcing | 注意力 logits 上的近因偏置 | Wan2.1-1.3B,60 秒 | VBench-Long 质量 84.02 对 81.98 | 免训练变体和训练变体是不同的模型 |
| LongTake | 长视频教师强制 | Wan2.1-1.3B,30–60 秒 | 30 秒时动态 96.30 对 93.44 | 仅 1.3B;ΔIQ 风格指标偏向静态输出 |
| Rollout-Marginal Distillation | 块边缘监督 | Wan 14B → 1.3B,60 秒 | 总计 81.26 对 70.94 | 质量低于其自身的仅边缘消融 |
| Honeycomb | 恒定大小循环记忆 | Wan2.2 5B,WorldScore | 平均 65.52 对 63.21 | 无局限性部分;基线内存占用从未量化 |
| Waypoint-1.5 | 实时 iWM 的系统 | 1.28B 因果 DiT,消费级 GPU | 从 RTX 5060 Ti 起,720P INT8 ≥30 潜在 FPS | 仅吞吐量评估;无质量或遵循度指标 |
| OctWorld | 可扩展八叉树 TSDF 记忆 | 15B 和 14B,433–505 帧 | 静态 50.31,3D 71.67 | 基线处于不同分辨率/块长度 |
| Scaling for Reasoning | 受控缩放研究 | 19.7M–938.4M,魔方 | 在约 0.1 PF-天时,70M 为 44.6% 对 1B 为 0.3% 帧准确率 | 手工设计的状态表示;外推为示意性 |
| Sol-H3 | 跨分辨率服务 + RSI 搜索 | MiniMax-H3 33B | 13.7–17.0×(云),31×(边缘) | 同一工作负载的两个报告计时不一致 |
| LongLive-Plug | 一次性能力蒸馏 | Wan2.2-TI2V-5B,54 个下游模型 | 约 80 对约 457 GPU 小时;步骤减少 5×–12.5× | 复用需要兼容的后代;长上下文是一种权衡 |
| Soundwich | 免训练分层音频干声 | LTX-2.5 22B,15 个场景 | 窗口成功率 93.1% 对 15.0%(朴素扩展) | 与商业模型的差距在其置信区间内包含零 |
| AV-GRPO | 模态锚定解耦 RL | LTX-2.3 22B | 音频质量 5.097 → 5.798;DeSync 0.757 → 0.542 | 承认两项质量回退;无成本测量 |
| EraseSAE | SAE 概念擦除 | CogVideoX-5B,HunyuanVideo | 裸露 2.62 对 2.88,SSIM 74.99 对 42.39 | 差距来自不同基线;无局限性部分 |
| BadAction | 动作通道后门 | Astra + Wan2.1-1.3B,100 个片段 | ASR 91.0/89.6 对 69.4/61.3 | 一个主干和一个数据集;未报告分辨率 |
References
[1] Yingrui Wang, Zeqing Wang, Yeying Jin. StoryEngine: A State-Grounded Agentic Framework for Video Storytelling. arXiv:2609.33627, 2026. https://
[2] Xiangyu Kong, Wenjie Zhou, Fengping Tian, et al. MVAgent: Multi-Agent Video Generation via Consistent Condition Construction and Shot-Level Policy Optimization. arXiv:2609.30609, 2026. https://
[3] Binxu Li, Haoyi Duan, Yuhui Zhang, et al. VideoGen-Agent: Reinforcing Video Generation Agents. arXiv:2609.24997, 2026. https://
[4] Jian Xu. Don't Read the Log: Execution Traces Contaminate Verifiers in Video-Generation Agents. arXiv:2609.28564, 2026. https://
[5] Yang Wu, Stefano Petrangeli, Ishita Dasgupta, Yu Shen. CamPilot: A Multi-Agent Cinematic Assistant for Camera-Controlled Movie Generation. arXiv:2609.10943, 2026. https://
[6] Jiaben Chen, Sixun Dong, Qinhong Zhou, et al. Better Call CineCrew: Consistent Ultra-Long Narrative-to-Film Generation. arXiv:2609.07720, 2026. https://
[7] Yinming Huang, Shuyuan Tu, Xi Yan, et al. Agentic Visual Generation: From Generative Models to Agentic Control. arXiv:2609.06758, 2026. https://
[8] Weiqiang Wang, Zhuokun Chen, Yusheng Dai, et al. Self-Aligned Forcing: Streaming Video Diffusion with Differentiable Noisy History. arXiv:2609.38114, 2026. https://
[9] Tri Cao, Hung Nguyen, Phong Nguyen, Khoi Nguyen. Recency Forcing: Bridging the Long-Horizon Gap in Autoregressive Video Generation. arXiv:2609.19729, 2026. https://
[10] Byoungwoo Park, Jaemoo Choi, Juho Lee, Yongxin Chen. LongTake: Learning to Sustain Dynamics in Long-Horizon Video Generation. arXiv:2609.38562, 2026. https://
[11] Chenjian Gao, Zhihao Hu, Jianqi Ma, et al. Rollout-Marginal Distillation for Long-Horizon Autoregressive Video Generation. arXiv:2609.37925, 2026. https://
[12] Zhuoran Zhao, Shengju Qian, Tongtong Liang, et al. Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout. arXiv:2609.09123, 2026. https://
[13] Mikhail Dereviannykh, Vikram Voleti, Simon Donne, et al. SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation. arXiv:2610.00686, 2026. https://
[14] Jack Wei Lun Shi, Kaichen Zhou, Haoyu Chen, et al. Honeycomb: Constant-Size Scene Memory Representation for Video World Models. arXiv:2609.37690, 2026. https://
[15] Rajit Rajpal, Shahbuland Matiana, Liew Wei Pyn, et al. Waypoint-1.5: A Real-Time Video World Model for Consumer Hardware. arXiv:2609.37107, 2026. https://
[16] Zelong Lv, Sicheng Xu, Jianfeng Xiang, et al. OctWorld: Long-Range World-Consistent Video Generation with Octree-Based 3D Mapping. arXiv:2609.03919, 2026. https://
[17] Yifan Huang, Lifan Jiang, Qingyue Hao, et al. WorldWeave: Growing Persistent Geometric Worlds for Video Generation. arXiv:2609.34221, 2026. https://
[18] Danze Chen, Zeqing Wang, Ziyue Lin, Xingyi Yang, Yeying Jin. H3-World: Turning Language Understanding into World Control. arXiv:2609.01560, 2026. https://
[19] Zhangsihao Yang, Mengyi Shan. CoaG: Cylinders on a Grid for Coarse 3D Layout Control in Video Generation. arXiv:2609.24208, 2026. https://
[20] Pokrzywa Baptiste, Nabyl Quignon, Yara Bahram, et al. BEACON: Behavior and Appearance Control for Subject-Specific Video Generation. arXiv:2609.13264, 2026. https://
[21] JJiahang Li, Dingbao Shao, Xinyu Chen, et al. VideoX-Qwen: Data-Centric Instruction-Based Video Editing. arXiv:2609.26015, 2026. https://
[22] Yujia Hu, Jiajun Li, Zihao He, Songhua Liu. Streaming Video Editing with Easy Adaptation (SVEET). arXiv:2609.24788, 2026. https://
[23] Yu Xu, Yuxin Zhang, Xiao Yang, et al. Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE. arXiv:2609.38140, 2026. https://
[24] Yun Dai, Jiarui Wen, Huiping Zhuang, Cen Chen, Ziqian Zeng. PARK: Accurate Block Retrieval for Sparse Attention in Video Diffusion Transformers. arXiv:2609.38978, 2026. https://
[25] Yitong Li, Jincheng Yu, Junsong Chen, et al. Sol-H3: Recursive Self-Improvement for MiniMax-H3 Inference Acceleration on Sol-Engine across Cloud and Edge. arXiv:2609.35110, 2026. https://
[26] Shuai Yang, Luozhou Wang, Wei Huang, et al. LongLive-Plug: Once-for-All Distillation for Video Generation. arXiv:2609.38154, 2026. https://
[27] Zhuo Ning, AmirHossein Naghi Razlighi, Sagi Polaczek, et al. Soundwich: Video Generation with Layered and Controllable Audio. arXiv:2610.00691, 2026. https://
[28] Zhiyu Xu, Weilong Yan, Yufei Shi, et al. AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation. arXiv:2609.29816, 2026. https://
[29] Chaoyu Li, Xiaoyi Gu, Yogesh Kulkarni, et al. Video Generation Models: A Survey of Post-Training and Alignment. arXiv:2610.00812, 2026. https://
[30] Weihang Guo, Xiaoyu Wu, Yifei Wang, Niloofar Mireshghallah, Lydia E. Kavraki. Scaling Video Generation for Reasoning: At What Cost? arXiv:2609.36599, 2026. https://
[31] Xinghao Wang, Dong Li, Wei Yu, et al. EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders. arXiv:2609.03629, 2026. https://
[32] Zhihang Wu, Zhongqi Wang, Jie Zhang, et al. BadAction: Backdoor Attacks on Interactive Video Generation via Action-Guided Triggers. arXiv:2609.39047, 2026. https://
引用本报告
@misc{parallax-2026-video-generation-in-september-2026,
title = {{Video Generation in September 2026 — Progress Tracking}},
author = {{Parallax}},
year = {2026},
month = oct,
howpublished = {\url{https://parallax.ink/research/en/video-generation-in-september-2026}},
url = {https://parallax.ink/research/en/video-generation-in-september-2026},
note = {Parallax Research, Digest}
}