2026年8月世界行动模型——月度进展特刊
2026年8月,是世界动作模型(WAMs)不再停留于口号、而转变为工程议程的一个月。在筛选语料中浮现出的共同模板,是一个视频或潜在动力学主干,它预测场景演化,并与一个读取该演化的动作专家相结合——而当月的工作集中在这一模板带来痛点的两个地方:预测的未来应当由什么构成,以及如何使其足够廉价以适用于真实控制回路。潜在与结构化未来(点图、几何、语义、运动)是对第一个问题最活跃的回答,多篇论文表明超越RGB的监督改变的是鲁棒性而非保真度;异步前瞻、缓存未来键、可选计算流以及不增加额外采样步数的后训练,则是对第二个问题最活跃的回答。第三个更安静的变化是,该领域开始自我审计:偏离专家的动作跟随、隐藏状态跟踪、干预保真度和模拟器契约都在8月得到了测量,而首批结果表明,视觉质量与控制能力只是松散耦合。
窗口:2026-08-01至2026-08-31首次提交的论文,从文库中读取。覆盖范围:来自四条检索路径的341篇候选论文,经筛选保留204篇,以全文深度阅读48篇(全部48篇完成,分两轮),其中15篇连同其图表在下方展开。这是该系列的第一期,因此是基线而非比较。
mindmap
root((WAMs, August 2026))
Test-time cost
GlanceWAM · 1
ForeWAM · 2
WAM-OPD · 3
RISE, Faster-WAM, SLIM-0.5B · 4, 5, 6
What the future is made of
DreamWAM · 7
Flex-pi · 8
JEPA-WAM · 9
GaussianWAM, LEON, Vid2WAM · 10, 11, 12
Scale and interfaces
ZimaBlue · 13
Riemann-1.0 · 14
Motus2 · 15
LD4WAM, Zero-WAM, Hydra-0 · 16, 17, 18
Beyond manipulation
GeoWAM · 21
Hydra · 22
GameWAM · 23
driving, navigation, interactive worlds · 24, 28, 30
Auditing the model
WorldExam · 32
Action following · 33
Simulator cost · 34
hidden state, intervention fidelity · 35, 36图1. 本期五个主题及其中的重点论文;数字为正文中使用的参考文献编号。
1 让想象的未来变得可负担
当月最一致的工程叙事是,测试时的想象与控制时钟解耦。三篇论文在同一流程的三个不同点上发起攻击:未来以多高频率刷新、刷新后的未来如何到达动作头,以及训练结束后策略是否还需要未来。
1.1 GlanceWAM:少预测,连续行动
GlanceWAM的论点是,WAMs的速度—成功困境来自将视频生成与控制时钟耦合,而非来自视觉前瞻本身。其解决方案是在一个共享的SkyReels-V2-1.3B视频DiT上采用双时间尺度方案:在缓慢的背景时钟上生成一个约3秒前的稀疏前瞻潜在表示并将其保持,而一个流匹配动作头以控制频率针对该陈旧潜在表示解码动作块,从不将其解码为像素。协同训练使用随机偏移,使动作头学会朝向不同时间距离的前瞻帧的逆动力学,这正是使保持的潜在表示可用而非仅仅是陈旧的原因。
图2. GlanceWAM:(a)孤立前瞻协同训练和(b)在单个共享视频DiT上的异步潜在空间推理——稀疏前瞻潜在表示与保持状态调度是需要注意的要素(转载自原论文)。
就本领域文献而言,所报告的证据得到了异常良好的控制:在24项任务的RoboCasa厨房套件上达到72.2%,而Cosmos Policy在同样每任务50个演示下为67.1%;在真机试验中为79.2%,而π0.5为69.6%、Fast-WAM为48.0%;在16动作块上每块48 ms,而同步WAM在可比成功率下为1133–3812 ms 。两项消融支撑了其机制:在训练好的检查点上将前瞻token置零会使RoboCasa降至61.6%,低于64.4%的无前瞻基线;而时域扫描在约3 s处达到峰值——因此未来确实被使用了,并且大约三秒的未来已经足够。作者自己指出的保留意见是,仿真数字来自阻塞式评估客户端,因此完全流水线化的实时闭环成功率是推断出的,而非展示出的。
1.2 ForeWAM:保留未来的键,而非其像素
ForeWAM(Foresight Without Seeing)针对的是接口,而非刷新率 。它保留直接策略接口——动作仅以当前观测为条件——但对干净的当前潜变量与高斯初始化的未来槽位拼接后运行一次视频DiT预填充,缓存得到的键–值状态,并让每个动作去噪步骤复用它们;动力学寄存器在训练期间受监督,并在推理时输出,以便未来索引的计算能够到达动作通路而无需像素解码。这比“潜变量 vs 像素”的区分更为尖锐:论文认为,该领域将预测与渲染混为一谈,而视频DiT已经在未来位置形成了隐藏状态。
图3. ForeWAM:VAE编码的视频和动作流及动态寄存器,外加将未来键路由到动作去噪的训练和推理掩码 (转载自原论文)。
在作者的协议下,收益集中在分布偏移上:在LIBERO-Plus上为77.6%,而匹配的Fast-WAM为51.5%(两者均无策略级具身预训练);在每任务50个演示的RoboCasa上为59.2%对49.5%;同时延迟降低6.3×(88.7 ms对556.3 ms),这几乎完全归因于动作阶段 。组件消融使接口成为关键:仅潜动作监督使LIBERO-Plus从53.6 → 54.8,仅Future-KV为58.5,而二者组合为76.7。在真机OOD任务上,同一模型仍落后于π0.5(40.0%对45.0%),论文报告了这一点,这也适时提醒我们:击败WAM基线并不等同于击败强大的VLA。
1.3 WAM-OPD:在后训练期间保持双输出结构
WAM-OPD提出了一个不同的问题:如果一个WAM有两个输出,教师应该监督什么?其答案是两者联合监督 。一个冻结的更强WAM在学生的自身 rollout 历史上被查询,并返回配对目标——一个预测的未来视频以及由该视频生成的动作块——学生在保持其部署时所用的完全相同的视频到动作计算的同时,对两者进行训练;相对于VLA式同策略蒸馏的增量在于,动作监督是以视频为条件而非token级;相对于RL式世界模型后训练的增量在于,奖励被替换为带标签的目标。
图4. WAM-OPD的三个阶段——学生推理、教师标注、同策略蒸馏——视频和动作均从学生自身历史中受监督 (转载自原论文)。
在同一学生检查点上报告的增益幅度大且一致:在 12 项 RoboTwin 2.0 任务上平均从 33.8% → 65.7%,在四项真实机器人任务上从 51.4% → 64.6%,而部署预算不变,仍为一个视频步和一个动作步 。联合监督在全部三个消融任务上都优于任一单模态(相对更好的单模态模式分别 +5.0 / +1.7 / +5.0 分),这正是论文所称视频通路携带可用信息的具体证据。有两点对此形成制约:教师历史来源依赖任务(在一个任务上学生历史好得多,在另一个任务上教师历史更好),并且主表与消融表在某一任务上似乎基于不同的评估抽样——分析将此记录为根据所报告数字作出的推断,而非作者的主张。
1.4 成本轴的其他部分
另外两篇论文展示了同一举措的范围。RISE 用学习到的 Scheduler 取代固定推演深度——一个潜在评估器,预测风险画像和规划增益画像,再加一个推演门控,在预测增益与计算量之间权衡——并报告在平均 2.40 次推演下 NAVSIM-v1 PDMS 为 91.5、v2 EPDMS 为 90.8 。Faster-WAM 发现不需要深层的动作模块:一种只保留一个动作块的架构报告 LIBERO 98.3%,每个动作块 52 ms,而 Fast-WAM 为 196 ms,延迟削减 3.8×,且主要发生在动作生成内部 。在最激进的一端,SLIM-0.5B 完全删除测试时预测,将未来预测作为潜在训练信号保留在 0.47B 双流主干内,并报告 LIBERO 97.5%,每块 60.6 ms,而 π0.5 为 193.1 ms、Fast-WAM 为 360.6 ms——同时在 LIBERO-Plus 上比 VLA-JEPA 低 2.05 分 。其可复用产物是一个坍缩诊断:无 EMA 变体显示出更低的未来潜在 MSE,同时有效秩从 61.28 降至 13.95,即一个看似良好的损失掩盖了已坍缩的表示。
表 1. 各论文在何处移除测试时成本,附作者报告的结果及本议题的证据基础。
| Paper | Where the cost is removed | Headline reported result (setting) | Evidence basis |
|---|---|---|---|
| GlanceWAM | Refresh rate: one sparse lookahead per ~3 s, latent never decoded | 72.2% vs 67.1% Cosmos Policy (RoboCasa, 24 tasks, 50 demos/task); 48 ms/chunk | Full text |
| ForeWAM | Pixel decoding: Future-KV cache reused by action denoising | 77.6% vs 51.5% Fast-WAM (LIBERO-Plus, no policy pretraining); 88.7 ms vs 556.3 ms | Full text |
| WAM-OPD | Training, not inference: distillation at 1 video/1 action step | 65.7% vs 33.8% same student (12 RoboTwin tasks); 64.6% vs 51.4% real robot | Full text |
| RISE | Rollout depth: learned roll/stop decisions | 90.8 EPDMS at 2.40 average rollouts (NAVSIM-v2) | Full text |
| Faster-WAM | Action-module depth: no deep action expert | 98.3% LIBERO; 52 ms vs 196 ms Fast-WAM per chunk | Full text |
| SLIM-0.5B | The future itself: prediction is training-only | 97.5% LIBERO at 0.47B; 60.6 ms/chunk | Full text |
要点
- 测试时想象正从按块计费的成本,转变为可调度或可缓存的资源;所报告的延迟收益(6 倍至 3.8 倍)在作者的基准上伴随着不变或更好的成功率。
- 机制主张得到了消融实验的支持,这些消融移除了未来通道(将前瞻置零、冻结缓存路径、丢弃联合监督),这比在饱和基准上取得新的最优结果更有力。
- 悬而未决的问题是闭环真实感:GlanceWAM 使用阻塞式模拟器客户端进行评估,而这里没有一篇重点论文报告了在 OOD 任务上与其击败的 VLA 进行匹配具身预训练、匹配算力的比较。
2 想象出的未来由什么构成
第二块集中的努力关乎目标,而非调度。几篇论文保留主干,改变视频专家被要求表征的内容——其论点是 RGB 未来将任务相关状态变化与无关外观纠缠在一起,而未来的其他投影更高效地携带控制信号。
2.1 DreamWAM:未来即运动、几何与语义
DreamWAM 保留 Fast-WAM 的双专家主干,并添加三个监督未来视图——光流、深度导出几何和 DINOv2 语义——作为动作相关未来状态的互补投影 。其路由洞见在于这些目标不可互换:VAE 原生运动与 RGB 潜变量联合去噪,而异构编码器特征通过门控残差分支进入,并且在推理时移除所有 RGB 之外的路径,使部署策略保持仅 RGB。该论文最鲜明的单一结果是一个阴性对照:联合去噪全部三个目标在 LIBERO 上达到 97.85%,低于 仅 RGB 基线的 98.00%,而所提出的混合路由达到 98.90%——机制比增加监督更重要。
图 5. DreamWAM 的训练时世界状态(RGB、光流、深度、DINO)与门控世界残差预测;门控正是防止额外目标造成损害的关键 (转载自原论文)。
变化体现在鲁棒性上:LIBERO-Plus 在联合推理模式下从 69.16% 升至 75.47%,在论文关注的无 rollout 模式下从 51.36% 升至 63.44%,在全部七个偏移维度上均有改善;在真实双臂平台上,扰动条件平均值从 55.6% 升至 74.4% 。所有模拟基线都是作者自己的重新实现,受控比较是匹配的 Fast-WAM 配对,而非跨方法排名——分析明确指出了这一点,并认为鲁棒性主张得到良好支持,而机制归因(运动、几何、语义中哪一个驱动了偏移增益)并未在偏移下进行消融。
2.2 Flex-π:几何与语义作为可选流
Flex-π 通过预测点图和以对象为中心的 DINO 特征,将同样的直觉推得更远,但其使能性观察是基础设施层面的:冻结的 Wan-2.2 视频 VAE 能准确编码 3D 点图,尽管它从未在这些数据上训练过,因此几何监督不需要新传感器、不需要新视觉先验,也没有推理成本 。每流存在掩码和输出生成掩码将一个 6B 检查点转变为可选择的延迟/
图 6. Flex-π:RGB、点图和 DINO 流通过共享视频 VAE,流存在掩码与输出掩码将单一检查点转化为延迟/
所报告的消融实验是对该主题最清晰的定量陈述:在 50 个演示的五个 RoboTwin 任务上,从单一检查点出发,在纯视频流中加入 DINO 带来 +6.8%,再加入点图进一步提升 +20%;最大的真实世界优势出现在低演示预算下(每任务 50 个演示时为 78.8%,而 π0.5 为 31.4%,Fast-WAM 为 41.9%)。作者指出了两个局限:额外模态会减慢收敛(≥10 个微调 epoch),且完全联合生成仍比同类 VLA 更慢。几何信息即使在推理时从未生成也有帮助这一主张是可证伪的核心,而论文自身对此的证据是:仅动作解码已经优于所有真实世界基线。
2.3 JEPA-WAM:监督过渡,而非帧
JEPA-WAM 改变的是目标的性质,而非其模态 。一个冻结的 V-JEPA 2.1 编码器将当前观测与未来观测在时间上堆叠编码为单一 patch 结构目标,一个共享的 0.5B 预测器由 patch 级余弦距离监督,同时产生用于条件化流匹配动作专家的表征。该设计主张是:过渡关系无法从独立编码的端点中恢复:监督式端点差分在 LIBERO-Plus 上达到 70.9%,而联合目标为 79.2%,在保留 V-JEPA 特征的同时禁用过渡预测则降至 73.2%。
图 7. JEPA-WAM:一个冻结的 V-JEPA 过渡目标、一个 LLM 预测器和一个流匹配动作专家共享同一骨干 (转载自原论文)。
结果将潜在过渡监督定位为强 VLA 的一种廉价附加组件,而非机器人预训练的替代品:无需大规模策略预训练即在 LIBERO-Plus 上达到 79.2%,将同一监督加入 π0.5 时达到 86.3%(从 84.5% 提升),真实机器人 ID/OOD 为 59.8%/54.2%,而 π0 为 51.8%/22.5% 。标准 LIBERO 接近饱和,因此诚实的总结是:这一系列购买的是鲁棒性和部署成本,而非分布内峰值成功率。
2.4 目标设计空间的其余部分
另外三篇论文标出了边界。GaussianWAM用不同的教师展示了同样的教训:训练时构建的瞬态3D高斯场携带VGGT-Omega深度和CLIP语义,将这些目标蒸馏到WAM的当前观测潜变量中,使FastWAM在LIBERO-Plus上从52.05%提升到71.29%,Cosmos Policy从71.52%提升到77.30%,且无推理成本——而统一本身比朴素独立蒸馏高出1.92个点。LEON认为转移算子,而非其目标,才是未被充分探索的轴:用上下文调制的低秩算子加加性强迫替换变压器预测器,将VLA-JEPA的LIBERO平均值从97.2%提升到99.05%,但使面向策略的LaWAM实例保持中性(84.13%对84.50%),因此论文自身的框架接受了那里接近基线的结果。Vid2WAM从数据侧攻击同一问题,将视频扩散先验蒸馏到WAM中,使被保留的任务轨迹变得可用:在新颖RoboTwin任务上为54.7%/
表2. 未来目标设计选择及其改变的内容,如作者所报告。
| 论文 | 未来目标 | 推理成本变化 | 关键报告结果(设置) |
|---|---|---|---|
| DreamWAM | RGB + 光流 + 深度 + DINO,门控路由 | 无(测试时仅RGB) | LIBERO-Plus 63.44% 对 51.36% Fast-WAM(无展开) |
| Flex-π | RGB + 点图潜变量 + DINO流 | 可选(约60–193毫秒) | 来自点图的+20%(RoboTwin,5个任务,50个演示) |
| JEPA-WAM | V-JEPA转移(堆叠端点) | 无(目标分支丢弃) | LIBERO-Plus 79.2%,无策略预训练 |
| GaussianWAM | 高斯渲染深度 + CLIP目标 | 无(训练时教师) | LIBERO-Plus 52.05% → 71.29%(FastWAM) |
| LEON | 结构化算子转移(V-JEPA / DINO) | 未测量 | VLA-JEPA LIBERO 97.2% → 99.05%;LaWAM中性 |
| Vid2WAM | 蒸馏的视频扩散先验 | 212.5毫秒 对 4894.5毫秒教师 | RoboTwin新颖 54.7% 对 45.0% Fast-WAM |
要点
- 五个独立小组反复出现同一发现:超越RGB的监督在分布偏移下提升鲁棒性,而非分布内成功率,且当额外流在部署时被丢弃时,增益仍然存在。
- 路由是承重的。DreamWAM的全去噪变体比仅RGB更差,而GaussianWAM的统一载体比朴素多教师蒸馏高出一个小而一致的幅度——朴素地添加目标行不通。
- 本主题中的所有内容均在LIBERO/
LIBERO-Plus、RoboTwin或RoboCasa上测量,且常使用作者自己对基线的重新实现;跨论文百分比仅供参考。
3 规模、数据与一个具有多个接口的模型
第三组论文将WAM视为预训练管道的终点,并追问什么使它通用:多少视频、跨具身形态的动作接口是什么,以及一组权重可以扮演多少角色。
3.1 ZimaBlue:视频规模作为轴
ZimaBlue 的论点是:实现泛化的主轴是扩展无动作具身视频的规模,而非新的策略架构 。它通过三个阶段改编 Wan2.2 文本到视频 DiT——最多 120,000 小时的因果第一人称视角与机器人视频预训练、在统一 100 维状态–动作空间上的跨具身中期训练(其中每个具身仅激活其原生槽位),以及目标机器人后训练——然后将结果部署为异步的 Slow(5B)/ Fast(0.5B)配对,其链接是从 Slow 模型早期层导出的键–值缓存。
图 8. ZimaBlue 的 Slow 5B 视频 DiT 与 Fast 0.5B 动作 DiT,通过来自 Slow 模型的分层 KV 注入相链接 (转载自原论文)。
所报告的证据广泛,且对本语料库而言异常多地涉及真实机器人:在 12 个留出的真实任务上零样本平均成功率为 77.8%,而从零开始为 36.1%,仅使用动作标注数据为 46.1%,使用 60K 小时视频为 66.9%,相比之下 π0.5 为 54.4%,DreamZero 为 53.6%;在扰动套件上为 57.5% 对 15.0%;LIBERO-Plus 在逐基准微调下为 92.0%,零样本为 86.7%;在 RoboCasa365 的未见组合划分上,ABot-M0.6 为 16.5% 对 7.9%,而在此划分上,一个在 100K 小时真实机器人数据上训练的 VLA 仍在总体领先 。延迟方面的叙事是部署那一半:在 Slow-only、双系统和蒸馏+编译配置下,从 449.6 ms 降至 33.0 ms,成功代价为 2.8 个百分点。分析明确指出,四种训练配置是累积的,因此视频量并未与多具身动作数据清晰隔离,也没有匹配算力的基线将相同预算花在机器人数据上。
3.2 Riemann-1.0:单一因果序列,动作先于后果
Riemann-1.0 将多视角视觉潜变量、机器人状态和动作序列化为单一因果序列,并先预测动作,再预测其视觉后果,且在预训练、后训练和部署时使用相同的掩码和目标 。这种排序就是其设计选择:论文将其与联合去噪、视频优先自回归和解耦的双 DiT 设计相对照,并使用混合人类–机器人轨迹上的潜在动作模型伪动作、从 0.1 到 0.9 的 λ 调度以及 230,000 小时语料,使弱监督视频可在单一目标下使用。
图 9. Riemann-1.0 的统一轨迹 token,具有动作优先的因果可见性,以及其分离的潜在预测和动作预测分支 (转载自原论文)。
策略那一半有充分证据:在 RoboCasa-365 上为 62.6%,而最强的具名基线为 54.2%;在 RoboTwin 2.0 上为 94.3%;在 LIBERO 上为 99.0%;在四个真实任务家族上成功率为 85.0%,进度为 94.43%;在留出的真实 OOD 任务上为 85.0%,而 π0.5 为 50.0% 。世界模型那一半则并非如此:多具身 rollout 仅以定性方式展示(图 10),没有 FVD/PSNR 或动作忠实度指标,也没有将因果分解与联合或解耦替代方案区分开的消融。因此,“一个检查点既是策略又是模拟器”这一主张应被理解为一种设计立场:其策略部分很强,而模拟器部分尚未被测量。
3.3 Motus2:同一权重集内的策略、模拟器和评估器
Motus2 保留一套共享参数集,并通过不同查询模式将其暴露为三个接口——策略(WAM)、动作条件模拟器和价值评估器——以动作优先的方式分解 。三者被接入一个闭环:提出动作块,想象其后果,对结果评分,然后将评分同时用于 Best-of-N 测试时选择和 DiffusionNFT 风格的策略更新,从而使策略能够在演示之外得到改进。它还包含大量数据与扩展性内容:约 130,000 小时的第一人称语料、一个触觉专家,以及在嵌套的 2k–20k 小时子集上呈对数线性的立体视频扩展律。
图 10. Motus2:一套参数集暴露为策略、模拟器和评估器,右侧为基于模型的 RL 与规划循环 (转载自原论文)。
在五项经过匹配目标机器人微调的物理任务上,Motus2 报告了 84% 的宏平均成功率,而其仅预训练初始化版本为 51%,视频模型基线和 π0.5 均为 0%;改进循环进一步带来提升(在两项任务上,使用 MBRL 和规划从 65.0% 提升至 75.0%),触觉专家在两项接触密集任务上价值 12.5 个百分点 。证据缺口正是论文自身框架所引出的:该循环使用离线前缀加想象运行,而非真实在线机器人数据,因此这里的“自我进化”指的是在学习到的模拟器内部进行策略改进。
3.4 人类视频、紧凑堆栈与 3D 状态
另有四篇论文完善了这一主题。LD4WAM 从人类视频中学习运动对齐的潜在动力学变量——一种显式回归到末端执行器运动上的下一语义特征转移——并将其与统一到 LeRobot 的 5,086 小时、8 数据集语料配对;它报告在 50 项 RoboTwin 任务上达到 93.4%,在真实世界中达到 70.5%,而 π0.5 为 63.3%,但其自身的消融将大部分真实世界增益归因于预训练语料,而非潜在桥接 。Zero-WAM 通过上下文人类演示视频而非语言来指定新任务,自动生成配对的人类–机器人数据(74.2K 人类–机器人 ICL 对,8.6K 任务),并报告了在没有任何测试时训练的情况下进行的真实机器人未见配置试验 。Hydra-0 将视频世界模型以动作流为条件——即机器人身体稀疏、可见性感知的图像平面轨迹——从而使一个接口能够跨具身和主干网络训练,并报告在固定主干网络内夹爪运动误差降低 90%,以及与参考成功率相比 r = 0.96 的开环策略评估相关性 。4DGS-WAM 用显式分解的 4D 高斯状态替代像素,预测每个行动者的 SE(3) 动作,并仅传输物体 splats;在给定相机下,它在 KITTI-MOT 上击败了两个视频世界模型(PSNR 18.80 对 17.46),但在预测相机下落败,且仅在短时域上进行了评估 。最后,AcrossWAM1.0 是本月的工程论文:它在潜在 WAM 堆栈中明确了策略–世界–动作边界,表明 0.8B 主干网络可以在预设的两点标准内替代 2B 主干网络(在 2,000 个配对 LIBERO 回合上为 97.45% 对 98.00%,McNemar p = 0.27),并导出一个推理可及参数减少 42.4% 的检查点——同时指出其自身语言接地中存在 27.4% 的指令遵循弱点 。
表 3. 作者报告的扩展轴与主要结果。
| 论文 | 扩展轴 | 报告的核心结果(设置) | 证据基础 |
|---|---|---|---|
| ZimaBlue | 12万小时无动作视频 + 100维跨具身动作 | 77.8% 对 36.1%,从零开始(12个真实任务);33.0 ms 循环 | 全文 |
| Riemann-1.0 | 23万小时语料,动作优先的统一因果序列 | 62.6% 对 54.2% 基线(RoboCasa-365);真实OOD 85% 对 π0.5 的50% | 策略实测;模拟器定性 |
| Motus2 | 约13万小时自我中心数据 + 价值/评估器耦合 | 84% 对 51%(5个物理任务,匹配SFT) | 全文 |
| LD4WAM | 5,086小时以人类为主的语料 + 运动对齐的潜动力学 | RoboTwin 93.4%;真实环境70.5% 对 π0.5 的63.3% | 全文 |
| Zero-WAM | 上下文人类视频提示(8.6K任务) | 真实机器人未见配置,无测试时训练 | 全文 |
| Hydra-0 | 跨7个数据源的动作流接口(约2.2K小时) | 固定骨干中夹爪运动EPE降低90%;策略评估 r = 0.96 | 全文 |
要点
- 本主题中的规模主张以真实机器人为主,因而在迁移上相应较强(ZimaBlue、Riemann-1.0),但比较对象通常是预训练预算不同的VLA,且无人报告匹配计算量的对照。
- “一个检查点,多种接口”如今已是常见主张;在本月的数据集中,只有策略接口得到了定量验证,模拟器保真度则留作定性或未测量。
- 人类视频是共享的扩展货币——上下文提示、潜动力学、动作流和统一动作空间是将其转化为监督信号的四种不同方式。
4 桌面之外:驾驶、导航与交互世界
操作任务在语料中占主导,但同一模板正被移植到具有不同失效模式的领域——而这些移植正是本月最有趣的负对照所在。
4.1 GeoWAM:为驾驶预测几何,而非像素
GeoWAM的前提是,驾驶WAM的有用未来是未来的点图,而非未来的图像 。该模型编码多视角历史,保留多层级历史记忆,并有一个几何分支将未来几何标记解码为点图,另有一个规划分支生成轨迹,其中位姿解码器通过交叉注意力访问缓存的几何键。
图11. GeoWAM:多视角几何编码馈入未来几何分支和规划分支,二者通过缓存键共享位姿/
证据异常干净,因为几何主张可以在无标签的情况下检验:在nuScenes上预测未来几何,且从未在nuScenes上训练,得到Abs Rel 0.202,而专用几何世界模型为0.325,从视频世界模型重建的几何为0.274;规划消融具有因果性——移除未来几何预测在navtest上损失1.0 EPDMS,在navhard上损失4.9,且navhard EPDMS随预测时域单调上升 。零样本nuScenes规划(L2 0.89 m,碰撞率0.12%)是在未进行nuScenes微调的情况下报告的。需要注意的局限是范围:所有规划数字均为开环或伪闭环NAVSIM变体,且论文自身最强的主张仅涉及单一基准系列。
4.2 Hydra:在世界模型自身的流形内搜索
Hydra 让规划器与模型共享同一个嵌入 。视觉状态、位姿和动作被一起编码,再由按模态划分的 VQ 码本压缩(2048 个视觉码;64 个位姿码和 64 个动作码),因此规划在一个有限的已学习运动动力学意图集合中搜索,并用潜在的运动学-感知代价对其打分——从不解码为像素——之后获胜意图再由条件流匹配扩展为平滑命令。
图 12. Hydra:意图播种、VQ 码本量化、top-k 选择、KPC 排序与流匹配解码,迭代 N 次 (转载自原论文)。
所报告的机制与容量之间的分离才是关键:在相同的搜索预算下,规划时间约为 0.9 秒,而与之比较的连续潜变量基线超过 500 秒;障碍场景成功率分别为 100%/
4.3 GameWAM:WAM 标签延伸到游戏与 GUI
GameWAM 将联合视频-动作模板应用于原生第一人称游戏控制和 GUI 控制,通过共享的干净视觉前缀耦合并行的因果视频与动作扩散 transformer,并部署“长预测、短执行”,从而在线时省略未来视频去噪 。其报告的增益在绝对数值上很大——在超过 800 个任务的 Minecraft 套件上平均成功率为 50.7(Mini)/ 46.6(All),而 OpenHA 为 36.8/31.5,且每次成功执行 138 步,而 OpenHA 为 287 步——其消融也很有针对性:移除未来视频监督会使平均成功率从 50.7 降至 35.7,而模态解耦掩码将在线频率从 8.12 Hz 提升至 12.51 Hz 。
图 13. GameWAM 的视频–动作 transformer 对:训练时对共享的干净视觉前缀进行联合注意力,推理时仅保留记忆视频状态 (转载自原论文)。
更具可迁移性的贡献是诊断性的:论文分离出生成式动作策略的一种源敏感性失败模式,其中动作输出的主导 DCT 频带跟随条件源而非指令——对该频带进行供体替换在 94.8% 的试验中会改变输出,将其置零则消除了相关方差的 99.25% 。头条数字依赖于跨论文复用的协议,且每地图奖励值仅存在于一张图中;这提醒我们应谨慎对待跨论文的游戏智能体比较。
4.4 驾驶、空中与交互式变体
同月出现了一个密集的驾驶研究集群,共享同一基准和同一种警示。SimWAM 在 NAVSIM navtest 上以单前视摄像头报告 PDMS 91.9,并表明其隔离注意力掩码在 PDMS 基本持平的情况下将轨迹推理从 1512 ms 降至 518 ms,而其协同训练消融(在未来视频监督下从 86.5 → 90.3,使用 RL 后为 91.9)是对未来监督效应的清晰陈述 。DA-WAM 使未来变得候选特定,并发现共享的全局未来比完全不进行未来预测更差(92.81 对 93.31 PDMS),这是驾驶组中最鲜明的负对照 。BrainWAM 报告,让 VLM 语义 token 与预测分支共享注意力相对于仅世界模型分支有害(87.8 对 89.5 PDMS),并且零视频去噪步数会使 PDMS 崩溃至 79.3,而一步即可恢复至 89.3 。WA-JEPA 将 V-JEPA 的掩码目标重新定向到未来预测,并在 NAVSIM-v2 上达到 91.7 EPDMS,零样本 HUGSIM 闭环 HD-Score 为 0.4462,而最强基线为 0.3252 。
在汽车之外,FlowPilot 将该范式移植到四旋翼飞行器,采用深度条件化的 transformer 混合架构,并报告 4.0% 的碰撞率,而深度冻结对照为 26.0%,在 Jetson Orin NX 上平均机载推理为 16.3 ms,森林飞行速度最高达 5.5 m/s 。UniNav 联合去噪未来视频潜变量、连续航点和相机几何 token,报告平均 ATE 为 0.491,而最强导航世界模型为 0.593,一步路径为 0.109 s,而规划基线约为 900 s——但其所有主要结果都是预收集数据集上的离线轨迹误差,没有闭环导航成功率指标 。在交互式渲染方面,ReWorld 在不同注意力窗口下训练控制和长时程记忆,并直接展示了干扰(添加动作注入改善了控制,但使重访 SSIM 从 0.3898 降至 0.3376;逐头路由恢复了召回,同时保持未路由级别的控制),而 Matrix-Game 3.5 构建了几何感知的块级记忆,报告相机旋转误差为 1.63°,而次优方法为 4.50°,重访 SSIM 最佳,并在三步蒸馏后在单块 H100 上实现实时流式传输——同时诚实指出其几何来自外部估计器,动态实体没有持久状态 。
表 4. 领域移植及其独特机制,如作者所报告。
| 论文 | 领域 | 独特机制 | 报告的主要结果(设置) |
|---|---|---|---|
| GeoWAM | 驾驶 | 未来点图预测馈入规划 | Abs Rel 0.202 对 0.325(nuScenes val,未使用 nuScenes 训练) |
| Hydra | 导航 | 基于学习意图的离散潜变量规划 | 约 0.9 s 对 >500 s 规划时间;80% 遮挡场景成功率 |
| GameWAM | 游戏/GUI | 联合视频-动作 transformer,长预测/短执行 | 50.7 对 36.8 平均成功率(Minecraft Mini) |
| DA-WAM | 驾驶 | 候选特定未来潜变量 | 93.7 PDMS NAVSIM-v1;共享未来比无未来更差 |
| BrainWAM | 驾驶 | 动作空间协调,而非 token 融合 | 89.5 PDMS;零视频步数崩溃至 79.3 |
| FlowPilot | 空中 | 深度条件化 WAM,Bernstein 动作空间 | 4.0% 对 26.0% 碰撞;16.3 ms 机载 |
要点
- 向其他领域的移植正收敛于 NAVSIM 风格的开环或伪闭环评分;只有 Hydra、FlowPilot、GameWAM 和 ZimaBlue 级系统报告了物理部署,且通常试验次数较少。
- 驾驶集群产生了当月最好的负对照:共享未来、过早语义融合和过度激进去噪都会造成损害,这对任何组装 WAM 栈的人都是有用的指导。
- 术语漂移是真实存在的:这些论文中有几篇(GameWAM 除外)从未使用“世界动作模型”,而交互式渲染系统控制的是相机而非推断动作。
5 该领域开始自我审计
八月最出人意料的変化是,有多少论文在追问 WAM 的核心对象是否真的如其所宣称的那样有效。该时间窗口内出现了四项不同的审计,其结果一致:渲染质量与行为保真度只是松散耦合。
5.1 WorldExam:能力,而非外观
WorldExam 是一个四级诊断层级——视觉质量、控制遵循、空间一致性、世界反应性——在 1,474 个精选案例上实例化为八项任务,并应用于 20 个视频世界模型 。其设计选择是向提示隐藏交互的后果,因此仅仅渲染被告知内容的模型无法通过;报告的结果是控制与反应性之间的鲜明分离:动作驱动模型在主体控制上领先(LingBot-World 55.47 对 Veo 3.1 的 37.28),而语言驱动模型在地形和交互任务上大幅领先(Vidu Q3 地形 64.39,对比最佳动作驱动模型的 27.49),VLM 评判在 800 个实例上与人类评分的相关性为 ρ = 0.8614。
图 14. WorldExam:四个诊断层级映射到其评估任务、指标和代表性案例 (转载自原论文)。
保留意见是定义性的而非经验性的:WorldExam 探查的是 WAM 中“世界”的那一半,从未测试动作空间保真度、策略成功率或闭环控制,而且没有任何被评估系统自称为 WAM——因此其头条式能力划分部分上是每个模型所暴露接口的产物 。
5.2 机器人世界模型真的遵循动作吗?
最直接与 WAM 相关的审计追问的是,动作条件世界模型是否忠实响应任意有效动作,而不仅仅是重放的演示 。其协议测试了六个专家训练模型,跨越五类动作查询,从演示重放到越来越偏离专家的动作,并通过视觉完整性门控加上 SE(3) 末端执行器与所查询动作的模拟器重放的一致性来给 rollout 打分。诊断结果一致:在完整性门控下,从演示查询到偏离专家查询,误差上升 0.029–0.099 m,视觉失败率上升 6.3–28.1 个百分点。论文随后给出了一套方法——扩展动作覆盖加上干预效果监督——作者报告称,这将模拟策略改进从 51–52% 提升到 65%,而相同改进流程在最接近的基线上为 56–57%,真实机器人成功率从 48% 提升到 68% 。
图 15. WorldSync 方法:动作覆盖扩展、动作强制专家和干预效果监督,全部汇入一个动作条件世界模型 (转载自原论文)。
证据的平衡是不对称的,值得直说:诊断范围很广(六个模型、50项任务),而改进主张则建立在四项任务的消融、一项真实机器人任务以及不匹配的更新次数之上;论文在门控误差上的头条胜利是边际的(0.0661 对 0.0670),并且以此换取了更差的原始轨迹误差 。
5.3 WorldSimProbe:将模型作为模拟器来评判
WorldSimProbe 通过“可观测模拟器契约”明确了模拟器角色——所提供的动作必须引发相应的智能体运动,环境响应必须基于该已实现的运动——并在三个平台上以五个套件、超过 18,000 个实例加以操作化 。其对 WAM 工作最有用的发现是一种阈值不对称性:模型行为持续被破坏时的扰动幅度,对一个领先系统为 0.374,对另一个为 1.78,而模拟器边界为 0.05,即两者都比参考模拟器容忍了远更多的动作失真;虚假接触接地的触发最弱(宏平均 38.6,而干扰项为 75.0),并且在生成数据上训练的策略在标准控制下达到 78–89%,但在分布外控制下为 21–53%,其排序与基准一致 。
图 16. WorldSimProbe 的五个套件,从局部动作校准,到全局覆盖与来源保持,再到交互接地和动力学,并使用基于 RMFA 的评分 (转载自原论文)。
5.4 隐藏状态、干预保真度以及理论怎么说
另外三项审计闭合了这一循环。一个以动作为条件的视觉 Shell Game 表明,标准视频骨干网络——transformer、Mamba2、线性注意力、RNN——能够渲染出看似合理的帧,却无法在超出训练视野后组合隐藏交换,更多的去噪步骤也无济于事,而两项特定的状态载体改动则有效(一种具备反射能力的线性注意力在 30 次交换时达到 0.95 的状态准确率,而骨干网络仅为随机水平;一个快速权重 TTT 层在 5/10/20/30 次交换时得分分别为 1.00/1.00/0.98/0.69)。一项捕获门控干预审计表明,一个世界模型可以承载任务查询并解析真实效应,而其自身的五步想象效应却比预测无效应更差——三个检查点的预测效应 R² 为 −5.65/−3.36/−6.33,而其捕获 R² 为 0.58–0.61——并且奖励通道对此保持沉默,而 TD-MPC2 模型的规模则按算子误差与回合回报排名,ρ = −0.90 。一篇理论论文主张,被模仿的世界-动作控制器会扁平化为具有相同闭环分布的普通随机策略,对于观测学习者,最坏情况遗憾 ≥ 1/4,对于精确最优解为 1/2,除非有信息性干预可用 ;该文未报告实验,并承认有限参数类可能仍享有表示优势。一篇配套立场论文将世界建模重新表述为面向智能体的信息代理,并为 WAM 提供了一个分类法位置,但没有提出针对 WAM 的具体主张 。
表 5. 本月的审计:每项审计所提出的问题及其报告的关键发现。
| 审计 | 问题 | 报告的关键发现(设置) |
|---|---|---|
| WorldExam | 模型是否会像推理后果那样做出反应? | 控制 ≠ 反应性;VLM 评判 ρ = 0.8614;20 个模型,1,474 个案例 |
| Action following | AC-WM 是否服从偏离专家的动作? | 偏离专家时门控误差 +0.029–0.099 m;该方案将模拟改进提升至 65% |
| WorldSimProbe | 模型的行为是否像模拟器? | 持续失败起始点 0.374 对比模拟器 0.05(>18,000 个实例) |
| Shell Game | 隐藏状态是否真的被追踪? | 标准骨干网络的外推为随机水平;状态载体变化可修复该问题 |
| Intervention gap | 想象是否移动了正确的变量? | 预测效应 R² 为负,而捕获通过;与回报的 ρ = −0.90 |
| Capability separation | 未来预测是否增加了控制能力? | 总体等价;遗憾界为 1/4 和 1/2(理论,无实验) |
要点
- 这些审计一致认为,视觉保真度并不能很好地代表 WAM 所需的能力:状态追踪、动作跟随和干预保真度都在渲染指标中不可见的程度上失败。
- 四项审计中有两项是在作者自己的协议下针对冻结的第三方模型运行的,这比仅靠一个新基准测试所提供的证据要强得多。
- 这里没有任何内容表明 WAM 不起作用;它表明,该领域以成功率为主的评估方式尚未证明它们因所声称的原因而起作用。
另需注意
效率与后训练变体。 DELE-w0.5 提出了本月最强的反视频生成主张——即视频生成是一种不必要的中间目标——并转而从未来潜在状态推断动作;它报告在四个长时程双臂任务上全任务成功率为 62.5%,而最佳基线为 30.0%,且优势随时程增长,推理延迟中位数为 87.5 ms 。Vid2WAM 和 Faster-WAM 分别通过蒸馏和深度缩减追求同一目标。
富接触操作。 HiTac-WAM 将一个触觉预测分支附加到冻结的 WAM 上,并将该预测同时用作候选重排序器和执行时验证器,报告在真实机器人上平均成功率为 72.2%,而同一骨干网络在没有触觉通路时为 31.1%,代价是约 1.4% 的 LPIPS 和约 0.9% 的动作误差 。Disentangling Visuo-Tactile Foresight 采取了互补的诊断路径,用 oracle 演示替换学习到的预测器,以隔离视觉-触觉未来到达动作专家的接口;其同等预算比较显示,在 350 次 rollout 中,路由接口比独立融合分支高 8.3 个百分点,但由于任务层面的反转,分析将该结果标记为值得复现的假设 。
系统与编排。 HarnessWAM 认为,有限时程 WAM 无法承载规划、遮挡状态、验证和恢复,并将这些添加为模型外部层——一个 VLM 任务管理器、一个基于证据的状态,以及一个将计划投射到 WAM 可执行技能上的编译器;在一个 26 项任务的记忆竞技场中,它报告全任务成功率为 64.4%,而最强的特定基准基线为 38.5%,在相同骨干网络上获得 +15.4 到 +26.0 个百分点的提升,并且在一个物理整理任务上达到 95.0% 。
跨具身模拟器与导航表征研究。 CLAP 在一个动作条件视频模型中统一了三种动作接口(绝对末端执行器位姿、语言动作、学习到的潜在动作),并报告在真实 Franka 上的零样本规划优于两个强策略(两个任务上分别为 80% 对 40% 和 75%),同时承认与单具身最先进水平相比,感知度量上的持平伴随着更差的 FVD/
基准测试。 PlayWorld 用一个闭环智能体玩家评估九个交互式视频模型,该玩家在线调整其动作,而不是执行固定轨迹;最佳模型总分为 5 分中的 2.12 分,且两个演化维度从未超过 1.95/1.81,有一个模型通过了 80.4% 的轨迹验证,但在评分表上仅得 1.48 分——这是最清晰的陈述:达到目标与保持世界状态是两种不同的能力 。
值得关注的开放问题
- 匹配计算量基线。 本月每一项扩展性主张(视频小时数、语料规模、蒸馏)都是与具有不同预训练预算的系统进行比较;没有人报告将相同计算量用于机器人数据。
- 未来通道能否经受第三方评估? 最强的机制证据是内部消融。审计论文提出了一种廉价的外部测试:在已发布的检查点上重新计算动作遵循和隐藏状态指标。
- 部署算术。 报告的延迟增益是基准特定的,且通常不包括解码、引导、VAE 和网络;该领域仍然缺乏针对“实时 WAM”的共享测量协议。
- 命名与去重。 在筛选集合内,若干不同的八月论文共享同一名称(两个 4D-WAM、两个 Faster-WAM、两个 JEPA-WAM、两个 SG-WAM),而到月中时,“-WAM”后缀已跨越操作、驾驶、导航、游戏、手术、无线电和航空航天。目前不可避免要读论文而非标题;稳定的分类法会有帮助。
范围与方法
窗口与来源
本期涵盖首次提交于 2026 年 8 月的世界动作模型(WAM)工作(v1 日期为 2026-08-01 至 2026-08-31),从本地库而非 arXiv 列表日期读取。这是本系列的第一期,因此是首轮基线:没有上一期可供比较,下文中的“新”指八月窗口内的新,而非对整个领域而言的新。
WAM 在文献中没有一个统一固定的名称,因此候选池是在该时间窗口内通过四条路径构建的:(a) 标题和摘要中的字面名称变体(“world action model(s)”、“world-action model(s)”、“action world model”)——66 条命中;(b) 缩写 WAM 作为完整单词——56 条命中;(c) 标题同时包含 “world model” / “world-action” / “latent dynamics” / “future imagination” 与 action/
筛选
这 341 个候选按照明确的 WAM 边界进行批量筛选:如果核心贡献是与动作耦合的环境演化的学习模型——以动作为条件预测未来世界状态(像素、潜变量、几何、结构化状态),和/
阅读深度
随后在后台子任务中以全文深度阅读了 48 篇论文:方法、实验和所述局限,并为每篇论文记录证据笔记,记下作者报告的数字及其设置。25 篇分析在第一轮完成,23 篇遇到模型调用失败的被重新运行;全部 48 篇均已完成。该深度阅读集是下文每个重点条目以及“另注”条目的来源,而本期中的 15 个扩展条目超出了一般追踪简报的规模,因为其背后的任务要求在至少阅读 30 篇论文的基础上提供十几个以上扩展条目。下文重点条目标记为已在原文中核查(以全文深度阅读)——引用的每个数字都来自论文自身的表格或文本,并保留其设置(基准、任务、协议);若比较混合了异构骨干或数据,则会说明。
空白与局限
- 筛选是在摘要层面进行的:一篇论文可能因其实验并未完全支持的声明而被纳入或排除,且这些计数不是领域普查。
- 语义路径达到了其前 300 条的上限,其尾部(大致超出第 170 名之后)漂向泛化的 VLA、轨迹预测和具身智能体安全;因此,WAM 框架之外的相邻工作按设计被低代表,而非被证明不存在。
- 基准和成功率数字来自不同的模拟器、具身形态和演示预算。除非论文报告了匹配比较,否则本期中的跨论文成功百分比仅具指示性,不能直接比较。
- 若某项声明依赖定性图(例如“策略和模拟器在同一检查点中”),本期会如此说明,而不将其作为测量结果报告。
References
[1] Linhan Wang, Zijian An, Mingyuan Zhang, et al. GlanceWAM: Sparse Test-Time Imagination for World-Action Models. 2026. arXiv preprint. arXiv:2608.23927
[2] Jiakai Huang, Zhongbo Wu, Siyu Xu, et al. Foresight Without Seeing: Latent Futures for World Action Models. 2026. arXiv preprint. arXiv:2608.11605
[3] Liuhaichen Yang, Zhengyang Zhong, Hanshang Zhu, et al. WAM-OPD: Joint Video-Action Supervision for World Action Model Post-Training with On-Policy Distillation. 2026. arXiv preprint. arXiv:2608.22364
[4] Hongbo Lu, Liang Yao, Chenghao He, et al. RISE: Adaptive Imagination for World Action Models. 2026. arXiv preprint. arXiv:2608.20430
[5] Liheng Ma, Rui Heng Yang, Amin Abyaneh, et al. Faster-WAM: Do World Action Models Need Deep Action Modules? 2026. arXiv preprint. arXiv:2608.02365
[6] Jingkai Wang, Zihan Tang, Gu Zhang, et al. SLIM-0.5B: Learning Action-Grounded Predictive Latents for Robot Manipulation. 2026. arXiv preprint. arXiv:2608.09771
[7] Shanglin Yuan, Weiheng Zhao, Xin Shi, et al. DreamWAM: Beyond RGB Future Prediction for World Action Models. 2026. arXiv preprint. arXiv:2608.04996
[8] Ge Yan, Jinghao Liu, Yuzhi Fan, et al. Flex-pi: A Multi-Stream World-Action Model with Compute Flexibility. 2026. arXiv preprint. arXiv:2608.10860
[9] Yihan Lin, Jiawei He, Shifeng Bao, et al. JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling. 2026. arXiv preprint. arXiv:2608.09381
[10] Zijian Zhang, Yuqing Jiang, Weitao Zhou, et al. GaussianWAM: Distilling Geometry and Semantics from 3D Gaussian Fields into World-Action Models. 2026. arXiv preprint. arXiv:2608.24714
[11] Xiaoxiao Lu, Yunlong Dong, Jiahao Shi, et al. Making Latent Evolution Explicit: Operator-Structured Transitions for World Action Models. 2026. arXiv preprint. arXiv:2608.27259
[12] Chenhao Qiu, Ruixiang Wang, Runyi Zhao, et al. Vid2WAM: Distilling Video Diffusion Priors into World Action Models. 2026. arXiv preprint. arXiv:2608.08558
[13] Xionghao Wu, Yijun Yang, Shiyang Zhou, et al. ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training. 2026. arXiv preprint. arXiv:2609.00188
[14] Haofeng Sun, Jiangbo Pei, Fei Kang, et al. Riemann-1.0: An Embodied World Action Model for Physical AI. 2026. arXiv preprint. arXiv:2608.27033
[15] Hongzhe Bi, Zihao Zhou, Yihang Tang, et al. Motus2: A Self-Evolving General World Model for Dexterous Manipulation. 2026. arXiv preprint. arXiv:2608.30237
[16] Zhenhao Shen, Jiaqi Liang, Jasper Lu, et al. LD4WAM: Learning Latent Dynamics from Human Videos for World Action Models. 2026. arXiv preprint. arXiv:2608.22403
[17] Jiaming Zhou, Qihang Zhang, Gangwei Xu, et al. Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization. 2026. arXiv preprint. arXiv:2608.26103
[18] Hongyu Li, Bowen Wen, Xinghao Zhu, et al. Hydra-0: Action Flow for Generalist World Modeling and Control. 2026. arXiv preprint. arXiv:2608.18077
[19] Yueen Ma, Zenglin Xu, Irwin King. 4DGS-WAM: Bridging Past and Future with an Object-Centric World Action Model based on 4D Gaussian Splatting. 2026. arXiv preprint. arXiv:2608.25956
[20] Yafei Zhang, Nan Wu. AcrossWAM1.0: A Modular Latent World-Action Stack for Compact Robot Policies. 2026. arXiv preprint. arXiv:2608.29937
[21] Yiren Lu, Xin Ye, Jiaming Liu, et al. GeoWAM: Visual Geometry World Action Models for Autonomous Driving. 2026. arXiv preprint. arXiv:2608.23486
[22] Mohammad Nazeri, Alexandyr Card, Samira Huber, et al. Hydra: A Navigation World Action Model with Discrete Latent Planning and Continuous Flow-Matching Execution. 2026. arXiv preprint. arXiv:2608.28995
[23] Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Weijia Li. GameWAM: A World Action Model for Video Games. 2026. arXiv preprint. arXiv:2608.26200
[24] Zongchuang Zhao, Xin Zhou, Tianyang Xu, et al. SimWAM: A Simple World Action Model for End-to-End Autonomous Driving. 2026. arXiv preprint. arXiv:2608.07468
[25] Ruiguo Zhong, Benshan Ma, Xiaolong Chen, et al. DA-WAM: Decision-Aligned Future Latents for Driving World Models. 2026. arXiv preprint. arXiv:2608.19085
[26] Bing Zhan, Shuyao Shang, Shuo Lu, et al. BrainWAM: Action-Space Coordination of Semantic Priors and Predictive Dynamics for Autonomous Driving. 2026. arXiv preprint. arXiv:2608.12854
[27] Xinlin Wang, Yujiao Xiang, Yuheng Zhou, et al. WA-JEPA: Rethinking the Video JEPA Paradigm for World-Action Modeling in Autonomous Driving. 2026. arXiv preprint. arXiv:2608.20974
[28] Runqing Wang, Ding Yu, Pengyuan Min, et al. FlowPilot: Real-Time World-Action Modeling for Agile UAV Navigation. 2026. arXiv preprint. arXiv:2608.00635
[29] Changqing Zhou, Yueru Luo, Zeyu Jiang, Changhao Chen. UniNav: A Unified World-Action Diffusion Model for Visual Navigation. 2026. arXiv preprint. arXiv:2608.03244
[30] Zhifei Chen, Luozhou Wang, Guibao Shen, et al. ReWorld: An Interactive World Model with Long-Horizon Memory. 2026. arXiv preprint. arXiv:2608.23565
[31] Runjia Qian, Zile Wang, Jihai Zhang, et al. Matrix-Game 3.5: Enhancing Real-Time Streaming Interactive World Models with Patch Memory. 2026. arXiv preprint. arXiv:2608.29910
[32] Yuxue Yang, Shuyao Shang, Jiahe Wang, et al. WorldExam: Benchmarking World Models from Apparent Appearance to Inherent Reactivity. 2026. arXiv preprint. arXiv:2608.02603
[33] Sixiang Chen, Jiaming Liu, Jixian Wu, et al. Do Robotic World Models Really Follow Actions? Diagnosing and Aligning Action-Conditioned Generation for Policy Learning. 2026. arXiv preprint. arXiv:2608.24885
[34] Peterson Co, Sicheng Hu, Chunxuan Jiao, et al. WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation. 2026. arXiv preprint. arXiv:2608.09298
[35] Joonghyuk Shin, Yicong Hong, Jaesik Park, Xun Huang. Can Video World Models Track Unobserved World States? 2026. arXiv preprint. arXiv:2608.30692
[36] Donna Vakalis. The Intervention Gap in Latent World Models. 2026. arXiv preprint. arXiv:2608.29998
[37] Yang Yu. On the Capability Separation Between World-Model Policy Learning and Imitated World-Action Models. 2026. arXiv preprint. arXiv:2608.22197
[38] Yu Yang, Xuemeng Yang, Licheng Wen, et al. Quo Vadis, World Modeling? 2026. arXiv preprint. arXiv:2608.02713
[39] Kechen Liu, Ola Shorinwa. CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators. 2026. arXiv preprint. arXiv:2608.27406
[40] Kaixin Ding, Xi Chen, Minghong Cai, et al. PlayWorld: Benchmarking World Models with Agent Players over Long-Horizon Objectives. 2026. arXiv preprint. arXiv:2608.13552
[41] Zhaopeng Gu, Bingke Zhu, Tianxi Lin, et al. HarnessWAM: Bridging Prediction and Deliberation in World Action Models. 2026. arXiv preprint. arXiv:2608.09516
[42] Chao Xue, Chaofan Zhang, Wenxuan Ma, et al. HiTac-WAM: A Hierarchical Tactile World Action Model for Contact-Rich Robot Manipulation. 2026. arXiv preprint. arXiv:2608.19574
[43] Zihang Yao, Chaoyue Ding, Yingying Yu. Disentangling Visuo-Tactile Foresight: Oracle-Guided Interface Discovery for World Action Models. 2026. arXiv preprint. arXiv:2608.00547
[44] Fenghao Lei, Zhixiong Huang, Long Yang, et al. DELE-w0.5: Inferring Action from Future Latent State for Robotic Manipulation. 2026. arXiv preprint. arXiv:2608.22067
[45] Guangfu Guo, Xiaoqian Lu, Rui Liu, et al. Visual Representation and History Modeling for Navigation World Models. 2026. arXiv preprint. arXiv:2609.29555
引用本报告
@misc{parallax-2026-world-action-models-august-2026,
title = {{World Action Models in August 2026 — Monthly Progress Issue}},
author = {{Parallax}},
year = {2026},
month = oct,
howpublished = {\url{https://parallax.ink/research/en/world-action-models-august-2026}},
url = {https://parallax.ink/research/en/world-action-models-august-2026},
note = {Parallax Research, Digest}
}