多模态数据与基准：2026年8月进展简报

2026 年 8 月的多模态基准文献呈现出异常明显的一致性。它们并未宣布新任务，而是围绕当前模型失灵的那个具体步骤重建评测：一段模型不肯标记为无法回答的视频片段，第二张模型无法区分清楚的图像，一个模型无法描绘的多边形，一次模型无法完成的多跳图表计算，一个模型能检索到却无法运用的事实。在为本期深读的三十个基准中，反复出现的结果是：一旦评分在那个步骤上收紧，头条准确率就会夸大模型的能力——而若干篇论文把这种收紧本身作为贡献。

时间窗口与覆盖范围：2026 年 8 月 1 日至 31 日，按记录的 v1 提交日期。来源：本库的 arXiv 镜像，类别为 cs.CV/CL/MM/AI/LG/SD。语料是经过筛选的多模态理解与统一模型论文工作集，共 428 篇，其中 113 篇被归类为基准或数据集；其中三十篇为本期全文阅读，范围比通常的月度简报更广。此前没有更早的期号，因此本报告是该系列的基线。

图 1. 本月三十篇基准深读的主题图，归入以下五个主题；数字为参考文献引用。

1 视频与长时程理解转向代理式、以对象为中心和意图层面的测试

本月的视频基准不再追问发生了什么，而是开始测试证据如何被收集、一串子命题是否成立，以及一位电影创作者意图何在。其中两个基准还以某种方式收紧了评分，使部分能力无法获得认可。

1.1 VideoGAIA：单一共享框架下的代理式视频理解

VideoGAIA 面向代理式视频理解——把视频作为多轮、使用工具的任务中的一个证据来源——其论点是，单轮视频问答已接近饱和，而一个必须决定查什么、然后去获取的模型则尚未如此。它的 271 项任务由一条流水线从 100K 公开视频中蒸馏而来，该流水线刻意对视频隐藏答案，因此模型必须从视觉上识别一个实体，再从网络检索该事实（图 2）。二十个前沿 MLLM 通过一个完全相同的 ReAct 框架运行，配有三个工具和 40 步上限；没有模型达到 60% pass@1，最好的（Seed2.0-Pro，58.30%）比最低的（Claude-Opus-4.7，34.69%）高出 24 个百分点 [1]。诊断性发现比排名更重要：在 615 条错误轨迹中，视频感知是每一个模型的首要错误原因（36.8–48.0%），高于网络检索（20.3–31.0%）——而且跨模型代际的进展并非单调，有两个 Claude Opus 版本得分低于更早的一个版本 [1]。

图 2. VideoGAIA 的基准构建：数据收集、任务构建、五道模型过滤门和人工标注，最终在六个领域上得到 271 项经验证的任务（L1 62 / L2 209）（[1] 的图 3；转载自原论文，CC BY 4.0）。

1.2 STRAND：拒绝为经由错误路径得出的正确答案记分

STRAND 的贡献是评分方式的改变，而非任务更难。其 88 个视频（平均 183 秒，四个领域）包含 977 个目标问题和 2,516 个支撑性子问题，全部为二值；主指标仅在目标及其每一个子问题都正确时才将目标计为正确，分母固定 [2]。作者明确对比的是那些延长视野或串联证据、但仍只对最终答案评分的长视频基准。两个指标在他们自己的表 1 中差异显著：没有端到端模型的目标准确率超过 68.4%，而每个前沿模型的联合忠实准确率都远低于此（Gemini-3.1-Pro 61.4 降至 38.9；GPT-5 32.5 降至 20.0；Claude-4.6-Sonnet 48.3 降至 30.2）[2]。有两个设计选择值得注意：问题由一个人工验证的符号世界模型生成，生成所用的语言模型从未看过视频；并且刻意排除了边界框，因为目标失败是符号绑定漂移，而非定位 [2]。视频来自 Wikimedia Commons，并与标注一起在 CC-BY-NC 4.0 下再分发，论文称这解决了仅提供 URL 的基准的链接失效问题 [2]。

1.3 TAKE 85：通过有损转录测量的导演意图

TAKE 85 询问电影制作者的意图，使用 398 部短片（约 86 小时），每部有十二个经专家检查的意图问题，共 4,776 个；最强模型在细粒度的“Specific”子集上得分为 58/100 [3]。这一限制是结构性的，而非偶然的：模型从未收到影片。输入是来自 Llama-3.2-Vision-11B 的说明文字、AudioFlamingo3 对三个 30 秒片段生成的音频描述、Whisper 字幕和二十个关键帧，因此该基准衡量的是对共享有损转录的推理，上游提取错误在所有模型间保持固定 [3]。所得出的结论——即使最强的 MLLM 也难以处理电影中的交流意图——只有在转录保留的情况下，才与接地的视听感知有关。

表 1 比较了四个以视频为重点的基准。

表 1. 本月面向视频的基准在共同维度上的比较（规模、新颖性、主要结果）；设置如各论文所述。除非另有说明，单元格数值为作者报告的数字。

要点

• 视频评估的竞争前沿已从任务难度转向什么被计入功劳：STRAND 的联合指标与 VideoGAIA 的工具必要性过滤，都取消了那些虽得到正确答案、却未走预期证据路径的得分 [1, 2]。
• 视频感知，而非检索或答案表述，是智能体视频系统的主导失败模式（所测试的每个模型中占错误的 36.8–48.0%）[1]。
• 至少一个旗舰基准评测的是意图，而非字幕和音频描述，更不是像素，因此其数值只在转录仍然成立时才能界定有依据的感知 [3]。

2 精确感知：文档、图表、手写与几何定位

第二个集群针对输出保真度：模型能否跨图表计算、基于 OCR 证据进行推理、阅读真实手写，并输出真正沿边界的几何结果。三篇重点论文都发现，识别指称对象与产生所需输出之间存在巨大差距。

2.1 LongChart VQA：跨多图表的多跳计算

LongChart VQA 测试多图表问答，构建自一个潜在图（DAG）合成流水线：在其主划分下，557 张图像和 2,876 个问题，每个实例平均 6.5 张图像、31.2 个问题和 716.8 个数据点 [5]。两种设置隔离了困难所在。当每个中间图表都被可视化（“扩展上下文”）时，模型表现明显好于只提供最小图表集（“深度”）时，且跳数比长度更伤性能：深度设置在五跳时准确率降至 33.8%，六跳以上降至 15.3%，而扩展上下文分别为 53.7% 和 46.1% [5]。定位完全失败——所有模型都产生负的平均 distance-IoU，要求给出边界框会使最佳模型从 85.5% 降至 57.6% 的答案准确率，作者将此解读为反对将自生成视觉工具作为中间步骤的证据 [5]。论文自己的表格还显示，模型在合成集上略高于其人类基线（85.76% 对 83.10%）[5]。

图 3. LongChart VQA 的策展流水线与评估协议：一个潜在逻辑图定义最小图表集，问题和图像据此渲染，随后进行人工验证；评估对比最小集与全集上下文，并加入定位/指向输出和图像扰动（转载自原始论文 [5]）。

2.2 OCR-MetaReasoning：对识别文本进行演绎、归纳与溯因

OCR-MetaReasoning 将富文本图像理解重构为基于 OCR 证据的元推理：1,500 个条目在演绎、归纳和溯因的 3×5 网格上与五个 OCR 对象类别平衡，对最终答案使用确定性宏观分数，并配有 LLM 评判的过程合规分数 [6]。最佳模型达到 89.3，但总体分数掩盖了双峰分布：演绎是各模型中最弱的轴（73.6），布局语义是最弱的类别（66.9），而一部分条目被所有十八个受评估模型解决，另有 214 个硬核条目低于 0.5 [6]。一位博士水平的人类参考在分层 300 条目子集上达到 96.0，而仅问题的对照下限为 16.5，确认该基准确实依赖 OCR [6]。

2.3 Groundbench：边界框对几何主张而言过于宽容

Groundbench保留了指称表达式数据，但改变了输出契约：给定一张图像、一个指称表达式和一个公布的顶点预算，模型必须在一行中恰好输出那么多个整数点，由确定性光栅化器评分，没有LLM评判——来自RefCOCO、RefCOCO+和RefCOCOg的1,500个问题，每个在五个顶点预算下，共7,500个目标文件[7]。主要差距在于任务之间：框式性能达到88.2 IoU和97.1 Acc@0.5，而直接多边形输出降至57.7 IoU和69.2 Acc@0.5[7]。作者明确表示，他们并不声称源分布已饱和；他们的主张更窄也更尖锐——四个数字的矩形几乎没有留下区分前沿系统的空间，并且会给背景内部区域计入正确[7]。

图4. Groundbench的精确N协议：同一图像、表达式和指称对象在匹配任务中被冻结，源多边形被重采样到公布的顶点预算N，解析后的输出根据精确N目标按掩码IoU评分；无法解析的输出得零分（转载自原始论文[7]）。

要点

• 在三种非常不同的输出契约——计算得到的图表答案、基于OCR的推断和多边形顶点——中，差距在于识别指称对象与输出所需产物之间[5, 6, 7]。
• LongChart VQA自己的数字表明，其最强模型在合成数据上仅略高于其人类基线，这提醒我们，自行构建的多跳集合可能比看起来更容易[5]。
• 当指标是确定性的（Groundbench的光栅化器、OCR-MetaReasoning的宏观分数）时，所报告的差异不会被评判行为混淆；当使用评判器时，这些论文在控制评判器行为的程度上各不相同[6, 7]。

3 信任与安全：幻觉、弃答、遗忘和越狱

本月最大的一组论文不是关于能力，而是关于失败：这些基准隔离出模型何时编造、何时本应拒绝、在提出遗忘请求后遗忘了什么，以及它如何可能被说服去造成伤害。方法论主线是相同的——不是更宽泛的基准，而是更窄、控制更好的探针。

3.1 MIOH：图像越多，物体幻觉越严重

MIOH针对的是多图像设置中的物体幻觉，认为现有的幻觉基准是单图像和二元的，而通用的多图像基准没有控制诱发幻觉的视觉因素。其设计将四种以物体为中心的任务（存在性、计数、属性、位置）与三种推理模式（综合、比较、选择性）以及三种压力——图像数量、感知难度和上下文偏差——交叉组合，产生3,484个问题，覆盖来自COCO-ReM、PACO和SVG的11,732张图像[11]。在29个模型配置中，中位数表现很差：平均准确率为36.1%，最佳模型为64.4%（Gemini-2.5-Pro），GPT-5为63.1%[11]。该论文最有用的结果不是排行榜，而是一个受控对比：将相同的存在性项目分解为单图像问题，会使每个模型的准确率提高约5–26个百分点，其中最弱的模型提升最大（图5）[11]。

图5. 在MIOH的存在性任务上，多图像与分解后的单图像准确率对比，按模型展示（[11]的图5；转载自原始论文）。

3.2 TRAPSBench：模型编码了它们并不表达的克制

TRAPSBench 提出了一个大多数幻觉基准都跳过的问题——当视频可证明无法给出结果时，模型会说“我不知道”吗？它在 MuJoCo 中生成匹配的控制/空缺配对（四个划分共 1,404 个条目），使得空缺条目除视频在结果前停止外完全相同，并提出一个将控制准确率与弃答对错误弃答的 Youden's J 相乘的指标[12]。十六个 VLM 表现很差：标准机制下的最佳得分为 0.292（Gemini 2.5 Flash），引导提示下的最佳得分为 0.568（Gemini 3.1 Pro，低推理）[12]。论文的机制性部分才是值得继承的部分：对激活的线性探针在高达 0.913 AUROC 上恢复了所需的区分，因此信息存在但未在输出中表达——这是表征与行为之间的分离，而非知识缺口[12]。

3.3 MMJailBench：将越狱分解为实际驱动因素

MMJailBench 取 272 个有害意图，并将其与六种提示框架、五种任务相关的视觉语义条件和两种指令载体交叉，每个模型产生 16,320 个实例——这一设计旨在将风险归因于某个因素，而非报告单一攻击成功率[13]。归因是明确的：提示框架占主导地位，最易受攻击与最不易受攻击的框架之间的差距超过 40 个百分点[13]。两个反直觉结果尤为突出。任务相关的视觉语境提高了攻击成功率（授权文档相较无图像增加约 +13 个百分点），但控制图像几乎不改变它，因此该效应是语义性的，而非仅仅存在图像[13]。而且，渲染在图像内部的指令比作为文本的同一指令更弱（40.59% 对 50.70%），这与 OCR 承载的提示是更强载体的常见假设相矛盾[13]。

图 6. MMJailBench 的因子化设计：有害意图与六种提示框架、生成的视觉语义条件和两种指令载体交叉，然后由 LLM 评判器评分，得出攻击成功率和语境调整后的比率（转载自原论文[13]）。

表 2. 共享轴上的信任与安全基准；设置如各论文所报告。

要点

• 三条独立线索汇聚于同一诊断：能力往往存在却未被付诸行动——探针能解码出拒答（AUROC 0.913），但模型未能将其表达出来 [12]；多模态越狱风险由框架方式驱动，而非图像本身 [13]。
• 仅仅拥有更多图像本身就是一种压力：MIOH 自身的分解在相同条目上大幅提升了准确率，因此多图得分不应被解读为单图能力 [11]。
• 这些基准各自隔离了一个因素；它们目前都没有报告防御侧的数字，因此衡量的是脆弱性而非鲁棒性 [11, 12, 13]。

4 文化、语言与语用学：基准走向本地化和比喻性

第四个集群为通用英语中心套件无法看到的内容构建基准：单一语言中的单一民族文化、语言特定的形态学与方言、只有按顺序才有意义的漫画，以及依赖语用语境而非跨模态不匹配的意义。

4.1 PUMA：一种文化、三种模态、基于规则的评分

PUMA 是一个波兰语基准，在图像、音频和文档各有一百个条目，其中只有当一个问题所有验证规则都成立时，回答才计分——严格的分数与分数式软分数并列报告 [19]。音频部分刻意设置得很难（平均 82 秒，多数为低质量录音），文档部分则偏向手写、退化扫描和透视畸变，OCR 按词准确率和表格 TEDS 评分 [19]。值得注意的方法论举措是，波兰语形态学促使在评分归一化器中采用词形还原，并且论文在自己的 OCR 表格中记录了残留的模型-标签不匹配 [19]。

4.2 PoVisLE：“流利的波兰语”所掩盖的东西

PoVisLE 涵盖 1,117 张图像和 2,366 个手工编写的波兰语 VQA 对，并以问题格式的宏平均评估 16 个 VLM，使用循环选项旋转，因此一个条目只有在所有旋转下都回答正确时才计分 [20]。最佳模型得分为 71.45%，而随机基线为 16.79%，推理变体最多提升 13.2 分 [20]。诊断性发现才是有用的：对开放式回答的事后分析将 49.45% 的预测整体标记为幻觉，较弱模型则超过 50%——论文自身的表述是，流利的波兰语输出与不可靠的接地并存 [20]。

4.3 CMPM：顺序就是任务，而模型丢失了它

CMPM 是 1,214 个中文多格表情包，标注了结构类型、排序依赖和可选评论语境；核心任务将格子打乱呈现，要求恢复阅读顺序 [21]。性能崩溃：Gemini 3.1 Pro 恢复 75.2%，GPT-5.5 恢复 57.8%，而开放模型落在 6.1% 到 27.4% 之间——有些低于 19.4% 的随机排列参考值——提供评论语境几乎没有任何增益（约 +0.06）[21]。由于正确答案是金标准优先约束的一个有效线性扩展，这是该集合中少数容忍而非惩罚组内排列的基准之一 [21]。

图 7. CMPM 中标注的五种结构类型——叙事、渐进、对话、比较和平行——各附一个示例；顺序任务将格子打乱呈现，并要求一个有效的阅读顺序（[21] 的图 2；转载自原始论文）。

要点

• 单语言、单文化基准是一种独立的设计选择，而不是多语言基准的缩小版：PUMA 的规则是针对波兰语形态学编写的，其文档和音频子集在构造上就偏向退化输入 [19]。
• 在目标语言中生成流利内容，并不能证明具备有根据的理解（PoVisLE 的开放式答案中有 49.45% 被标注为幻觉）[20]。
• 结构和顺序可以是一个基准的全部考察对象，而它们仍存在很大差距：大多数开放模型在 CMPM 的顺序任务上得分低于随机水平 [21]。

5 专家领域、困难推理与系统级评估

最后一组衡量的是那些“大致正确”并无用处的领域中的能力——架构、临床诊断、多时相地球观测——并且在其中一个案例中，还衡量模型能否返回它所被要求返回的模态。

5.1 MMArch：瓶颈在于组合，而非感知

MMArch 基于论文图和专家确认的计算，对 1,212 个项目上的建筑-工程推理进行评分 [23]。最佳模型达到 51.73% 的平均分（GPT-5.5），而人类专家组为 94.57%——相差 42.84 个百分点——同时最强的开放类模型仅为 29.94% [23]。其贡献在于错误分析：跨模型汇总后，组合错误（中间值正确、多步组合错误）占失败的 35.8%，高于原理错误 21.7% 和感知错误 20.3%，而提示干预几乎不改变得分，包括一项 CoT 改动反而 损害 了四个被测模型中的三个 [23]。

图 8. MMArch 的构建流程：基于来自三个来源（1 万篇论文、1.6 万张图像）的图像数据库的子领域问题类型、图像选择、问答设计，以及针对准确性、来源和难度的质量控制（转载自原始论文 [23]）。

5.2 MedReaMM：临床综合，两种评分方式

MedReaMM 在 625 个病例上评估专家级诊断综合能力，将预测诊断同时按 ICD-11 编码等价性和在设定阈值下的 SapBERT 嵌入相似度评分，正是因为这两种评判方式并不一致 [24]。推理模型在所有指标上领先（o1 在 Top-10 主要诊断上为 61.3，而 GPT-4o 为 55.7），并且提示在两个方向上都有边界：CoT 提示将 Llama-4-Maverick 提升约 10.5 分，但使 Qwen2.5-VL-7B 下降约 8.3 分 [24]。有两项发现值得谨慎对待。一项输入消融显示，模型在对齐字幕下表现最佳，而当字幕被打乱时，表现降至低于图像加记录基线，因此字幕起到了桥梁作用——这是对该基准所衡量内容的一项限定 [24]。并且在论文自身的比较中，三名胃肠病学家在一份 46 题工具上取得 10.87% 的严格准确率，而 Gemini-2.5-Flash 为 43.48%，作者将这一差距归因于个人与团队能力的差异 [24]。

5.3 LongEarth-R1：地球观测中的轨迹，而非快照

LongEarth-R1 认为遥感基准测试的是单次观测或变化端点，并构建了一个多时相套件以及一个经 RL 对齐的模型，用于图像序列上的长时程推理 [25]。在明确要求排序的任务上，报告的优势幅度很大——冗余检测为 90.28，而 Qwen2.5 为 39.78；时间顺序违规检测为 50.80，而 Qwen2.5 为 15.47——但在变化方向上差距最小（53.37 对 45.80），并且论文未在其结果表中逐单元格标注指标 [25]。

5.4 模态成熟度指数：模型能否返回它所被要求的模态？

模态成熟度指数对全能力提示进行评分，考察模型能否产出文本、图像、音频、视频和文档，并采用逐提示宏平均[26]。其中有意思的是负面结果：任何模型返回音频输出的次数均为零，文档列为零是因为未提供文档生成工具，而宽松的默认检测会为粘贴既有资产链接的模型计分——因此论文本身警告称，排名在一定程度上反映的是链接意愿而非合成能力[26]。评判者是一个 Gemini 模型，给多个由 Gemini 生成的资产打分，作者指出这不能被视为独立于评判者[26]。

图 9. 模态成熟度指数覆盖率：按输入模态（行）和输出模态（列）统计的模型响应数量。主体集中在文本输出列；来自任何输入的非文本输出都很少，这正是论文自身关于将该指数解读为合成能力的警示（转载自原论文[26]）。

要点

• 在专家领域，限制因素通常是组合，而不是感知：MMArch 的主要错误是组合正确的中间值，而提示无法修复这一点[23]。
• 领域基准越来越多地并列报告两种评分制度（ICD-11 编码与嵌入相似度；严格规则与宽松规则），因为单一指标会掩盖分歧[19, 24]。
• 系统级评估仍不成熟：一个全能力基准可以报告零音频输出和零文档列，因此其头条数字所描述的既是能力，也同样描述基础设施[26]。

另见

按主题分组；每条都是深度阅读得出的一句话发现。

视频与长时程。 DVBench 为数据视频提供了缺失的语料库——300 个真实视频和 1,000 个人工验证的问题，覆盖叙事、动画、图表感知、图表推理和字幕对齐，并在一个分层子集上达到 91.93% 的人类基线[4]。

精确感知。 WildHandBench 对 500 份真实手写文档进行评分，采用基于困惑度的“先验驱动错误”指标，发现最佳模型为 71.85%，而校准后的人类为 77.09%，同时模型错误率（63–91%）远高于人类的 49.27%[8]。SpatialQuery 提供了 100 万个基于几何的多实例空间查询，并带有度量深度真值，同时表明按模型自身预测的不确定性放宽容差可将容差准确率从 58.50% 提升到 87.50%，而作者明确拒绝将其称为校准[9]。Inter-3D VQA 从四个摄像头、一个 LiDAR 点云和 HD 地图拓扑构建了 407K 个路边 3D 时空问答对，其中 LiDAR 增强基线（Inter-Geo）优于仅图像基线[10]。

信任与安全。 KnowHal 为幻觉评估增加了第四个“知识”维度，并发现它是最难的维度，没有任何模型总体超过 70%（最佳 67.9%），且 Wikipedia 是其唯一的知识来源 [14]。SHROOM-Visions 2026 将四语言 SHEEP 数据作为共享任务复用：27 支团队和 623 份提交产生了最佳平均相关性 0.58（字符级）和 0.46（标签条件）以及 0.51 IoU，但作者表明排名靠前者在统计上不可区分，排名区间跨度高达 14–15 位 [15]。PRMU 评估无语料库的以人为中心的遗忘——该方法仅接收一个姓名和一张参考图像——在 91.9K 个探针上，并报告多项选择准确率作为遗忘指标几乎不敏感，而论文自己的表格中也包含一些未加解释的反向变动 [16]。UNLINK-VL 给出了首个清晰的跨模态遗忘结果：在多模态设置中遗忘一个事实在很大程度上无法迁移到纯文本查询，反之亦然，文本到多模态的归一化惩罚（14.0–16.2）大约是反向（6.3–10.3）的两倍 [17]。MME-Safety 将安全性与有用性和拒绝一起评分，并报告更隐蔽的有害意图引发最高伤害率（30.59%），而极端意图则向下回落，这是一种“防御饱和”模式 [18]。

文化与语用。 PragMatch 通过受控掩码和注入将语用不协调与跨模态不匹配区分开来，并且论文坦率地报告，仅字幕文本分类器在同一配对指标上达到 99.6% 的项目准确率——超过所有被评估的 LVLM——这限定了标题差距可能意味着什么 [22]。

专家与系统层面。 VIPER 是一个由专家策划的兽医病理学基准，带有刻意校准的评判器（跨模型 Pearson r = 0.98），并通过五个循环选项排列进行明确的答案位置控制 [27]。TomaMMU 覆盖 28,808 张番茄叶片图像和 213,119 个问答对；零样本 Gemini 2.0 Flash 达到 70.3% 的准确率，微调的领域模型为 96.09%，而一个专门的叶片病害模型则显示出高度不规则的逐任务表现 [28]。OmniPhys 在 15,246 个问题上评估中文物理理解和图示生成，采用双轨推理与结果协议，其中人工评分者给模型生成图示的评分为 0.10–0.29，而模型评判器给它们的评分为 0.51–0.75——报告未解决这一分歧 [29]。CAPEval 将理解和生成的字幕评分解耦为 300 张图像上的 14,965 个清单项，但完全依赖于一个从未见过图像的固定 LLM 评判器，且未报告任何人类一致性检查 [30]。

范围与方法

检索与筛选

窗口为2026年8月1日至31日，按每个条目记录的v1提交日期计算（而非公告批次）。检索在本图书馆的arXiv镜像内运行，覆盖cs.CV、cs.CL、cs.MM、cs.AI、cs.LG和cs.SD，将一条语义路线与针对命名家族（统一理解与生成、omni、MLLM/VLM）的关键词路线相结合；其并集给出466篇论文的候选池，经AI筛选遍对照边界“多模态理解或统一理解-生成，排除纯生成和非语言多模态工作”审查后，剩余428篇。第二遍分类将这些论文分入十一个子领域；被判定为基准或数据集的113篇构成从中为本期选出三十篇的池子，按比例覆盖各子领域。计数描述的是所核查的路线，并非对该领域的普查。

证据深度与缺口

全部三十篇论文均由逐篇阅读任务进行全文阅读，上文每个条目都依托这些笔记中指明的一节或一张表；两幅图均以像素级查看。值得说明的覆盖限制：语义路线受限于其top-k，且其尾部已偏向生成工作，因此与各路线不共享任何措辞的基准可能被遗漏；少数纳入条目尽管记录日期为8月，却带有9月（2609）系列的arXiv标识符，因此少数可能跨越边界，且对少数条目而言，图书馆所挂载的正文是比记录的v1更晚的修订版。此处引用的若干结果是作者在其自身设置下给出的头条数字，不可跨论文比较；若某篇论文的评估有所遗漏——未经校验的评判器、单一模型家族、由作者自身表示构建的基准——则在相关之处说明，而非在此汇总。

References

[1] Fan Zhang, Guangming Yao, Jinyang Wu, et al. VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding. 2026. arXiv preprint. arXiv:2608.14718

[2] Thong Nguyen, Tri Cao, Khoi Le, et al. STRAND: Benchmarking and Improving Object-Centric Spatio-Temporal Monitoring in Video Large Language Models. 2026. arXiv preprint. arXiv:2609.29607

[3] Kaishuu Shinozaki-Conefrey, Olivier Pascaud, Robin Courant, Xi Wang, Dimitris Samaras, Vicky Kalogeiton. TAKE 85: Testing Audiovisual filmmaKer's intEnt across 85 Hours of Film. 2026. arXiv preprint. arXiv:2608.30068

[4] Bomiao Wang, Zekai Shao, Jiexiang Lan, Xiaoliang Fu, Xingchen Zeng, Siming Chen. DVBench: Benchmarking MLLMs for Understanding Dynamic Charts and Narratives in Data Videos. 2026. arXiv preprint. arXiv:2608.29711

[5] Ziyan Xiao, Yinghao Zhu, Wenting Zhang, Heaju Kim, Lequan Yu. LongChart VQA: A Comprehensive Benchmark for MLLMs with Complex Multi-Chart Reasoning. 2026. arXiv preprint. arXiv:2608.01328

[6] Gengxu Li, Yuan Wu, Yi Chang. OCR-MetaReasoning Benchmark: Evaluating the Meta-Reasoning Ability of MLLMs in Text-Rich Image Understanding. 2026. arXiv preprint. arXiv:2608.30678

[7] Zhonghan Bian, Zhenran Wang, Jinsong Li, Zhangyang Qi. Groundbench: Multi-Resolution Polygon Grounding Exposes the Geometry Gap in Vision-Language Models. 2026. arXiv preprint. arXiv:2609.27821

[8] Jun Zhang, Qiao Zhao, Cheng Cui, et al. WildHandBench: A Benchmark for Handwritten Text Understanding that Challenges MLLMs and Humans. 2026. arXiv preprint. arXiv:2608.22959

[9] Hai Nguyen, Tung Vu, Cong Tran. SpatialQuery: Benchmarking Geometry-Grounded Multi-Instance Spatial Reasoning in Vision-Language Models. 2026. arXiv preprint. arXiv:2608.01709

[10] Shaozu Ding, Linan Song, Dajiang Suo. Inter-3D VQA: A Roadside Multimodal Benchmark for 3D Spatiotemporally Grounded Visual Question Answering. 2026. arXiv preprint. arXiv:2608.28762

[11] Joonki Min, Chaeyun Kim, Hyungwook Choi, et al. Fine-Grained Multi Image Object Hallucination Benchmark. 2026. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 18295-18305. arXiv:2608.30653

[12] Fnu Pramono, John Cai, Sourabh Kulkarni. TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint. 2026. arXiv preprint. arXiv:2608.13167

[13] Tianshi Wang, Jingsong Wang, Yafei Huang, et al. MMJailBench: A Factorized Benchmark for Disentangling Multimodal Jailbreak Vulnerabilities. 2026. arXiv preprint. arXiv:2608.25490

[14] Ruihan Li, Jiyang Tan, Kailin Jiang, et al. KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation. 2026. arXiv preprint. arXiv:2608.03782

[15] Raul Vazquez, Aman Sinha, Chuyuan Li, et al. Overview of SHROOM-Visions 2026: A Shared Task on Hallucination Detection in Large Vision-Language Models. 2026. arXiv preprint. arXiv:2608.25662

[16] Huafeng Chen, Yueming Lyu, Ziyuan Chen, et al. PRMU: A Corpus-Free Benchmark for Person-Centric Knowledge Unlearning in Multimodal Large Language Models. 2026. arXiv preprint. arXiv:2608.11149

[17] Chunlin Liu, Junnian Chen, Haitong Jiang, et al. Does Forgetting Transfer Across Modalities? A Real-World Benchmark for Cross-Modal Knowledge Unlearning Evaluation. 2026. arXiv preprint. arXiv:2608.03791

[18] Yilian Shi, Yueming Lyu, Haoxiang Tan, et al. MME-Safety: A Fine-grained Benchmark for Safety Evaluation of MLLMs. 2026. arXiv preprint. arXiv:2609.20850

[19] Slawomir Dadas, Michal Perelkiewicz, Rafal Poswiata, et al. PUMA: A Polish Benchmark for Culturally Grounded Multimodal Understanding. 2026. arXiv preprint. arXiv:2608.21853

[20] Anna Kolos, Grzegorz Statkiewicz, Karolina Seweryn, Katarzyna Kowol, Karolina Piosek, Wojciech Kusa. Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation. 2026. arXiv preprint. arXiv:2608.07763

[21] Haihan Li, Haihao Li, Zhenfei Xu, Jize Qian, Yubo Xie. Order Matters: A Chinese Multi-Panel Meme Benchmark for Vision-Language Reasoning. 2026. arXiv preprint. arXiv:2608.26866

[22] Zhanna Mukhametsharip, Vera Demberg, Varsha Suresh. PragMatch: Separating Pragmatic Incongruity from Cross-Modal Mismatch in Large Vision-Language Models. 2026. arXiv preprint. arXiv:2608.09772

[23] Chenxu Du, Kang An, Tengyue Wang, et al. MMArch: Benchmarking Multimodal Reasoning Grounded in Architectural Evidence. 2026. arXiv preprint. arXiv:2608.09281

[24] Lai Wei, Yuchao Chen, Zhenbiao Cao, et al. MedReaMM: Evaluating Large Multimodal Models on Expert-Level Clinical Diagnostic Synthesis. 2026. arXiv preprint. arXiv:2608.22323

[25] Yupan Ding, Jing Xiao, Zhenyuan Zhang, et al. LongEarth-R1: Benchmarking and Aligning Vision-Language Models for Long-Horizon Earth Observation Reasoning. 2026. arXiv preprint. arXiv:2608.13344

[26] Rohit Patel, Dieuwke Hupkes, Sloan Strader. Modality Maturity Index: A benchmark for assessing multimodal capabilities of omni models. 2026. arXiv preprint. arXiv:2608.26317

[27] Luca L. Weishaupt, Simone de Brot, Javier Asin, et al. VIPER: An Expert-Curated Benchmark for Vision-Language Models in Veterinary Pathology. 2026. arXiv preprint. arXiv:2608.26382

[28] Gia-Han Truong, Khang Nguyen Quoc, Luyl-Da Quach. TomaMMU: A Comprehensive Multimodal Understanding Benchmark for Tomato Leaf Diseases. 2026. arXiv preprint. arXiv:2608.08727

[29] Hao Chen, Yumin Lin, Nadila Yushanjiang, Xin Lin, Min Zhang. OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora. 2026. arXiv preprint. arXiv:2608.25398

[30] Zhipeng Liu, Haochen Wang, Zhaoxiang Zhang. CAPEval: A Decoupled Caption Evaluation across Understanding and Generation. 2026. arXiv preprint. arXiv:2608.02589