マルチモーダルデータとベンチマーク：2026年8月進捗概要

2026年8月のマルチモーダルベンチマーク文献は、異例なほど収束している。新しいタスクを発表するのではなく、現在のモデルが破綻する特定のステップを中心に評価を再構築している。すなわち、モデルが指摘しない回答不能なクリップ、モデルが正確に保持できない2枚目の画像、モデルがなぞれないポリゴン、モデルが完遂できないマルチホップなチャート計算、モデルが検索できても活用できない事実、といったステップである。本号で精読した30のベンチマーク全体を通じて繰り返し現れる結果は、そのステップで採点を厳格化した途端、見出しの精度が実際の能力を過大評価するということである。そして複数の論文が、その厳格化そのものを貢献としている。

対象期間と範囲：2026年8月1日〜31日、記録されたv1投稿日による。情報源：本ライブラリのarXivミラー、カテゴリはcs.CV/CL/MM/AI/LG/SD。コーパスは、マルチモーダル理解および統合モデルに関する428本の論文からなるスクリーニング済みの作業セットであり、そのうち113本がベンチマークまたはデータセットとして分類された。そのうち30本を本号のために全文精読しており、これは通常の月次ブリーフより広い範囲である。過去の号は存在しないため、本レポートがシリーズの基準となる。

図1. 今月の30本のベンチマーク精読のテーママップ。以下の5つのテーマにグループ化されており、数字は参考文献番号である。

1 動画および長期的理解は、エージェント的・オブジェクト中心的・意図レベルのテストへと移行する

今月の動画ベンチマークは、何が起こるかを問うことをやめ、どのように証拠が集められるか、サブ主張の連鎖が成立するか、そして映画製作者が何を意図したかを試すようになった。そのうち2つは、部分的な能力を評価不能にする形で採点を厳格化している。

1.1 VideoGAIA：単一の共通ハーネス下でのエージェント的動画理解

VideoGAIAはエージェント的動画理解を対象とする。すなわち、マルチターンでツールを用いるタスクの中で、動画を証拠の1つとして使用することを指し、単一ターンの動画QAはほぼ飽和状態に近い一方で、何を調べるべきかを自ら決定し、それを取得しなければならないモデルはそうではないと論じている。その271のタスクは、10万本の公開動画からパイプラインによって抽出されたもので、そのパイプラインは意図的に動画から答えを隠すため、モデルはエンティティを視覚的に認識し、その事実をウェブから取得しなければならない（図2）。20のフロンティアMLLMが、3つのツールと40ステップの上限を持つ同一のReActハーネスを通して実行され、どのモデルも60%のpass@1に到達せず、最良のモデル（Seed2.0-Pro、58.30%）が最下位（Claude-Opus-4.7、34.69%）を24ポイント上回っている[1]。ランキングよりも診断的な発見の方が重要である。615の誤った軌跡全体を通じて、動画知覚がすべてのモデルにとって最大のエラー原因であり（36.8〜48.0%）、ウェブ検索（20.3〜31.0%）を上回っている。そしてモデル世代間の進歩は単調ではなく、2つのClaude Opusリリースがそれより前のリリースを下回るスコアとなっている[1]。

図2. VideoGAIAのベンチマーク構築：データ収集、タスク構築、5つのモデルフィルタリングゲート、人手によるアノテーションを経て、6つのドメインにわたる271の検証済みタスク（L1 62 / L2 209）を生成する（[1]の図3。原論文より転載、CC BY 4.0）。

1.2 STRAND：誤った経路で到達した正解を評価しないこと

（この段落の翻訳対象となる本文は提供されていません。見出しのみを翻訳しています。）

STRANDの貢献は、タスクを難しくすることではなく、採点方法の変更である。88本の動画（平均183秒、4領域）が977個のターゲット質問と2,516個の支持サブ質問を伴い、すべて二値である。主要指標は、ターゲットおよびそのすべてのサブ質問が正しい場合にのみ、そのターゲットを正解として数え、固定の分母を用いる[2]。著者らが対比として挙げているのは、時間軸を長くしたり証拠を連鎖させたりしても最終回答のみを採点する長尺動画ベンチマークである。両指標は著者らのTable 1で大きく乖離する。エンドツーエンドのモデルはいずれもターゲット精度68.4%を超えず、joint faithful accuracyはすべてのフロンティアモデルでそれよりはるかに低い（Gemini-3.1-Pro 61.4→38.9、GPT-5 32.5→20.0、Claude-4.6-Sonnet 48.3→30.2）[2]。注目すべき設計上の選択が2つある。質問は、動画を一切見ない言語モデルによって、人間が検証したシンボリック世界モデルから生成される。また、バウンディングボックスは、対象とする失敗が局所化ではなくシンボリックバインディングのドリフトであるため、意図的に除外されている[2]。動画はWikimedia Commonsから取得され、アノテーションとともにCC-BY-NC 4.0で再配布されており、論文ではこれをURLのみのベンチマークにおけるリンクロット問題を解決するものとして提示している[2]。

1.3 TAKE 85：損失を伴う転写を通して測定される監督意図

TAKE 85は、映画制作者が何を意図したかを問うもので、398本の短編映画（約86時間）と、各作品につき専門家が確認した12問の意図質問、合計4,776問を用いる。最強のモデルは細粒度の「Specific」サブセットで58/100を記録する[3]。注意点は偶発的ではなく構造的である。モデルは映画そのものを受け取らない。入力はLlama-3.2-Vision-11Bによるキャプション、AudioFlamingo3による音声解説（30秒のチャンク3つ）、Whisperの字幕、20枚のキーフレームであり、したがってこのベンチマークは共有された損失を伴う転写に対する推論を測定し、上流の抽出エラーはモデル間で固定される[3]。採点された結論、すなわち最強のMLLMでさえ映画における伝達意図に苦戦するという結論は、その転写が保持する範囲においてのみ、根拠づけられた音声視覚的知覚についてのものである。

Table 1は、動画に焦点を当てた4つのベンチマークを比較する。

Table 1. 共通の軸（規模、新規性、主要結果）における今月の動画向けベンチマーク。設定は各論文の報告による。セル値は別段の記載がない限り著者らが報告した数値である。

要点

• 動画評価における競争の最前線は、課題の難易度から何が評価されるかへと移った。STRANDの統合指標とVideoGAIAのツール必須性フィルタリングは、どちらも意図された証拠経路を経ずに到達した正解には評価を与えない[1, 2]。
• エージェント型動画システムの主要な失敗モードは、検索や回答の定式化ではなく動画知覚である（試験したすべてのモデルでエラーの36.8～48.0%）[1]。
• 少なくとも一つのフラッグシップベンチマークは、ピクセルではなくキャプションと音声解説に対する意図を評価しているため、その数値はその転写が保持される範囲でのみ、根拠づけられた知覚を制限する[3]。

2 精密な知覚：文書、チャート、手書き文字、幾何学的グラウンディング

第二のクラスタは出力の忠実性を攻撃する。すなわち、モデルはチャート間で計算し、OCRに基づく証拠について推論し、実の手書き文字を読み、実際に境界に従う幾何学を出力できるか、という問題である。取り上げる三本の論文はいずれも、指示対象を認識することと要求される出力を生成することの間に大きなギャップがあることを見出している。

2.1 LongChart VQA：多数のチャートにわたるマルチホップ計算

LongChart VQAは、潜在グラフ（DAG）合成パイプラインで構築されたマルチチャート質問応答をテストする。主要分割では557枚の画像と2,876問からなり、1インスタンスあたり平均6.5枚の画像、31.2問、716.8個のデータ点を含む[5]。二つの設定が、難しさがどこにあるかを切り分ける。すべての中間チャートを可視化した場合（「Extended Context」）は、最小限のチャート集合のみを提供した場合（「In-Depth」）よりもモデルが著しく良好に動作し、ホップは長さよりも大きな影響を与える。In-Depthの精度は5ホップで33.8%、6ホップ超で15.3%に低下するのに対し、Extended Contextでは53.7%と46.1%である[5]。グラウンディングは完全に失敗する。すべてのモデルが負の平均distance-IoUを産出し、バウンディングボックスを要求すると最良モデルの回答精度は85.5%から57.6%へと低下する。著者らはこれを、中間ステップとしての自己生成視覚ツールに反する証拠と解釈している[5]。論文自身の表はまた、合成セット上でモデルが人間のベースラインをわずかに上回ることも示している（85.76%対83.10%）[5]。

図3. LongChart VQAのキュレーションパイプラインと評価プロトコル：潜在論理グラフが、そこから質問と画像がレンダリングされる最小限のチャート集合を定義し、その後人間による検証が続く。評価は最小集合の文脈と完全集合の文脈を対比させ、さらにグラウンディング／ポインティング出力と画像摂動を加える（原論文[5]より再掲）。

2.2 OCR-MetaReasoning：認識されたテキストに対する演繹、帰納、アブダクション

OCR-MetaReasoningは、テキストリッチな画像理解を、OCRに基づく証拠に対するメタ推論として再構成する。1,500項目が、演繹・帰納・アブダクションと五つのOCRオブジェクトカテゴリからなる3×5のグリッド上で均衡化されており、最終回答には決定論的なマクロスコア、プロセス遵守にはLLMが判定するスコアが用いられる[6]。最良モデルは89.3に達するが、集計値は二峰性の分布を隠している。演繹はモデル全体で最も弱い軸（73.6）、レイアウト意味論は最も弱いカテゴリ（66.9）であり、一方で一部の項目は評価した十八モデルすべてが解き、214項目からなる困難な中核は0.5を下回る[6]。博士号を持つ人間の参照は、層化された300項目のサブセットで96.0に達し、質問のみの対照は16.5で下限を打ち、このベンチマークが真にOCR依存であることを確認している[6]。

2.3 Groundbench：ボックスは幾何学的主張には寛容すぎる

Groundbenchは参照表現のデータをそのまま保持するが、出力契約を変更する。画像、参照表現、および公表された頂点数予算が与えられたとき、モデルはちょうどその数の整数点を1行に出力しなければならず、LLM審査員を伴わない決定論的ラスタライザーによって採点される——RefCOCO、RefCOCO+、RefCOCOgからの1,500問を、それぞれ5つの頂点予算で評価し、合計7,500のターゲットファイルとする[7]。主要なギャップはタスク間にある。ボックス形式の性能は88.2 IoUと97.1 Acc@0.5に達する一方、直接的なポリゴン出力は57.7 IoUと69.2 Acc@0.5まで低下する[7]。著者らは、元の分布の飽和を主張しないことを明言している。その主張はより狭く、より鋭い——4つの数値からなる矩形では、フロンティアシステム間を区別する余地がほとんどなく、背景の内部に不当な評価を与えてしまうというものである[7]。

図4. Groundbenchの厳密Nプロトコル：同じ画像、表現、指示対象を対応するタスク間で固定し、元のポリゴンを公表された頂点予算Nに再サンプリングし、解析された出力を厳密Nのターゲットに対するマスクIoUで採点する。解析できない出力はゼロ点となる（原論文[7]から再掲）。

要点

• 3つの大きく異なる出力契約——計算されたグラフの回答、OCRに基づく推論、ポリゴン頂点——を通じて、ギャップは指示対象を認識することと、要求された成果物を出力することの間に存在する[5, 6, 7]。
• LongChart VQA自身の数値によれば、その最強モデルは合成データ上で人間のベースラインをわずかに上回るにとどまり、自作のマルチホップ集合が見かけより易しくなり得ることを思い起こさせる[5]。
• 指標が決定論的である場合（Groundbenchのラスタライザー、OCR-MetaReasoningのマクロスコア）、報告された差異は審査員の挙動に交絡されない。審査員を用いる場合、各論文がそれをどこまで制御しているかはさまざまである[6, 7]。

3 信頼と安全性：幻覚、棄権、忘却、ジェイルブレイク

今月最大のクラスターは能力についてではなく失敗についてである。モデルがいつ捏造するか、いつ辞退すべきだったか、忘却要求後に何を忘れるか、そしてどのように危害へと説得され得るかを切り分けるベンチマークである。方法論的な筋は同じである——より広いベンチマークの代わりに、より狭く、より適切に制御されたプローブを用いる。

3.1 MIOH：画像が多いほど物体幻覚は悪化する

MIOHはマルチ画像設定における物体幻覚を対象とし、既存の幻覚ベンチマークは単一画像かつ二値的である一方、一般的なマルチ画像ベンチマークは幻覚を誘発する視覚的要因を制御していないと論じる。その設計は、4つの物体中心タスク（存在、計数、属性、位置）を、3つの推論パターン（包括的、比較的、選択的）および3つの圧力——画像数、知覚的難易度、文脈的バイアス——と交差させ、COCO-ReM、PACO、SVGから抽出した11,732枚の画像にわたる3,484問を構成する[11]。29のモデル構成を通じた中位の状況は芳しくない。平均精度は36.1%であり、最良モデルは64.4%（Gemini-2.5-Pro）、GPT-5は63.1%である[11]。本論文の最も有用な結果はリーダーボードではなく制御された対比である。同じ存在項目を単一画像の質問に分解すると、すべてのモデルの精度がおよそ5〜26ポイント上昇し、最も弱いモデルが最も大きく向上する（図5）[11]。

図5. MIOHの存在タスクにおけるモデル別のマルチ画像対分解単一画像の精度（[11]の図5、原論文から再掲）。

3.2 TRAPSBench：モデルは表現しない自制を符号化している

TRAPSBenchは、ほとんどのハルシネーションベンチマークが飛ばしてしまう問いを投げかける——動画が結果を証明上特定できないとき、モデルは「わからない」と言うだろうか？ このベンチマークはMuJoCoで対になったcontrol/voidペア（4つの分割にまたがる1,404項目）を生成し、void項目は結果の手前で動画が終わる点以外は同一となるようにし、制御正解率に棄権対誤棄権のYouden's Jを掛け合わせる指標を提案する[12]。16のVLMは低いスコアにとどまる。標準レジームでの最良スコアは0.292（Gemini 2.5 Flash）、誘導プロンプトありでの最良は0.568（Gemini 3.1 Pro、低推論）である[12]。本論文の機構的な半分こそが持ち越す価値のある部分である。活性化に対する線形プローブが必要な区別を最大0.913 AUROCで回復するため、情報は存在するが出力に表現されていない——知識の欠落ではなく、表現と行動の間の解離である[12]。

3.3 MMJailBench：ジェイルブレイクを実際に駆動する要因へと分解する

MMJailBenchは272の有害インテントを取り上げ、それらを6つのプロンプトフレーミング、5つのタスク関連視覚意味条件、2つの命令キャリアと交差させ、モデルあたり16,320インスタンスとする——単一の攻撃成功率を報告するのではなく、リスクを要因に帰属させるために構築された設計である[13]。帰属は明快である。プロンプトフレーミングが支配的であり、最も脆弱なフレーミングと最も脆弱でないフレーミングの差は40パーセントポイントを超える[13]。直感に反する2つの結果が際立つ。タスク関連の視覚文脈は攻撃成功率を高める（承認文書は画像なしに比べて約+13ポイントを加える）が、対照画像はほとんどそれを動かさないため、効果は画像の単なる存在ではなく意味論的なものである[13]。そして画像内に描画された命令は、同じ命令をテキストにした場合よりも弱い（40.59%対50.70%）——OCR経由のプロンプトがより強いキャリアであるという一般的な想定に反する[13]。

図6. MMJailBenchの因子分解設計：有害インテントを6つのプロンプトフレーミング、生成された視覚意味条件、2つの命令キャリアと交差させ、LLM審査員によって攻撃成功率および文脈調整済み率に採点する（原論文より再掲[13]）。

表2. 共通軸上の信頼・安全ベンチマーク；設定は各論文の報告による。

要点

• 三つの独立した系統が同じ診断に収束している。能力はしばしば存在するが、行動に移されていない——プローブはモデルが表出できない棄権を解読し（AUROC 0.913）[12]、マルチモーダルなジェイルブレイクのリスクは画像そのものではなくフレーミングによって駆動される[13]。
• 画像を単により多く持つこと自体が圧力となる。MIOH自身の分解では同一項目上で精度が大幅に上昇するため、複数画像のスコアを単一画像の能力として読むべきではない[11]。
• これらのベンチマークはいずれも一つの要因を切り出している。いずれもまだ防御側の数値を報告していないため、堅牢性ではなく脆弱性を測定していることになる[11, 12, 13]。

4 文化・言語・語用論：ベンチマークはローカルかつ比喩的な方向へ

第四のクラスタは、一般的な英語中心のスイートでは見えないものを対象とするベンチマークを構築する。すなわち、単一言語における単一の国民文化、言語固有の形態論と方言、順序がなければ意味をなさない漫画、そしてクロスモーダルな不一致ではなく語用論的文脈に依存する意味である。

4.1 PUMA：一つの文化、三つのモダリティ、規則ベースの採点

PUMAはポーランド語のベンチマークであり、画像・音声・文書のそれぞれに100項目を持つ。回答は、ある質問の検証規則がすべて成立する場合にのみ正解と数えられる——厳格なスコアが、小数のソフトスコアと並べて報告される[19]。音声パートは意図的に難しく（平均82秒、大半が低品質の録音）、文書パートは手書き、劣化スキャン、透視歪みに偏っており、OCRは単語精度と表のTEDSで採点される[19]。方法論上注目すべき点は、ポーランド語の形態論が採点ノーマライザにおけるレンマ化を動機づけていること、そして論文が自身のOCR表におけるモデルとラベルの不一致を残存するものとして記録していることである[19]。

4.2 PoVisLE：「流暢なポーランド語」が隠すもの

PoVisLEは1,117枚の画像と2,366組の手作業で書かれたポーランド語VQAペアを対象とし、16のVLMを質問形式ごとのマクロ平均で評価する。選択肢は循環的に回転され、ある項目はすべての回転の下で正しく答えられた場合にのみ正解と数えられる[20]。最良のモデルはランダムベースライン16.79%に対して71.45%を記録し、推論変種は最大13.2ポイントを上乗せする[20]。有用なのは診断的な発見である。自由回答の事後分析では、予測全体の49.45%がハルシネーションとラベル付けされ、弱いモデルでは50%を超える——論文自身の枠組みでは、流暢なポーランド語の出力が信頼できないグラウンディングと共存しているのである[20]。

4.3 CMPM：順序が課題であり、モデルはそれを失う

CMPMは1,214点の中国語マルチパネル・ミームで、構造タイプ、順序依存性、任意のコメント文脈が注釈付けされている。中心課題はパネルをシャッフルして提示し、読み順を復元させることである[21]。性能は崩壊する。Gemini 3.1 Proは75.2%、GPT-5.5は57.8%を復元する一方、オープンモデルは6.1%から27.4%の間に収まり——一部はランダム置換の参照値19.4%を下回る——、コメント文脈を与えてもほぼ効果がない（約+0.06）[21]。正解が金の先行制約の有効な線形拡張であるため、これは本セットの中でグループ内の置換が罰せられず許容される数少ないベンチマークの一つである[21]。

図7。CMPMで注釈付けされた五つの構造タイプ——物語、漸進、会話、比較、並列——それぞれの例。順序課題はパネルをシャッフルして提示し、有効な読み順を要求する（[21]の図2、原論文から再掲）。

要点

• 単一言語・単一文化のベンチマークは、多言語ベンチマークの縮小版ではなく、独自の設計上の選択である。PUMAのルールはポーランド語の形態論に合わせて書かれており、その文書サブセットと音声サブセットは、構造上、劣化した入力に偏っている[19]。
• 対象言語での流暢な生成は、根拠に基づく理解の証拠にはならない（PoVisLEの自由回答のうち49.45%がハルシネーションとラベル付けされている）[20]。
• 構造と順序がベンチマークの主要な対象となり得るが、そこには大きな隔たりが残っている。ほとんどのオープンモデルはCMPMの順序課題でチャンスレベルを下回る[21]。

5 専門領域、難解な推論、システムレベルの評価

最後のクラスタは、おおよそ正しいだけでは役に立たない能力——建築、臨床診断、多時点の地球観測——を測定し、さらに一つの事例では、モデルが要求されたモダリティをそもそも返せるかどうかを測定する。

5.1 MMArch：ボトルネックは知覚ではなく構成

MMArchは、論文の図と専門家が確認した計算に基づく1,212項目を用いて、建築工学の推論を採点する[23]。最良のモデルは平均51.73%（GPT-5.5）に達するのに対し、人間のパネルは94.57%であり、その差は42.84ポイントである。一方、最強のオープンクラスのモデルは29.94%にとどまる[23]。貢献は誤り分析にある。モデル全体をプールすると、構成の誤り（中間値は正しいが多段階の組み合わせが誤っている）が失敗の35.8%を占め、原理の21.7%や知覚の20.3%を上回る。また、プロンプトによる介入はスコアをほとんど動かさず、テストした4モデルのうち3モデルで悪化させるCoTの変更も含まれる[23]。

図8. MMArchの構築パイプライン：3つの情報源（10k本の論文、16k枚の画像）から集めた画像データベース上のサブドメイン別問題タイプ、画像選択、QA設計、および正確性・出所・難易度に対する品質管理（原論文[23]から複製）。

5.2 MedReaMM：臨床的な統合を二通りに採点

MedReaMMは625症例にわたる専門家レベルの診断的統合を評価し、予測された診断をICD-11コードの等価性としても、所定の閾値におけるSapBERT埋め込み類似度としても採点する。これはまさに、この二つの方式が一致しないためである[24]。推論モデルはあらゆる指標で先行し（o1はTop-10一次で61.3、GPT-4oは55.7）、プロンプトは両方向に限界がある。CoTプロンプトはLlama-4-Maverickを約10.5ポイント押し上げるが、Qwen2.5-VL-7Bでは約8.3ポイントを損なう[24]。二つの知見には注意を要する。入力のアブレーションにより、モデルは整合したキャプションで最も良い性能を示し、キャプションをシャッフルすると画像＋記録のベースラインを下回って劣化することが示される。したがってキャプションは橋渡しの役割を果たしており、これはベンチマークが何を測定しているかについての限定条件である[24]。そして論文自身の比較では、3名の消化器科医が46問の検査で厳密正解率10.87%を記録するのに対し、Gemini-2.5-Flashは43.48%であり、著者らはこの差を個人対チームの能力に帰している[24]。

5.3 LongEarth-R1：地球観測におけるスナップショットではなく軌跡

LongEarth-R1は、リモートセンシングのベンチマークが単一の観測や変化の端点を試していると主張し、画像系列にわたる長期的推論のための多時点スイートとRLで整合させたモデルを構築する[25]。報告されている差は、順序付けを明示的に要求する課題で大きい——冗長性検出は90.28対Qwen2.5の39.78、時系列違反検出は50.80対15.47——が、変化方向では最も小さい（53.37対45.80）。また、論文は結果表の各セルについて指標を明記していない[25]。

5.4 モダリティ成熟度指数：モデルは要求されたモダリティを返せるか？

モダリティ成熟度指数は、オムニ能力プロンプトに対して、モデルがテキスト、画像、音声、動画、文書を生成できるかどうかを採点し、プロンプトごとのマクロ平均を取る[26]。興味深いのはむしろ否定的な結果である。音声出力はいずれのモデルからも一度も返されず、文書の列がゼロなのは文書生成ツールが提供されなかったためであり、寛容なデフォルト検出は既存資産へのリンクを貼り付けるモデルを評価してしまう。そのため論文自体が、順位は合成能力ではなくリンクを貼る意欲を部分的に反映していると警告している[26]。判定者はGeminiモデルであり、Geminiが生成した複数の資産を採点しているため、著者らはこれを判定者から独立したものとして読むことはできないと述べている[26]。

図9. モダリティ成熟度指数のカバレッジ：入力モダリティ（行）と出力モダリティ（列）別のモデル応答数。分布の大部分はテキスト出力の列にあり、どの入力からも非テキスト出力はまれである。これは、この指数を合成能力として読むことに対する論文自身の注意書きである（元論文[26]から転載）。

要点

• 専門領域では、制限要因は通常、知覚ではなく組み合わせである。MMArchの主要な誤りは正しい中間値を合成することであり、プロンプティングではそれを修正できない[23]。
• ドメインベンチマークは、単一の指標では不一致を隠してしまうため、二つの採点方式を並記するようになっている（ICD-11コード対埋め込み類似度、厳格ルール対緩和ルール）[19, 24]。
• システムレベルの評価はまだ未成熟である。オムニ能力ベンチマークが音声出力ゼロと文書列ゼロを報告しうるということは、その主要な数値が能力と同じくらいインフラを記述していることを意味する[26]。

その他の注目点

テーマ別に分類した。各項目は精読から得られた一行の知見である。

動画と長期的タスク。 DVBenchはデータ動画向けの不足していたコーパスを提供する。すなわち、300本の実動画と、ナラティブ、アニメーション、グラフ知覚、グラフ推論、字幕整合にわたる1,000問の人手検証済み質問であり、層化サブセットにおける人間のベースラインは91.93%である[4]。

精密な知覚。 WildHandBenchは500件の実手書き文書をパープレキシティに基づく「事前駆動型エラー」指標で採点し、最良モデルが71.85%であるのに対し校正済みの人間は77.09%であること、またモデルのエラー率（63〜91%）が人間の49.27%をはるかに上回ることを明らかにした[8]。SpatialQueryは、メートル法の深度グラウンドトゥルースを伴う百万件の幾何学に基づくマルチインスタンス空間クエリを提供し、モデル自身の予測不確実性の分だけ許容範囲を広げると許容精度が58.50%から87.50%に上昇することを示す一方で、著者らはこれを校正とは明示的に呼んでいない[9]。Inter-3D VQAは、4台のカメラ、LiDAR点群、HDマップトポロジーから407K件の路側3D時空間QAペアを構築し、LiDAR強化ベースライン（Inter-Geo）が画像のみのベースラインを上回ることを示している[10]。

信頼性と安全性。 KnowHalは幻覚評価に4番目の「知識」次元を追加し、それを最も困難なものと位置づけている。総合で70%を超えるモデルはなく（最高67.9%）、知識源はWikipediaのみである[14]。SHROOM-Visions 2026は4言語のSHEEPデータを共有タスクとして再利用する。27チーム、623件の提出により、最高平均相関は0.58（文字）および0.46（ラベル条件付き）、IoUは0.51となったが、著者らは上位ランキングが統計的に分離不可能であり、順位区間が最大14〜15位に及ぶことを示している[15]。PRMUはコーパス不要の人物中心アンラーニング（手法が受け取るのは名前と参照画像のみ）を91.9Kのプローブで評価し、多肢選択式の精度が忘却指標としてはほとんど感度を持たないことを報告する一方、論文自身の表にも説明のない逆方向の変動がいくつか含まれている[16]。UNLINK-VLは初の明確なクロスモーダル・アンラーニングの結果を示す。マルチモーダル設定で事実を忘却してもテキストのみのクエリにはほとんど転移せず、その逆も同様であり、正規化されたテキストからマルチモーダルへのペナルティ（14.0〜16.2）は逆方向（6.3〜10.3）のおよそ2倍である[17]。MME-Safetyは安全性を有用性および拒否と併せて評価し、より微妙な有害意図が最も高い有害率（30.59%）を引き出す一方、極端な意図ではむしろ低下するという「防御飽和」パターンを報告している[18]。

文化と語用論。 PragMatchは統制されたマスキングと注入により語用論的不整合をクロスモーダルな不整合から分離する。そして論文は、キャプションのみのテキスト分類器が同じペア指標上で99.6%の項目精度に達し、評価されたすべてのLVLMを上回ることを率直に報告しており、このことが見出しのギャップの意味を制限している[22]。

専門家およびシステムレベル。 VIPERは専門家がキュレーションした獣医病理学ベンチマークであり、意図的に較正された判定器（クロスモデルPearson r = 0.98）と、5つの巡回的な選択肢順列による明示的な解答位置の統制を備えている[27]。TomaMMUは28,808枚のトマト葉画像と213,119のQAペアを対象とする。ゼロショットのGemini 2.0 Flashは70.3%の精度に達し、微調整されたドメインモデルは96.09%、専門的な葉病害モデルはタスクごとに著しく不規則なプロファイルを示す[28]。OmniPhysは中国語の物理理解と図生成を15,246問で評価し、推論と結果の二トラックプロトコルを採用している。そこでは人間の採点者がモデル生成図に0.10〜0.29の評点を与える一方、モデル判定器は0.51〜0.75の評点を与えており、この不一致は報告書の中で未解決のままである[29]。CAPEvalはキャプション採点を理解と生成にまたがって分離し、300枚の画像に対する14,965のチェックリスト項目とするが、完全に単一の固定LLM判定器に依存しており、その判定器は画像を一切見ず、人間との一致確認も報告されていない[30]。

範囲と方法

検索とスクリーニング

対象期間は、各項目の記録されたv1投稿日（告知バッチではない）による2026年8月1日〜31日である。検索は本ライブラリのarXivミラー上で、cs.CV、cs.CL、cs.MM、cs.AI、cs.LG、cs.SDを対象に実行し、1本のセマンティック経路と、名前付きファミリー（統合理解・生成、オムニ、MLLM/VLM）に対するキーワード経路を組み合わせた。その和集合により466本の候補プールが得られ、AIスクリーニングのパスが境界「マルチモーダル理解または統合理解・生成。純粋な生成および非言語のマルチモーダル研究は除外」に照らしてレビューし、428本が残った。2回目の分類パスでそれらを11のサブエリアに振り分けた。ベンチマークまたはデータセットと判定された113本がプールを形成し、そこからサブエリアを比例配分する形で本号向けに30本を選定した。件数は確認済みの経路を記述したものであり、分野の全数調査ではない。

エビデンスの深さとギャップ

30本すべては論文ごとの読解タスクにより全文を読み、上記の各項目はそれらのノートで名指しされたセクションまたは表に依拠している。2点の図はピクセルレベルで確認した。言及しておくべきカバレッジの限界は次のとおりである。セマンティック経路は上位k件で打ち切られ、その末尾はすでに生成研究へと流れていたため、経路といかなる語句も共有しないベンチマークは欠落している可能性がある。収録項目のうち少数は、記録日が8月であるにもかかわらず9月系列（2609）のarXiv識別子を持つため、境界をまたぐものがあるかもしれず、また少数についてはライブラリにマウントされた本文が記録されたv1より後の改訂版である。ここで引用した結果のいくつかは、著者自身の設定による著者自身の代表値であり、論文間で比較可能なものではない。ある論文の評価に何かが欠けている場合——検証されていない判定者、単一のモデルファミリー、著者自身の表現から構築されたベンチマーク——それはここに集約するのではなく、重要な箇所で述べている。

References

[1] Fan Zhang, Guangming Yao, Jinyang Wu, et al. VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding. 2026. arXiv preprint. arXiv:2608.14718

[2] Thong Nguyen, Tri Cao, Khoi Le, et al. STRAND: Benchmarking and Improving Object-Centric Spatio-Temporal Monitoring in Video Large Language Models. 2026. arXiv preprint. arXiv:2609.29607

[3] Kaishuu Shinozaki-Conefrey, Olivier Pascaud, Robin Courant, Xi Wang, Dimitris Samaras, Vicky Kalogeiton. TAKE 85: Testing Audiovisual filmmaKer's intEnt across 85 Hours of Film. 2026. arXiv preprint. arXiv:2608.30068

[4] Bomiao Wang, Zekai Shao, Jiexiang Lan, Xiaoliang Fu, Xingchen Zeng, Siming Chen. DVBench: Benchmarking MLLMs for Understanding Dynamic Charts and Narratives in Data Videos. 2026. arXiv preprint. arXiv:2608.29711

[5] Ziyan Xiao, Yinghao Zhu, Wenting Zhang, Heaju Kim, Lequan Yu. LongChart VQA: A Comprehensive Benchmark for MLLMs with Complex Multi-Chart Reasoning. 2026. arXiv preprint. arXiv:2608.01328

[6] Gengxu Li, Yuan Wu, Yi Chang. OCR-MetaReasoning Benchmark: Evaluating the Meta-Reasoning Ability of MLLMs in Text-Rich Image Understanding. 2026. arXiv preprint. arXiv:2608.30678

[7] Zhonghan Bian, Zhenran Wang, Jinsong Li, Zhangyang Qi. Groundbench: Multi-Resolution Polygon Grounding Exposes the Geometry Gap in Vision-Language Models. 2026. arXiv preprint. arXiv:2609.27821

[8] Jun Zhang, Qiao Zhao, Cheng Cui, et al. WildHandBench: A Benchmark for Handwritten Text Understanding that Challenges MLLMs and Humans. 2026. arXiv preprint. arXiv:2608.22959

[9] Hai Nguyen, Tung Vu, Cong Tran. SpatialQuery: Benchmarking Geometry-Grounded Multi-Instance Spatial Reasoning in Vision-Language Models. 2026. arXiv preprint. arXiv:2608.01709

[10] Shaozu Ding, Linan Song, Dajiang Suo. Inter-3D VQA: A Roadside Multimodal Benchmark for 3D Spatiotemporally Grounded Visual Question Answering. 2026. arXiv preprint. arXiv:2608.28762

[11] Joonki Min, Chaeyun Kim, Hyungwook Choi, et al. Fine-Grained Multi Image Object Hallucination Benchmark. 2026. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 18295-18305. arXiv:2608.30653

[12] Fnu Pramono, John Cai, Sourabh Kulkarni. TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint. 2026. arXiv preprint. arXiv:2608.13167

[13] Tianshi Wang, Jingsong Wang, Yafei Huang, et al. MMJailBench: A Factorized Benchmark for Disentangling Multimodal Jailbreak Vulnerabilities. 2026. arXiv preprint. arXiv:2608.25490

[14] Ruihan Li, Jiyang Tan, Kailin Jiang, et al. KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation. 2026. arXiv preprint. arXiv:2608.03782

[15] Raul Vazquez, Aman Sinha, Chuyuan Li, et al. Overview of SHROOM-Visions 2026: A Shared Task on Hallucination Detection in Large Vision-Language Models. 2026. arXiv preprint. arXiv:2608.25662

[16] Huafeng Chen, Yueming Lyu, Ziyuan Chen, et al. PRMU: A Corpus-Free Benchmark for Person-Centric Knowledge Unlearning in Multimodal Large Language Models. 2026. arXiv preprint. arXiv:2608.11149

[17] Chunlin Liu, Junnian Chen, Haitong Jiang, et al. Does Forgetting Transfer Across Modalities? A Real-World Benchmark for Cross-Modal Knowledge Unlearning Evaluation. 2026. arXiv preprint. arXiv:2608.03791

[18] Yilian Shi, Yueming Lyu, Haoxiang Tan, et al. MME-Safety: A Fine-grained Benchmark for Safety Evaluation of MLLMs. 2026. arXiv preprint. arXiv:2609.20850

[19] Slawomir Dadas, Michal Perelkiewicz, Rafal Poswiata, et al. PUMA: A Polish Benchmark for Culturally Grounded Multimodal Understanding. 2026. arXiv preprint. arXiv:2608.21853

[20] Anna Kolos, Grzegorz Statkiewicz, Karolina Seweryn, Katarzyna Kowol, Karolina Piosek, Wojciech Kusa. Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation. 2026. arXiv preprint. arXiv:2608.07763

[21] Haihan Li, Haihao Li, Zhenfei Xu, Jize Qian, Yubo Xie. Order Matters: A Chinese Multi-Panel Meme Benchmark for Vision-Language Reasoning. 2026. arXiv preprint. arXiv:2608.26866

[22] Zhanna Mukhametsharip, Vera Demberg, Varsha Suresh. PragMatch: Separating Pragmatic Incongruity from Cross-Modal Mismatch in Large Vision-Language Models. 2026. arXiv preprint. arXiv:2608.09772

[23] Chenxu Du, Kang An, Tengyue Wang, et al. MMArch: Benchmarking Multimodal Reasoning Grounded in Architectural Evidence. 2026. arXiv preprint. arXiv:2608.09281

[24] Lai Wei, Yuchao Chen, Zhenbiao Cao, et al. MedReaMM: Evaluating Large Multimodal Models on Expert-Level Clinical Diagnostic Synthesis. 2026. arXiv preprint. arXiv:2608.22323

[25] Yupan Ding, Jing Xiao, Zhenyuan Zhang, et al. LongEarth-R1: Benchmarking and Aligning Vision-Language Models for Long-Horizon Earth Observation Reasoning. 2026. arXiv preprint. arXiv:2608.13344

[26] Rohit Patel, Dieuwke Hupkes, Sloan Strader. Modality Maturity Index: A benchmark for assessing multimodal capabilities of omni models. 2026. arXiv preprint. arXiv:2608.26317

[27] Luca L. Weishaupt, Simone de Brot, Javier Asin, et al. VIPER: An Expert-Curated Benchmark for Vision-Language Models in Veterinary Pathology. 2026. arXiv preprint. arXiv:2608.26382

[28] Gia-Han Truong, Khang Nguyen Quoc, Luyl-Da Quach. TomaMMU: A Comprehensive Multimodal Understanding Benchmark for Tomato Leaf Diseases. 2026. arXiv preprint. arXiv:2608.08727

[29] Hao Chen, Yumin Lin, Nadila Yushanjiang, Xin Lin, Min Zhang. OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora. 2026. arXiv preprint. arXiv:2608.25398

[30] Zhipeng Liu, Haochen Wang, Zhaoxiang Zhang. CAPEval: A Decoupled Caption Evaluation across Understanding and Generation. 2026. arXiv preprint. arXiv:2608.02589