멀티모달 데이터 및 벤치마크: 2026년 8월 진행 상황 브리핑

2026년 8월의 멀티모달 벤치마크 문헌은 유난히 수렴적이다. 새로운 과제를 발표하기보다는, 현재 모델이 무너지는 바로 그 지점을 중심으로 평가를 재구축한다. 모델이 표시하지 않을 답할 수 없는 클립, 모델이 제대로 구별하지 못하는 두 번째 이미지, 모델이 추적하지 못하는 다각형, 모델이 완료하지 못하는 다중 홉 차트 계산, 모델이 검색할 수는 있지만 활용하지는 못하는 사실이 그것이다. 이번 호에서 심층 검토한 서른 개의 벤치마크 전반에서 반복되는 결과는, 그 지점에서 채점이 엄격해지는 순간 대표적인 정확도가 실제 역량을 과대평가한다는 것이며, 여러 논문은 그 엄격화 자체를 기여로 삼는다.

범위와 포괄: 2026년 8월 1–31일, 기록된 v1 제출일 기준. 출처: 본 라이브러리의 arXiv 미러, 카테고리 cs.CV/CL/MM/AI/LG/SD. 코퍼스는 멀티모달 이해 및 통합 모델 논문 428편의 선별된 작업 집합이며, 그중 113편이 벤치마크 또는 데이터셋으로 분류되었다. 그중 서른 편을 이번 호를 위해 전문 정독했으며, 이는 통상적인 월간 브리프보다 넓은 범위이다. 이전 호가 존재하지 않으므로, 이 보고서가 시리즈의 기준선이다.

그림 1. 이번 달 서른 편의 벤치마크 심층 검토를 아래 다섯 가지 주제로 묶은 주제 지도이며, 숫자는 참조 인용이다.

1 비디오 및 장기 지평 이해는 에이전틱·객체 중심·의도 수준 테스트로 이동한다

이번 달의 비디오 벤치마크는 무슨 일이 일어나는지를 묻는 것을 멈추고, 증거가 어떻게 수집되는지, 하위 주장의 연쇄가 성립하는지, 그리고 영화 제작자가 무엇을 의도했는지를 시험하기 시작한다. 그중 두 개는 또한 부분적 역량이 인정받을 수 없게 만드는 방식으로 채점을 엄격하게 한다.

1.1 VideoGAIA: 하나의 공유 하네스 아래에서의 에이전틱 비디오 이해

VideoGAIA는 에이전틱 비디오 이해, 즉 비디오를 다중 턴 도구 사용 과제 내에서 하나의 증거 원천으로 사용하는 것을 겨냥하며, 단일 턴 비디오 QA는 거의 포화 상태에 가까운 반면 무엇을 조회할지 결정한 뒤 그것을 가져와야 하는 모델은 그렇지 않다고 주장한다. 이 벤치마크의 271개 과제는 10만 개의 공개 비디오에서 파이프라인으로 증류되었으며, 이 파이프라인은 의도적으로 비디오로부터 정답을 숨기므로 모델은 개체를 시각적으로 인식하고 그 사실을 웹에서 검색해야 한다(그림 2). 스무 개의 프런티어 MLLM이 세 가지 도구와 40단계 상한을 가진 동일한 ReAct 하네스를 통해 실행되며, 어떤 모델도 60% pass@1에 도달하지 못하고, 최고 성능(Seed2.0-Pro, 58.30%)은 최하위(Claude-Opus-4.7, 34.69%)를 24점 앞선다 [1]. 순위보다 진단적 발견이 더 중요하다. 615개의 오답 궤적 전반에서 비디오 지각이 모든 모델에서 최상위 오류 원인(36.8–48.0%)이며, 웹 검색(20.3–31.0%)보다 앞선다. 또한 모델 세대에 걸친 진전은 단조롭지 않으며, 두 개의 Claude Opus 릴리스가 더 이른 릴리스보다 낮은 점수를 받았다 [1].

그림 2. VideoGAIA의 벤치마크 구축: 데이터 수집, 과제 구성, 다섯 가지 모델 필터링 게이트, 그리고 인간 주석으로, 여섯 개 영역에 걸쳐 271개의 검증된 과제(L1 62 / L2 209)를 산출한다([1]의 그림 3, 원 논문에서 재현, CC BY 4.0).

1.2 STRAND: 잘못된 경로로 도달한 정답을 인정하지 않기

STRAND의 기여는 더 어려운 과제가 아니라 채점 방식의 변화다. 88개의 영상(평균 183초, 네 개 영역)에는 977개의 목표 질문과 2,516개의 지원 하위 질문이 있으며, 모두 이진형이다. 주 지표는 목표 와 그 모든 하위 질문이 모두 정답일 때만 해당 목표를 정답으로 집계하며, 고정된 분모를 사용한다 [2]. 저자들이 밝힌 대조점은 지평선을 늘리거나 증거를 연쇄시키면서도 여전히 최종 답만 채점하는 장영상 벤치마크다. 두 지표는 그들 자신의 표 1에서 극명하게 갈린다. 어떤 엔드투엔드 모델도 목표 정확도 68.4%를 넘지 못하며, 모든 프런티어 모델에서 결합 충실 정확도는 그보다 훨씬 낮다(Gemini-3.1-Pro 61.4에서 38.9; GPT-5 32.5에서 20.0; Claude-4.6-Sonnet 48.3에서 30.2) [2]. 두 가지 설계 선택은 주목할 만하다. 질문은 영상을 결코 보지 않는 언어 모델이 인간이 검증한 상징적 세계 모델로부터 생성하며, 경계 상자는 대상으로 삼는 실패가 국소화가 아니라 상징적 결속 표류(binding drift)이기 때문에 의도적으로 배제된다 [2]. 영상은 위키미디어 공용에서 가져오며 주석과 함께 CC-BY-NC 4.0으로 재배포되는데, 논문은 이를 URL만 제공하는 벤치마크의 링크 부패(link-rot) 문제를 해결하는 것으로 제시한다 [2].

1.3 TAKE 85: 손실성 전사를 통해 측정된 연출 의도

TAKE 85는 영화 제작자가 무엇을 의도했는지를 묻는다. 398편의 단편 영화(약 86시간)와 각각 전문가가 검증한 열두 개의 의도 질문, 총 4,776개를 사용하며, 가장 강력한 모델은 세분화된 "Specific" 하위 집합에서 58/100을 기록한다 [3]. 이 한계는 부수적이기보다 구조적이다. 모델은 영화를 결코 받지 않는다. 입력은 Llama-3.2-Vision-11B의 캡션, 30초 청크 세 개에 걸친 AudioFlamingo3의 오디오 설명, Whisper 자막, 그리고 스무 개의 키프레임이므로, 이 벤치마크는 공유된 손실성 전사에 대한 추론을 측정하며 상류 추출 오류는 모델 전반에 걸쳐 고정된다 [3]. 채점된 결론, 즉 가장 강력한 MLLM조차 영화에서의 의사소통 목적에 어려움을 겪는다는 결론은 해당 전사가 보존하는 범위까지만 접지된 시청각 지각에 관한 것이다.

표 1은 네 개의 영상 중심 벤치마크를 비교한다.

표 1. 공통 축(규모, 참신성, 대표 결과)에서 이번 달의 영상 관련 벤치마크; 설정은 각 논문에 보고된 대로. 별도 표시가 없는 한 셀 값은 저자가 보고한 수치이다.

핵심 요점

• 비디오 평가의 경쟁前沿은 과제 난이도에서 무엇이 인정받는가로 이동했다: STRAND의 결합 지표와 VideoGAIA의 도구 필요성 필터링은 모두 의도된 증거 경로 없이 도달한 정답에 대한 인정을 제거한다 [1, 2].
• 검색이나 답변 구성이 아니라 비디오 지각이 에이전트형 비디오 시스템의 지배적 실패 양식이다(테스트된 모든 모델에서 오류의 36.8–48.0%) [1].
• 적어도 하나의 플래그십 벤치마크는 픽셀이 아니라 캡션과 오디오 설명에 대한 의도를 채점하므로, 그 수치는 그러한 전사가 유지되는 한에서만 근거 있는 지각을 제한한다 [3].

2 정밀한 지각: 문서, 차트, 필기 및 기하학적 근거화

두 번째 클러스터는 출력 충실도를 공격한다: 모델이 차트 전반에 걸쳐 계산하고, OCR에 근거한 증거에 대해 추론하고, 실제 필기를 읽고, 실제로 경계를 따르는 기하를 출력할 수 있는가. 세 편의 주요 논문 모두 지시대상을 인식하는 것과 요구된 출력을 생성하는 것 사이의 큰 격차를 발견한다.

2.1 LongChart VQA: 다수 차트에 걸친 다중 홉 계산

LongChart VQA는 잠재 그래프(DAG) 합성 파이프라인으로 구축된 다중 차트 질의응답을 테스트한다: 주요 분할에서 557개 이미지와 2,876개 질문으로, 인스턴스당 평균 6.5개 이미지, 31.2개 질문, 716.8개 데이터 포인트를 가진다 [5]. 두 가지 설정이 난이도가 어디에 있는지를 분리한다. 모든 중간 차트가 시각화될 때("확장 컨텍스트") 모델은 최소 차트 집합만 제공될 때("심층")보다 현저히 더 잘 수행하며, 홉은 길이보다 더 해롭다: 심층 정확도는 5홉에서 33.8%, 6홉 초과에서 15.3%로 떨어지는 반면, 확장 컨텍스트에서는 53.7%와 46.1%이다 [5]. 근거화는 완전히 실패한다 — 모든 모델이 음의 평균 distance-IoU를 산출하며, 경계 상자를 요구하면 최고 모델의 답변 정확도가 85.5%에서 57.6%로 떨어진다. 저자들은 이를 중간 단계로서 자기 생성 시각 도구에 반대하는 증거로 읽는다 [5]. 논문 자체의 표는 또한 모델이 합성 세트에서 인간 기준선을 약간 초과함을 보여준다(85.76% 대 83.10%) [5].

그림 3. LongChart VQA의 큐레이션 파이프라인과 평가 프로토콜: 잠재 논리 그래프가 질문과 이미지가 렌더링되는 최소 차트 집합을 정의하며, 그 뒤에 인간 검증이 따른다; 평가는 최소 집합 컨텍스트와 전체 집합 컨텍스트를 대조하고 근거화/포인팅 출력과 이미지 섭동을 추가한다(원 논문에서 재현 [5]).

2.2 OCR-MetaReasoning: 인식된 텍스트에 대한 연역, 귀납 및 귀추

OCR-MetaReasoning은 텍스트가 풍부한 이미지 이해를 OCR에 근거한 증거에 대한 메타 추론으로 재구성한다: 5개 OCR 객체 범주에 대한 연역, 귀납, 귀추의 3×5 격자에서 균형을 이룬 1,500개 항목으로, 최종 답변에 대한 결정론적 매크로 점수와 LLM이 판정하는 과정 준수 점수를 가진다 [6]. 최고 모델은 89.3에 도달하지만, 집계는 이중 분포를 숨긴다: 연역은 모델 전반에서 가장 약한 축(73.6)이고 레이아웃 의미론은 가장 약한 범주(66.9)이며, 항목의 일부는 평가된 열여덟 개 모델 모두에 의해 해결되고 214개의 어려운 핵심은 0.5 미만으로 떨어진다 [6]. 박사 학위 인간 참조는 층화된 300개 항목 부분집합에서 96.0에 도달하고, 질문만 제공하는 통제는 16.5로 바닥을 확인하며, 이는 벤치마크가 진정으로 OCR에 의존함을 확인한다 [6].

2.3 Groundbench: 상자는 기하 주장에 너무 관대하다

위 텍스트를 한국어로 번역하세요. 모든 문장을 한국어로 작성하세요; 도중에 다른 언어로 전환하지 마세요.

Groundbench는 지시 표현 데이터는 유지하지만 출력 계약을 바꾼다. 이미지, 지시 표현, 그리고 사전에 공지된 꼭짓점 예산이 주어지면, 모델은 정확히 그 수만큼의 정수 점을 한 줄로 출력해야 하며, LLM 심사자 없이 결정론적 래스터라이저로 채점된다. RefCOCO, RefCOCO+, RefCOCOg에서 가져온 1,500개 질문을 각각 다섯 개의 꼭짓점 예산으로 평가하여 총 7,500개의 목표 파일을 만든다 [7]. 가장 두드러진 격차는 과제 간에 나타난다. 박스 형식 성능은 88.2 IoU와 97.1 Acc@0.5에 도달하는 반면, 직접적인 다각형 출력은 57.7 IoU와 69.2 Acc@0.5로 떨어진다 [7]. 저자들은 원 분포의 포화를 주장하지 않는다고 명시한다. 그들의 주장은 더 좁고 더 날카롭다. 즉, 네 개의 숫자로 된 사각형은 최전선 시스템들을 구별할 여지를 거의 남기지 않으며 배경 내부에 점수를 준다는 것이다 [7].

그림 4. Groundbench의 정확한 N 프로토콜: 동일한 이미지, 표현, 지시 대상이 대응되는 과제들에 걸쳐 고정되고, 원본 다각형은 사전에 공지된 꼭짓점 예산 N으로 재표본화되며, 파싱된 출력은 정확한 N 목표에 대한 마스크 IoU로 채점된다. 파싱할 수 없는 출력은 0점을 받는다 (원 논문 [7]에서 재현).

핵심 요점

• 세 가지 매우 다른 출력 계약, 즉 계산된 차트 답변, OCR에 근거한 추론, 다각형 꼭짓점에 걸쳐, 격차는 지시 대상을 인식하는 것과 요구되는 산출물을 출력하는 것 사이에 있다 [5, 6, 7].
• LongChart VQA 자체의 수치는 합성 데이터에서 가장 강력한 모델이 인간 기준선을 겨우 넘어선다는 것을 보여주며, 이는 자체 구축한 다중 홉 집합이 겉보기보다 쉬울 수 있다는 점을 상기시킨다 [5].
• 지표가 결정론적인 경우(Groundbench의 래스터라이저, OCR-MetaReasoning의 매크로 점수) 보고된 차이는 심사자 행동에 의해 교란되지 않는다. 심사자가 사용되는 경우, 논문들마다 이를 얼마나 통제하는지가 다르다 [6, 7].

3 신뢰와 안전: 환각, 유보, 망각, 탈옥

이 달의 가장 큰 클러스터는 역량이 아니라 실패에 관한 것이다. 모델이 언제 만들어내는지, 언제 거절했어야 하는지, 언링러닝 요청 후 무엇을 잊는지, 그리고 어떻게 해로운 행동으로 설득될 수 있는지를 분리해내는 벤치마크들이다. 방법론적 흐름은 동일하다. 더 넓은 벤치마크 대신 더 좁고 더 잘 통제된 프로브를 사용하는 것이다.

3.1 MIOH: 이미지가 많을수록 객체 환각이 더 심해진다

MIOH는 다중 이미지 설정에서의 객체 환각을 겨냥하며, 기존 환각 벤치마크는 단일 이미지이고 이진적이며, 일반 다중 이미지 벤치마크는 환각을 유발하는 시각적 요인을 통제하지 않는다고 주장한다. 그 설계는 네 가지 객체 중심 과제(존재, 개수, 속성, 위치)를 세 가지 추론 패턴(종합, 비교, 선택) 및 세 가지 압력(이미지 수, 지각 난이도, 맥락 편향)과 교차시켜, COCO-ReM, PACO, SVG에서 가져온 11,732개 이미지에 걸쳐 3,484개 질문을 만든다 [11]. 29개 모델 구성에 걸쳐 중앙값 그림은 좋지 않다. 평균 정확도 36.1%이며, 최고 모델은 64.4%(Gemini-2.5-Pro), GPT-5는 63.1%이다 [11]. 이 논문의 가장 유용한 결과는 리더보드가 아니라 통제된 대조이다. 동일한 존재 항목을 단일 이미지 질문으로 분해하면 모든 모델의 정확도가 대략 5–26점 상승하며, 가장 약한 모델이 가장 많이 상승한다(그림 5) [11].

그림 5. MIOH의 존재 과제에서 모델별 다중 이미지 대비 분해된 단일 이미지 정확도 ([11]의 그림 5, 원 논문에서 재현).

3.2 TRAPSBench: 모델은 표현하지 않는 자제를 인코딩한다

TRAPSBench는 대부분의 환각 벤치마크가 건너뛰는 질문을 던진다. 영상이 결과를 입증할 수 없을 때 모델이 "모르겠다"고 말할 것인가? 이 벤치마크는 MuJoCo에서 짝지어진 통제/공백(control/void) 쌍을 생성하여(네 개의 분할에 걸쳐 1,404개 항목), 공백 항목이 영상이 결과 전에 멈춘다는 점을 제외하면 동일하도록 만들고, 통제 정확도에 기권 대 거짓 기권의 Youden's J를 곱하는 지표를 제안한다 [12]. 열여섯 개의 VLM은 낮은 점수를 받는다. 최고의 표준 체제 점수는 0.292(Gemini 2.5 Flash)이고, 유도 프롬프팅을 사용한 최고 점수는 0.568(Gemini 3.1 Pro, 낮은 추론)이다 [12]. 논문의 기제적 절반은 앞으로 이어받을 가치가 있는 부분이다. 활성화에 대한 선형 프로브가 최대 0.913 AUROC로 필요한 구분을 복원하므로, 정보는 존재하지만 출력에서 표현되지 않는다. 이는 지식 격차라기보다 표상과 행동 사이의 해리이다 [12].

3.3 MMJailBench: 탈옥을 실제로 그것을 추동하는 요인으로 분해하기

MMJailBench는 272개의 유해한 의도를 여섯 가지 프롬프트 프레이밍, 다섯 가지 과제 관련 시각-의미 조건, 두 가지 지시 전달체와 교차시켜 모델당 16,320개의 인스턴스를 만든다. 이는 하나의 공격 성공률을 보고하는 대신 위험을 요인에 귀속시키도록 설계된 구성이다 [13]. 귀속은 명확하다. 프롬프트 프레이밍이 지배적이며, 가장 취약한 프레이밍과 가장 덜 취약한 프레이밍 사이의 격차가 40퍼센트 포인트를 초과한다 [13]. 두 가지 반직관적 결과가 두드러진다. 과제 관련 시각적 맥락은 공격 성공률을 높이지만(승인 문서는 이미지가 없을 때보다 약 +13포인트를 더한다), 통제 이미지는 그것을 거의 움직이지 않는다. 따라서 그 효과는 단순한 이미지의 존재가 아니라 의미론적이다 [13]. 그리고 이미지 안에 렌더링된 지시는 동일한 지시를 텍스트로 제시한 것보다 더 약하다(40.59% 대 50.70%). 이는 OCR로 전달되는 프롬프트가 더 강한 전달체라는 통념과 모순된다 [13].

그림 6. MMJailBench의 요인 분해 설계: 유해한 의도를 여섯 가지 프롬프트 프레이밍, 생성된 시각-의미 조건, 두 가지 지시 전달체와 교차시킨 뒤, LLM 판정자가 공격 성공률과 맥락 조정 비율로 채점한다(원 논문에서 재현 [13]).

표 2. 공통 축 위의 신뢰 및 안전 벤치마크; 설정은 각 논문에서 보고된 바와 같다.

핵심 요점

• 세 가지 독립적인 연구 흐름이 동일한 진단으로 수렴한다. 즉, 능력은 종종 존재하지만 실제로 행동으로 이어지지 않는다. 프로브는 모델이 표현하지 못하는 유보(abstention)를 디코딩하며(AUROC 0.913) [12], 멀티모달 탈옥 위험은 이미지 자체보다 프레이밍에 의해 주도된다 [13].
• 단순히 더 많은 이미지를 갖는 것 자체가 압력이다. MIOH의 자체 분해는 동일한 항목에서 정확도를 크게 높이므로, 다중 이미지 점수는 단일 이미지 역량으로 읽어서는 안 된다 [11].
• 이러한 벤치마크 각각은 하나의 요인을 분리한다. 아직 어느 것도 방어 측 수치를 보고하지 않으므로, 이들은 견고성이 아니라 취약성을 측정한다 [11, 12, 13].

4 문화, 언어 및 화용론: 벤치마크가 로컬하고 비유적으로 변하다

네 번째 클러스터는 일반적인 영어 중심 평가 모음이 볼 수 없는 것을 위한 벤치마크를 구축한다. 즉, 하나의 언어로 표현된 단일 국가 문화, 언어별 형태론과 방언, 순서가 있어야만 의미가 통하는 만화, 그리고 교차 양식 불일치가 아니라 화용적 맥락에 의존하는 의미이다.

4.1 PUMA: 하나의 문화, 세 가지 양식, 규칙 기반 채점

PUMA는 이미지, 오디오, 문서 각각 100개 항목으로 구성된 폴란드어 벤치마크로, 어떤 질문의 검증 규칙이 모두 성립할 때만 응답이 인정된다. 즉, 엄격한 점수와 함께 부분적 소프트 점수가 보고된다 [19]. 오디오 파트는 의도적으로 어렵고(평균 82초, 과반이 저품질 녹음), 문서 파트는 필기, 열화된 스캔, 원근 왜곡 쪽으로 치우쳐 있으며, OCR은 단어 정확도와 표 TEDS로 채점된다 [19]. 주목할 만한 방법론적 조치는 폴란드어 형태론이 채점 정규화기에서 표제어 추출(lemmatisation)을 필요로 한다는 점이며, 논문은 자체 OCR 표에서 잔여 모델-레이블 불일치를 문서화한다 [19].

4.2 PoVisLE: "유창한 폴란드어"가 감추는 것

PoVisLE는 1,117개의 이미지와 2,366개의 수동 작성 폴란드어 VQA 쌍을 다루며, 질문 형식에 대한 매크로 평균으로 16개의 VLM을 평가하고, 순환적 선택지 회전을 사용하여 모든 회전에서 정답일 때만 항목이 인정된다 [20]. 최고 모델은 16.79%의 무작위 기준선에 대해 71.45%를 기록하며, 추론 변형은 최대 13.2점을 얻는다 [20]. 유용한 것은 진단적 발견이다. 개방형 답변에 대한 사후 분석은 예측의 49.45%를 전체적으로 환각으로 레이블링하며, 약한 모델의 경우 50%를 넘는다. 논문 자체의 프레이밍은 유창한 폴란드어 출력이 신뢰할 수 없는 근거와 공존한다는 것이다 [20].

4.3 CMPM: 순서가 과제이며, 모델은 이를 놓친다

CMPM은 구조 유형, 순서 의존성, 선택적 댓글 맥락으로 주석이 달린 1,214개의 중국어 다중 패널 밈이며, 핵심 과제는 패널을 뒤섞어 제시하고 읽기 순서를 복원하도록 요구한다 [21]. 성능은 붕괴한다. Gemini 3.1 Pro는 75.2%, GPT-5.5는 57.8%를 복원하는 반면, 오픈 모델은 6.1%에서 27.4% 사이에 머물며, 일부는 19.4%의 무작위 순열 기준선보다 낮고, 댓글 맥락을 제공하는 것은 거의 도움이 되지 않는다(약 +0.06) [21]. 정답이 정답 우선순위 제약의 유효한 선형 확장이기 때문에, 이는 집합 내에서 그룹 내 순열이 벌점이 아니라 허용되는 몇 안 되는 벤치마크 중 하나이다 [21].

그림 7. CMPM에서 주석이 달린 다섯 가지 구조 유형 — 내러티브, 점진적, 대화적, 비교 및 병렬 — 각각 예시와 함께. 순서 과제는 패널을 뒤섞어 제시하고 유효한 읽기 순서를 요구한다([21]의 그림 2, 원 논문에서 복제).

핵심 요점

• 단일 언어, 단일 문화 벤치마크는 다국어 벤치마크의 축소판이 아니라 별개의 설계 선택이다. PUMA의 규칙은 폴란드어 형태론에 맞추어 작성되었고, 그 문서 및 오디오 하위 집합은 구성상 열화된 입력 쪽으로 치우쳐 있다 [19].
• 대상 언어로 유창하게 생성하는 것은 근거에 기반한 이해의 증거가 아니다(PoVisLE의 개방형 답변 중 49.45%가 환각으로 라벨링됨) [20].
• 구조와 순서가 벤치마크의 전체 대상일 수 있으며, 여기에는 여전히 큰 격차가 존재한다. 대부분의 개방형 모델은 CMPM의 순서 과제에서 우연 수준 미만의 점수를 받는다 [21].

5 전문가 영역, 어려운 추론 및 시스템 수준 평가

마지막 클러스터는 대략적으로 맞는 것이 유용하지 않은 역량, 즉 건축, 임상 진단, 다중 시점 지구 관측을 측정하며, 한 사례에서는 모델이 요청받은 모달리티를 애초에 반환할 수 있는지까지 측정한다.

5.1 MMArch: 병목은 지각이 아니라 구성

MMArch는 논문 그림과 전문가가 확인한 계산에 근거한 1,212개 항목에 대해 건축 공학 추론을 채점한다 [23]. 최고 모델은 평균 51.73%(GPT-5.5)에 도달하는 반면 인간 패널은 94.57%로, 42.84점의 격차를 보이며, 가장 강력한 개방형 모델은 29.94%에 머문다 [23]. 기여는 오류 분석에 있다. 모델 전반을 통합하면 구성 오류(중간 값은 맞지만 다단계 결합이 틀림)가 실패의 35.8%로, 원리 오류 21.7%와 지각 오류 20.3%보다 앞선다. 또한 프롬프트 개입은 점수를 거의 움직이지 못하며, 테스트한 네 모델 중 세 모델에서 악화시키는 CoT 변경도 포함된다 [23].

그림 8. MMArch의 구축 파이프라인: 세 출처(논문 1만 편, 이미지 1만 6천 장)에서 가져온 이미지 데이터베이스에 대한 하위 영역 질문 유형, 이미지 선정, QA 설계, 그리고 정확성·출처·난이도에 대한 품질 관리(원 논문에서 재현 [23]).

5.2 MedReaMM: 임상 종합, 두 가지 방식으로 채점

MedReaMM은 625개 사례에 대해 전문가 수준의 진단 종합을 평가하며, 예측 진단을 ICD-11 코드 동등성과 명시된 임계값에서의 SapBERT 임베딩 유사도로 모두 채점하는데, 이는 두 방식이 서로 불일치하기 때문이다 [24]. 추론 모델이 모든 지표에서 앞서며(o1은 Top-10 주 진단 61.3 대 GPT-4o 55.7), 프롬프트는 양방향으로 제한된다. CoT 프롬프트는 Llama-4-Maverick을 약 10.5점 끌어올리지만 Qwen2.5-VL-7B에는 약 8.3점의 손실을 준다 [24]. 두 가지 발견은 주의를 요한다. 입력 제거 실험은 모델이 정렬된 캡션이 있을 때 가장 좋은 성능을 보이고 캡션이 뒤섞이면 이미지와 기록만 있는 기준선 아래로 떨어짐을 보여 주므로, 캡션은 다리 역할을 한다. 이는 벤치마크가 무엇을 측정하는지에 대한 한정이다 [24]. 또한 논문 자체의 비교에서 세 명의 소화기내과 전문의는 46문항 도구에서 엄격 정확도 10.87%를 기록한 반면 Gemini-2.5-Flash는 43.48%를 기록했으며, 저자들은 이 격차를 개인 대 팀의 역량 차이로 설명한다 [24].

5.3 LongEarth-R1: 지구 관측에서 스냅샷이 아닌 궤적

LongEarth-R1은 원격 탐사 벤치마크가 단일 관측이나 변화 종점만을 테스트한다고 주장하며, 이미지 시퀀스에 대한 장기 지평 추론을 위한 다중 시점 모음과 RL 정렬 모델을 구축한다 [25]. 보고된 격차는 순서화를 명시적으로 요구하는 과제에서 크지만(중복 탐지 90.28 대 Qwen2.5 39.78, 시간 순서 위반 탐지 50.80 대 15.47), 변화 방향에서는 가장 좁으며(53.37 대 45.80), 논문은 결과 표에서 셀별 지표를 표시하지 않는다 [25].

5.4 모달리티 성숙도 지수: 모델이 요청받은 모달리티를 반환할 수 있는가?

모달리티 성숙도 지수는 옴니 능력 프롬프트에 대해 모델이 텍스트, 이미지, 오디오, 비디오, 문서를 생성할 수 있는지를 채점하며, 프롬프트별 매크로 평균을 사용한다 [26]. 흥미로운 것은 부정적 결과들이다. 오디오 출력은 어떤 모델도 0회 반환했고, 문서 열은 문서 생성 도구가 제공되지 않아 0이며, 관대한 기본 탐지는 기존 자산에 대한 링크를 붙여넣는 모델에 점수를 부여한다. 따라서 논문 자체가 순위가 부분적으로는 합성 능력이 아니라 링크하려는 의지를 반영한다고 경고한다 [26]. 심사자는 Gemini가 생성한 자산 다수를 채점하는 Gemini 모델이며, 저자들은 이를 심사자 독립적이라고 읽을 수 없다고 명시한다 [26].

그림 9. 모달리티 성숙도 지수 커버리지: 입력 모달리티(행)와 출력 모달리티(열)별 모델 응답 수. 질량은 텍스트 출력 열에 집중되어 있으며, 어떤 입력에서도 비텍스트 출력은 드물다. 이는 지수를 합성 능력으로 읽는 것에 대한 논문 자체의 주의 사항이다(원 논문에서 재현 [26]).

핵심 요점

• 전문가 영역에서 제한 요인은 대개 지각이 아니라 조합이다. MMArch의 지배적 오류는 올바른 중간 값을 구성하는 것이며, 프롬프팅으로는 해결되지 않는다 [23].
• 영역 벤치마크는 단일 지표가 불일치를 숨기기 때문에 점점 두 가지 채점 체계를 나란히 보고한다(ICD-11 코드 대 임베딩 유사도, 엄격 규칙 대 소프트 규칙) [19, 24].
• 시스템 수준 평가는 여전히 미성숙하다. 옴니 능력 벤치마크가 오디오 출력 0과 문서 열 0을 보고할 수 있으므로, 그 헤드라인 수치는 능력만큼이나 인프라를 설명한다 [26].

또한 주목할 사항

주제별로 묶었으며, 각 항목은 심층 읽기에서 나온 한 줄 발견이다.

비디오와 장기 지평. DVBench는 데이터 비디오를 위한 부재한 코퍼스를 제공한다. 즉 300개의 실제 비디오와 내러티브, 애니메이션, 차트 지각, 차트 추론, 자막 정렬에 걸친 1,000개의 인간 검증 질문이며, 층화 부분집합에서 인간 기준선은 91.93%이다 [4].

정밀 지각. WildHandBench는 500개의 실제 필기 문서를 퍼플렉시티 기반 "사전 주도 오류" 지표로 채점하고, 최고 모델이 71.85%로 보정된 인간 77.09%에 맞서며, 모델 오류율(63–91%)은 인간의 49.27%보다 훨씬 높음을 발견한다 [8]. SpatialQuery는 미터법 깊이 정답을 갖춘 백만 개의 기하학 기반 다중 인스턴스 공간 질의를 제공하고, 모델 자체의 예측 불확실성만큼 허용 오차를 넓히면 허용 오차 정확도가 58.50%에서 87.50%로 상승함을 보여주며, 저자들은 이를 명시적으로 보정이라고 부르기를 거부한다 [9]. Inter-3D VQA는 네 대의 카메라, LiDAR 점 구름, HD 맵 토폴로지로부터 407K개의 도로변 3D 시공간 QA 쌍을 구축하며, LiDAR 강화 기준선(Inter-Geo)이 이미지 전용 기준선을 능가한다 [10].

신뢰와 안전. KnowHal은 환각 평가에 네 번째인 '지식' 차원을 추가하고 그것이 가장 어렵다고 밝히는데, 전체 점수에서 70%를 넘는 모델이 없으며(최고 67.9%) 위키백과가 유일한 지식 출처이다 [14]. SHROOM-Visions 2026은 4개 언어 SHEEP 데이터를 공유 과제로 재사용하는데, 27개 팀과 623개 제출물이 특성 상관 0.58, 레이블 조건부 상관 0.46, IoU 0.51의 최고 평균을 산출하지만, 저자들은 최상위 순위들이 통계적으로 분리되지 않으며 순위 구간이 최대 14–15위에 걸쳐 있음을 보여준다 [15]. PRMU는 코퍼스 없는 인물 중심 언러닝(방법은 이름과 참조 이미지만 받음)을 91.9K개 프로브에 걸쳐 평가하고, 객관식 정확도가 망각 지표로서 거의 민감하지 않다고 보고하지만, 논문 자체의 표에는 설명되지 않는 잘못된 방향의 움직임도 몇 가지 포함되어 있다 [16]. UNLINK-VL은 최초의 깔끔한 교차 모달 언러닝 결과를 제시하는데, 멀티모달 환경에서 사실을 망각하는 것이 텍스트 전용 질의로는 대체로 전이되지 않고 그 반대도 마찬가지이며, 정규화된 텍스트→멀티모달 페널티(14.0–16.2)가 역방향(6.3–10.3)의 대략 두 배이다 [17]. MME-Safety는 안전성을 유용성 및 거부와 함께 평가하고, 더 미묘한 유해 의도가 가장 높은 유해율(30.59%)을 보이는 반면 극단적인 의도는 오히려 낮아지는 "방어 포화" 패턴을 보고한다 [18].

문화와 화용론. PragMatch는 통제된 마스킹과 주입을 통해 화용적 부조화를 교차 모달 불일치와 분리하며, 논문은 캡션 전용 텍스트 분류기가 동일한 쌍 지표에서 99.6%의 항목 정확도에 도달한다고 — 평가된 모든 LVLM을 능가한다고 — 솔직히 보고하는데, 이는 표제의 격차가 의미할 수 있는 바를 제한한다 [22].

전문가 및 시스템 수준. VIPER는 의도적으로 보정된 심사자(교차 모델 피어슨 r = 0.98)와 다섯 가지 순환적 선택지 순열을 통한 명시적 답 위치 통제를 갖춘 전문가 큐레이션 수의병리학 벤치마크이다 [27]. TomaMMU는 28,808개의 토마토 잎 이미지와 213,119개의 QA 쌍을 다루는데, 제로샷 Gemini 2.0 Flash는 70.3% 정확도에 도달하고, 미세 조정된 도메인 모델은 96.09%에 도달하며, 전문 잎병 모델은 매우 불규칙한 과제별 프로파일을 보인다 [28]. OmniPhys는 15,246개 문항에 걸쳐 이중 트랙 추론-결과 프로토콜로 중국어 물리학 이해와 다이어그램 생성을 평가하는데, 인간 채점자는 모델 생성 다이어그램에 0.10–0.29점을 주는 반면 모델 심사자는 0.51–0.75점을 주며, 보고서는 이 불일치를 미해결로 남겨둔다 [29]. CAPEval은 캡션 채점을 이해와 생성 전반에 걸쳐 300개 이미지에 대한 14,965개 체크리스트 항목으로 분리하지만, 이미지를 전혀 보지 않는 하나의 고정된 LLM 심사자에 전적으로 의존하며, 인간 일치도 검사는 보고되지 않는다 [30].

범위와 방법

검색 및 선별

이 창은 각 항목의 기록된 v1 제출 날짜(공지 배치가 아님) 기준 2026년 8월 1일–31일이다. 검색은 이 라이브러리의 arXiv 미러에서 cs.CV, cs.CL, cs.MM, cs.AI, cs.LG, cs.SD를 대상으로 수행되었으며, 하나의 의미 경로와 명명된 계열(통합 이해-생성, omni, MLLM/VLM)에 대한 키워드 경로를 결합하였다. 그 합집합은 466편의 후보 풀을 만들었고, AI 스크리닝 단계에서 경계 "멀티모달 이해 또는 통합 이해-생성, 순수 생성 및 비언어 멀티모달 연구 제외"에 비추어 검토하여 428편이 남았다. 두 번째 분류 단계에서 이를 열한 개 하위 영역으로 정렬하였으며, 벤치마크 또는 데이터셋으로 판정된 113편이 이번 호를 위해 서른 편을 선정한 풀을 형성하고, 하위 영역에 비례하여 걸쳐 있다. 수치는 점검된 경로를 기술한 것이며 해당 분야의 전수 조사가 아니다.

증거 깊이와 격차

서른 편 모두 논문별 읽기 과제를 통해 전문이 읽혔으며, 위의 각 항목은 그 노트에서 명시된 절이나 표에 근거한다. 두 그림은 픽셀 수준에서 확인되었다. 언급할 가치가 있는 범위 한계: 의미 경로는 상위 k개로 제한되었고 그 꼬리는 이미 생성 연구 쪽으로 치우쳐 있었으므로, 경로와 어떤 표현도 공유하지 않는 벤치마크는 빠져 있을 수 있다. 포함된 몇몇 항목은 8월 기록 날짜에도 불구하고 9월(2609) 계열의 arXiv 식별자를 지니므로 일부는 경계에 걸쳐 있을 수 있으며, 몇몇의 경우 라이브러리에 마운트된 본문이 기록된 v1보다 이후 개정판이다. 여기 인용된 여러 결과는 저자들 자신의 설정 하에서 저자들 자신의 대표 수치이며 논문 간에 비교 가능하지 않다. 논문의 평가가 무언가를 빠뜨리는 경우 — 검증되지 않은 심사자, 단일 모델 계열, 저자들 자신의 표현으로 구축된 벤치마크 — 그것은 여기서 수집되기보다 중요한 지점에서 언급된다.

References

[1] Fan Zhang, Guangming Yao, Jinyang Wu, et al. VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding. 2026. arXiv preprint. arXiv:2608.14718

[2] Thong Nguyen, Tri Cao, Khoi Le, et al. STRAND: Benchmarking and Improving Object-Centric Spatio-Temporal Monitoring in Video Large Language Models. 2026. arXiv preprint. arXiv:2609.29607

[3] Kaishuu Shinozaki-Conefrey, Olivier Pascaud, Robin Courant, Xi Wang, Dimitris Samaras, Vicky Kalogeiton. TAKE 85: Testing Audiovisual filmmaKer's intEnt across 85 Hours of Film. 2026. arXiv preprint. arXiv:2608.30068

[4] Bomiao Wang, Zekai Shao, Jiexiang Lan, Xiaoliang Fu, Xingchen Zeng, Siming Chen. DVBench: Benchmarking MLLMs for Understanding Dynamic Charts and Narratives in Data Videos. 2026. arXiv preprint. arXiv:2608.29711

[5] Ziyan Xiao, Yinghao Zhu, Wenting Zhang, Heaju Kim, Lequan Yu. LongChart VQA: A Comprehensive Benchmark for MLLMs with Complex Multi-Chart Reasoning. 2026. arXiv preprint. arXiv:2608.01328

[6] Gengxu Li, Yuan Wu, Yi Chang. OCR-MetaReasoning Benchmark: Evaluating the Meta-Reasoning Ability of MLLMs in Text-Rich Image Understanding. 2026. arXiv preprint. arXiv:2608.30678

[7] Zhonghan Bian, Zhenran Wang, Jinsong Li, Zhangyang Qi. Groundbench: Multi-Resolution Polygon Grounding Exposes the Geometry Gap in Vision-Language Models. 2026. arXiv preprint. arXiv:2609.27821

[8] Jun Zhang, Qiao Zhao, Cheng Cui, et al. WildHandBench: A Benchmark for Handwritten Text Understanding that Challenges MLLMs and Humans. 2026. arXiv preprint. arXiv:2608.22959

[9] Hai Nguyen, Tung Vu, Cong Tran. SpatialQuery: Benchmarking Geometry-Grounded Multi-Instance Spatial Reasoning in Vision-Language Models. 2026. arXiv preprint. arXiv:2608.01709

[10] Shaozu Ding, Linan Song, Dajiang Suo. Inter-3D VQA: A Roadside Multimodal Benchmark for 3D Spatiotemporally Grounded Visual Question Answering. 2026. arXiv preprint. arXiv:2608.28762

[11] Joonki Min, Chaeyun Kim, Hyungwook Choi, et al. Fine-Grained Multi Image Object Hallucination Benchmark. 2026. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 18295-18305. arXiv:2608.30653

[12] Fnu Pramono, John Cai, Sourabh Kulkarni. TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint. 2026. arXiv preprint. arXiv:2608.13167

[13] Tianshi Wang, Jingsong Wang, Yafei Huang, et al. MMJailBench: A Factorized Benchmark for Disentangling Multimodal Jailbreak Vulnerabilities. 2026. arXiv preprint. arXiv:2608.25490

[14] Ruihan Li, Jiyang Tan, Kailin Jiang, et al. KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation. 2026. arXiv preprint. arXiv:2608.03782

[15] Raul Vazquez, Aman Sinha, Chuyuan Li, et al. Overview of SHROOM-Visions 2026: A Shared Task on Hallucination Detection in Large Vision-Language Models. 2026. arXiv preprint. arXiv:2608.25662

[16] Huafeng Chen, Yueming Lyu, Ziyuan Chen, et al. PRMU: A Corpus-Free Benchmark for Person-Centric Knowledge Unlearning in Multimodal Large Language Models. 2026. arXiv preprint. arXiv:2608.11149

[17] Chunlin Liu, Junnian Chen, Haitong Jiang, et al. Does Forgetting Transfer Across Modalities? A Real-World Benchmark for Cross-Modal Knowledge Unlearning Evaluation. 2026. arXiv preprint. arXiv:2608.03791

[18] Yilian Shi, Yueming Lyu, Haoxiang Tan, et al. MME-Safety: A Fine-grained Benchmark for Safety Evaluation of MLLMs. 2026. arXiv preprint. arXiv:2609.20850

[19] Slawomir Dadas, Michal Perelkiewicz, Rafal Poswiata, et al. PUMA: A Polish Benchmark for Culturally Grounded Multimodal Understanding. 2026. arXiv preprint. arXiv:2608.21853

[20] Anna Kolos, Grzegorz Statkiewicz, Karolina Seweryn, Katarzyna Kowol, Karolina Piosek, Wojciech Kusa. Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation. 2026. arXiv preprint. arXiv:2608.07763

[21] Haihan Li, Haihao Li, Zhenfei Xu, Jize Qian, Yubo Xie. Order Matters: A Chinese Multi-Panel Meme Benchmark for Vision-Language Reasoning. 2026. arXiv preprint. arXiv:2608.26866

[22] Zhanna Mukhametsharip, Vera Demberg, Varsha Suresh. PragMatch: Separating Pragmatic Incongruity from Cross-Modal Mismatch in Large Vision-Language Models. 2026. arXiv preprint. arXiv:2608.09772

[23] Chenxu Du, Kang An, Tengyue Wang, et al. MMArch: Benchmarking Multimodal Reasoning Grounded in Architectural Evidence. 2026. arXiv preprint. arXiv:2608.09281

[24] Lai Wei, Yuchao Chen, Zhenbiao Cao, et al. MedReaMM: Evaluating Large Multimodal Models on Expert-Level Clinical Diagnostic Synthesis. 2026. arXiv preprint. arXiv:2608.22323

[25] Yupan Ding, Jing Xiao, Zhenyuan Zhang, et al. LongEarth-R1: Benchmarking and Aligning Vision-Language Models for Long-Horizon Earth Observation Reasoning. 2026. arXiv preprint. arXiv:2608.13344

[26] Rohit Patel, Dieuwke Hupkes, Sloan Strader. Modality Maturity Index: A benchmark for assessing multimodal capabilities of omni models. 2026. arXiv preprint. arXiv:2608.26317

[27] Luca L. Weishaupt, Simone de Brot, Javier Asin, et al. VIPER: An Expert-Curated Benchmark for Vision-Language Models in Veterinary Pathology. 2026. arXiv preprint. arXiv:2608.26382

[28] Gia-Han Truong, Khang Nguyen Quoc, Luyl-Da Quach. TomaMMU: A Comprehensive Multimodal Understanding Benchmark for Tomato Leaf Diseases. 2026. arXiv preprint. arXiv:2608.08727

[29] Hao Chen, Yumin Lin, Nadila Yushanjiang, Xin Lin, Min Zhang. OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora. 2026. arXiv preprint. arXiv:2608.25398

[30] Zhipeng Liu, Haochen Wang, Zhaoxiang Zhang. CAPEval: A Decoupled Caption Evaluation across Understanding and Generation. 2026. arXiv preprint. arXiv:2608.02589