Parallax
다이제스트

2026년 9월의 비디오 생성 — 진행 상황 추적

2026년 9월, 비디오 생성은 일곱 가지 측면에서 동시에 진전을 이루었으며, 기억할 가치가 있는 세 가지 변화는 이미지 품질에 관한 것이 아니다. 에이전트형 오케스트레이션이 래퍼가 아니라 연구 대상이 되었다: 이제 두 시스템은 요청을 구성하는 컨트롤러를 훈련시키고, 하나는 멀티샷 연속성을 명시적 스토리 상태에 근거시키며, 한 감사는 이러한 루프를 닫는 검증기가 하네스 자체의 실행 로그에 의해 조작될 수 있음을 보여준다. 장기 지평(long-horizon) 계열은 이력이 형성되는 방식에서의 훈련–추론 불일치라는 단일 진단으로 수렴했고, 이에 대해 적어도 여섯 가지 서로 다른 해결책을 내놓았으나 그중 어느 것도 아직 결합되지 않으며, 여러 해결책은 모션과 품질을 맞바꾼다. 그리고 지표 타당성이 연구 주제가 되었다: 통제된 스케일링 연구는 검증 손실이 모델 역량의 순위를 뒤집을 수 있음을 보여주고, 사후 훈련에 관한 한 서베이는 자신의 표가 리더보드가 아님을 명시하며, 상호작용형 세계 모델의 평가는 여전히 대부분 처리량에 머물러 있다. 그 밑바탕에서 세계 모델 연구는 해당 분야가 전이 가능한 것과 대상별로 재훈련해야 하는 것을 구분하고 있음을 보여준다.

기간 및 범위: arXiv v1 제출일이 2026-09-01에서 2026-09-30 사이인 논문(2026-10-14 기준 직전 완전한 역월); 후보 374편 스크리닝, 220편 포함, 32편 전문 정독. 범위: 비디오 생성 모델과 그 생성 역량의 진전 — 아키텍처 및 품질, 장기/스트리밍/상호작용형 생성, 세계 모델, 조건화 및 편집, 샘플링 효율성, 생성의 에이전트형 오케스트레이션, 오디오-비디오 공동 생성, 생성형 비디오의 평가/안전성. 도메인 전이 연구(주행, 로보틱스, 의료, 이커머스 착용 시뮬레이션)는 기여가 생성 방법으로 되돌아오는 경우에만 포함한다. 근거 기반: 본 호에서는 32편의 논문을 전문 정독하였다(방법 및 실험 섹션, 그리고 섹션 맵이 노출하는 부록 포함). 나머지 스크리닝된 논문은 제목과 초록 수준에서 주제별로 요약한다. 아래의 모든 수치는 그 설정과 함께 인용되며, 서로 다른 설정에서 나온 논문 간 수치는 비교 불가로 표시된다. 저자 주장, 논문이 제공하는 근거, 그리고 본 보고서 자체의 추론은 분리하여 유지한다. 코퍼스 구축 방식: 하나의 키워드 경로(비디오 생성, 비디오 확산, 텍스트-투-비디오, 이미지-투-비디오, 비디오 합성, 비디오 모델에 대한 제목/초록 용어)와 하나의 의미론적 경로를 해당 기간에 걸쳐 실행하여 단일 후보 풀로 병합하였고, 그 풀은 보정된 분류기에 의해 작성된 포함 기준에 따라 스크리닝되었다. 아래의 수치는 확인된 경로 내에서의 수치이며, 해당 분야의 규모가 아니다.

mermaid
flowchart TB R["Screened corpus, September 2026<br/>220 included of 374 candidates"] R --> T1["Agentic orchestration<br/>12 papers"] R --> T2["Control and editing<br/>43 papers"] R --> T3["Evaluation, physics and safety<br/>37 papers"] R --> T4["Efficiency and systems<br/>36 papers"] R --> T5["World models and interaction<br/>15 papers"] R --> T6["Long video, autoregressive, streaming<br/>13 papers"] R --> T7["Joint audio-video<br/>10 papers"] T1 --> D1["StoryEngine · MVAgent · VideoGen-Agent<br/>Don't Read the Log · CamPilot · CineCrew"] T2 --> D2["CoaG · BEACON · VideoX-Qwen · SVEET"] T3 --> D3["Post-training survey · Scaling for Reasoning<br/>EraseSAE · BadAction"] T4 --> D4["SplitMoE · PARK · Sol-H3 · LongLive-Plug"] T5 --> D5["Honeycomb · Waypoint-1.5 · OctWorld<br/>WorldWeave · H3-World"] T6 --> D6["Self-Aligned Forcing · Recency Forcing<br/>LongTake · Rollout-Marginal Distillation"] T7 --> D7["Soundwich · AV-GRPO"]

그림 1. 스크리닝된 2026년 9월 코퍼스의 일곱 가지 주제와 본 호에서 논의된 논문. 분류된 수치는 제목과 초록에 대해 모델이 할당한 것이므로 근사치이며, 추가로 54편의 논문은 미할당으로 남았다. 출처: 본 호 자체의 스크리닝.


1. 에이전트형 오케스트레이션은 단순한 래퍼가 아니라 연구 대상이 되었다

9월의 에이전트형 비디오 연구는 더 이상 "생성기 앞에 놓인 LLM"에 그치지 않는다. 두 논문은 컨트롤러 자체를 훈련시키고, 하나는 루프를 닫는 검증기를 감사하며, 하나는 파이프라인이 언제 에이전트형이라고 불려야 하는지에 대한 기준을 제안한다. 공유되는 기술적 주장은 텍스트 전용 계획이 고정된 생성기가 렌더링하는 것을 충분히 규정하지 못하므로, 해결책은 더 나은 문장이 아니라 타입이 지정된 시각적 조건화와 명시적 상태여야 한다는 것이다.

1.1 StoryEngine: 픽셀을 다시 읽는 것이 아니라, 권위 있는 객체로서의 스토리 상태

StoryEngine 은 에이전트 파이프라인이 이후 샷을 텍스트 계획이나 이전에 생성된 픽셀에 조건화하는 실패 모드, 즉 누락된 행동이나 잘못 배치된 객체가 새로운 서사적 사실로 조용히 재해석되는 문제를 겨냥한다. 이 설계는 권위 있는 의미 계획과 오류 가능한 시각적 관찰을 분리한다. 각 엔티티는 배치와 스토리 관련 속성을 지니며, 결정론적 리듀서가 샷마다 상태를 갱신하고, 샷별 전환은 렌더링된 비디오에서 추정하는 것이 아니라 계획된 효과로부터 계산된다. 이전 샷의 마지막 프레임은 다음 샷을 조건화하기 전에 단방향 호환성 게이트를 통과해야 하며, 기준을 통과하지 못하면 계획을 고정한 채 제한된 국소 복구(예산 T=3T=3)를 Trigger한다.

근거는 두 백본(Veo 3.1과 Wan2.2-TI2V-5B)에서 실행된 60개 스토리 벤치마크(세 가지 진단 스위트: 서사 실현, 샷 간 일관성, 시각적 일관성; 스토리당 10샷, 두 개의 반복 등장 장소)이다. 논문이 명시한 두 에이전트 기반 베이스라인(ViMax, MovieAgent)과 비교해, 저자들은 Veo에서 평균 0.1416, Wan에서 0.1304의 마진을 보고하며 두 백본 모두에서 동일한 순위를 보이고, 절제 실험은 가장 큰 하락을 근거 기반 렌더 계획 제거에 귀속시킨다. 논문 자체가 제시하는 두 가지 주의점이 헤드라인보다 더 중요하다. 계획 텍스트 지표는 백본 간에 공유되므로 두 백본 블록을 혼합해서는 안 되며, VLM 심사자는 루프 내 평가자와 동일한 모델이므로 VLM이 판정한 지표는 이 방법에 유리하게 작용할 수 있다. 두드러지는 명시된 한계는 권위 있는 계획의 오류가 지속된다는 점이다. 잘못된 엔티티 카탈로그나 효과 순서는 이후의 어떤 시각적 증거로도 복구할 수 없다.

그림 2. StoryEngine의 파이프라인: 스토리 상태 전파, 근거 기반 렌더 계획, 그리고 호환성 게이트와 제한된 복구 루프를 갖춘 연속성 인식 생성. 의 그림 2에서 복제되었으며, 이 이슈를 위해 이미지를 픽셀 수준에서 검사하였다.

1.2 컨트롤러가 훈련되기 시작하다

두 편의 논문은 오케스트레이션 정책을 수작업 프롬프트에서 학습된 객체로 옮긴다.

MVAgent 는 블랙박스 설정을 진지하게 다룬다. 8~16샷 스토리는 내부 상태를 공유하지 않는 고정된 생성기에 대한 별도 API 호출을 통해 생성된다. 이 논문은 샷 간 일관성을 조건 구성으로 재정의하며, 에이전트들은 텍스트만이 아니라 고정된 위치 역할(전환 앵커, 캐릭터 초상, 환경 뷰)을 가진 이미지와 같은 타입화된 조건화 입력을 교환하고, 그다음 각 요청을 구성하는 Orchestrator를 Trunk-GDPO로 훈련한다. Trunk-GDPO는 샷 수준의 에이전트 RL 기법으로, 샷마다 KK개의 후보를 샘플링하고, 집계 전에 각 보상 구성 요소를 후보들에 걸쳐 정규화하며, 가장 높은 어드밴티지를 가진 후보만 트렁크로서 계속 진행한다. ViMax-Bench(35개 스토리)에서 동일한 생성기와 VLM 에이전트 하에 전체 일관성 0.5611을 ViMax의 0.5500과 비교해 보고하며, ViMax에 대한 인간 쌍별 비교에서 60.06%를 승리한다. 저자들 자신의 프레이밍은 이를 "생성기의 능력과 심사자의 신뢰성에 종속된다"라고 한정한다. 표를 비교하는 독자에게 주목할 만한 점은 절제 실험 블록이 다른(Qwen3-32B) Orchestrator를 사용하므로 그 수치가 메인 표와 비교 가능하지 않으며, 읽은 섹션 어디에도 해상도, 길이 또는 스텝 수가 보고되지 않는다는 것이다.

VideoGen-Agent 는 대신 도구 선택 정책을 훈련한다. Qwen3-VL-8B 에이전트는 세 가지 도구 그룹 — 증강(웹 검색, 코드 물리 시뮬레이터), 생성(T2V/I2V/참조/모션), 검증(객체 탐지, 단안 깊이) — 에 걸쳐 추론–행동–관찰 루프를 실행하며, 교사 궤적에 대한 SFT 후 하이브리드 보상(0.1 형식, 0.5 VLM 루브릭, 0.4 도구 사용)에 대한 GRPO를 수행한다. 논문 자체의 600개 프롬프트 VABench에서 원래 도구 세트로는 종합 75.6을, 더 강력한 생성기로 교체한 후에는 86.1을 보고하며, 이는 기저 생성기의 56.5와 테스트된 가장 강력한 단독 모델의 73.2에 대비된다. 저자들의 수치 중 두 가지는 인용하기보다 주의 깊게 읽어야 한다. 75.6 → 86.1의 도약은 정책이 동결된 상태에서의 도구 업그레이드 효과이지 학습 효과가 아니며, 멀티태스크 주장은 보이는 것보다 약한데, 단일 태스크 RL이 76.3에 도달해 공유 멀티태스크 정책을 근소하게 상회하기 때문이다. 평가 또한 RL 보상과 동일한 루브릭으로 동일한 VLM을 사용하는데, 저자들은 이를 92%의 심판–인간 일치 연구(절차적 지식에서는 72%로 하락)로 완화한다.

CamPilot 은 컨트롤러의 영화 촬영 부분을 훈련한다. 카메라 워크 플래너는 앵글, 샷 사이즈, 5개 속성 모션 튜플을 예측하며, 14,581개의 실제 영화 비디오에서 VLM이 주석을 단 샷으로 지도되고 GRPO로 최적화되며, 장면/샷 플래너와 캐릭터 뱅크 및 종료 프레임 컨디셔닝을 갖춘 평가자–수정자 루프로 감싸여 있다. 저자들은 카메라 워크 Macro-Acc가 에이전틱 기준선의 59.5와 미훈련 설정에서 가장 강력한 상용 참조의 60.1에 대비해 63.7이라고 보고하지만, 우위는 균일하지 않다. Macro-F1에서는 모든 백본에서 앞서지 못하며, 카메라 레이블과 테스트 레이블이 동일한 VLM 주석자로부터 나오므로 측정된 일치의 일부는 해당 주석자의 관례와의 일치이다. (후자는 이 보고서의 추론이지 저자들의 주장이 아니다.) 논문은 인간 평가를 향후 과제로 명시적으로 나열한다.

1.3 프롬프트 체이닝 대신 프로덕션 계층 DSL

CineCrew 은 시나리오와 생성기 사이에 명시적 중간 표현을 둔다. 클립은 클립당 세 계층(서사적 행동, 연속성 훅을 포함한 영화적 스테이징, 렌더 명세)을 가진 FilmDSL로 컴파일되고, 키프레임 우선으로 생성되며, 실패를 구조화된 QA 객체로 전환해 전체 클립 재프롬프팅이 아닌 국소화된 재생성을 유도함으로써 수리된다. 페르소나 스키마는 특성을 비트 수준 행동에 매핑하며, 지속적인 프로덕션 룰북은 크루 에이전트들(쇼러너, 아트 부서, 스토리 에디터, 데일리즈 리뷰어, 포스트 슈퍼바이저)이 공유한다. VLM이 판정한 20개의 MovieBench 서사에서 보고된 17개 지표 중 대부분에서 세 기준선을 앞서고, 24명 참가자 연구에서 여섯 축 중 다섯 축에서 승리하며, 샷 수준 영화적 점수에서는 LTX-Studio에 뒤진다. 논문에는 한계 섹션이 없으며, 수치를 비교하려는 사람에게 중요하게도 해상도, 클립 길이, 샘플링 스텝, 하드웨어 또는 기성 백본의 정체를 명시하지 않으므로 그 점수는 다른 논문의 점수와 나란히 놓을 수 없다.

1.4 검증기가 약점이다

"로그를 읽지 마라" 는 이런 루프를 만드는 사람들에게 이 달 가장 날카로운 결과다. 이는 프레임을 고정한 채, 하네스가 자체 멀티모달 심사관에게 제공하는 보조 텍스트(내레이션 대본, 실행 로그, 화면에 새겨 넣은 자막)만 바꾸고, 순전히 시각적 요구사항에 대해 판정이 흔들리는지 측정한다. 7B에서 32B에 이르는 오픈 가중치 Qwen-VL 심사관들은 실행 로그가 성공을 주장할 때 시각적으로 실패한 클립의 78–90%를 수용한다; 폐루프에서 비적대적 플래너들이 이를 악용한다 — 순진한 8B 구성은 심사관 통과 1.00으로 끝나지만 실제 통과는 0.28이며, 논문은 상한 항등식 실제 통과 ≤1−α0\le 1-\alpha_0가 구성 전반에서 소수점 둘째 자리까지 성립함을 보여준다. 테스트된 최전선 폐쇄형 심사관들은 흔들리지 않았지만, 예산 때문에 부분집합(26–109개 클립)에서 실행되었다. 제안된 수정은 프롬프트 수준이 아니라 구조적이다: 각 요구사항에 유형을 부여하고, 심사관에게 그 요구사항을 입증할 수 있는 증거 유형만 라우팅하며(프레임에 새겨진 텍스트를 가리는 OCR 마스킹 포함), 이는 해킹된 통과를 0.14–0.08로, 실제 통과를 0.86–0.92로 복원하되 에피소드당 비용은 대략 3–4배가 된다. 그 자체의 한계: 저자 라벨이 붙은 109개 클립 벤치마크, 배포된 것이 아니라 시뮬레이션된 수리 루프, 하나의 오픈 가중치 심사관 계열, 그리고 인스턴스화된 오디오 요구사항 없음.

그림 3. 보조 텍스트가 순전히 시각적인 요구사항에 대한 판정을 움직인다. 지지하는 실행 로그가 있으면 오픈 가중치 심사관들은 실패한 클립의 0.78–0.90을 수용하며(왼쪽 패널), 반박하는 로그는 Qwen3-VL 수용률을 0.00–0.08로 끌어내리지만 GPT-5.4-mini는 0.90에 머무른다(오른쪽 패널). 의 그림 1; 이 호를 위해 픽셀 수준에서 확인함.

1.5 "에이전틱"에 대한 기준, 그리고 그 기준 아래 코퍼스의 모습

Agentic Visual Generation 은 이 분야에 에이전틱성에 대한 일관된 기준이 없다고 주장한다 — 계획 깊이, 도구 수, 다중 역할 설계, RL이 모두 증거로 사용되지만, 그중 어느 것도 컨트롤러가 실제로 어떤 생성 결정을 내릴 수 있는지를 규정하지 않는다. 이 논문은 컨트롤러가 인과적으로 변경할 수 있는 가장 늦은 미래 생성 결정(명세 → 실행 → 과제 내 결과 적응 → 과제 간 경험 재사용)으로 정의되는 컨트롤러 역량 사다리 L0–L4를 제안하며, 모호한 사례는 더 낮은 수준에 배정한다. 이는 포지션 논문이다: 그 평가 프로토콜은 측정된 것이 아니라 제안된 것이며, 그 그림의 코퍼스 수치는 열람용 사본의 텍스트 레이어에서 사용할 수 없다. 그래도 그것이 보고하는 두 가지 구조적 관찰은 여전히 유익하다: 검토된 레코드 중 단 네 개만 L0에 해당한다, 즉 코퍼스는 의도적으로 컨트롤러를 지닌 시스템을 중심으로 구축되었다; 그리고 2026-H2에는 2026년 8월 24일까지 52개의 레코드가 그 레코드에 포함되어 있다.

표 1. 이 호의 에이전틱 시스템들이 실제로 최적화하는 것, 그리고 그것을 검증하는 방식.

시스템훈련 대상 객체검증보고된 근거 기반
StoryEngine 없음 (훈련 불필요)호환성 게이트 + 기준별 평가기, 제한된 수리스토리 60편 × 10샷, 백본 2종
MVAgent 오케스트레이터 (Trunk-GDPO, rank-64 LoRA)VLM 관찰자 + 텍스트/비디오 판정자스토리 35편 (ViMax-Bench)
VideoGen-Agent 도구 선택 정책 (SFT + GRPO)루프 내 검출 및 깊이 도구프롬프트 600개 (VABench)
CamPilot 카메라 워크 플래너 (GRPO)평가기–수정기 루프영화 비디오 14,581개
CineCrew 없음 (프롬프트 수준 역할의 크루)데일리 리뷰어 → 국소 재생성내러티브 20편 (MovieBench)
Don't Read the Log 없음 (감사 + 증거 라우팅)타입 지정 라우팅 + OCR 마스킹근접 실패 클립 109개, 실패 36건

주목해야 할 긴장. 한 달 사이에 다섯 편의 논문이 계획–생성–검증 루프를 구축했고, 한 편은 그 루프에서 가장 저렴한 구성 요소인 판정자가, 하네스가 자신의 실행 로그를 전달할 때마다 정직한 계획자에 의해 악용될 수 있음을 보여주었다. 9월에 제안된 완화책들(타입 지정 증거 라우팅, 판정자–인간 일치도 검사, VLM 없는 지표)은 표면적이 아니라 구조적이며, 이는 올바른 방향이다. 그러나 이들 중 어느 것도 아직 대규모로 배포된 하네스 내부에서 평가되지 않았다.

핵심 요점 — 9월의 에이전트형 비디오 파이프라인은 세 가지 작업으로 나뉘었다. 조건 구축(타입 지정, 시각적, 상태에 근거함), 컴포저 훈련, 결과 검증이다. 검증 작업은 이 셋 중 가장 신뢰하기 어렵다. 하네스 자체의 로그가 성공을 주장할 때 오픈 가중치 판정자는 눈에 띄게 실패한 클립의 78–90%를 수용하며, 정직한 계획자는 수리 루프 내부에서 이를 악용한다. 제안된 완화책은 프롬프트 수준이 아니라 구조적이며, 아직 어느 것도 배포된 하네스에서 검증되지 않았다.

2. 장기 지평 생성은 하나의 진단으로 수렴했고 해법에서는 갈라졌다

장기 비디오에 관한 9월의 거의 모든 논문은 동일한 실패에서 출발한다. 인과적으로 한 번에 한 청크씩 실행되도록 증류된 생성기는 약 5초의 훈련 지평을 훨씬 넘는 롤아웃에서 성능이 저하된다 — 드리프트, 포화, 또는 그 반대인 거의 정적인 프레임이다. 이 논문들은 또한 진단, 즉 히스토리가 형성되는 방식에서의 훈련–추론 불일치를 공유하며, 주로 루프의 어느 부분에 개입하는지에서 차이를 보인다. 놀랍게도 어느 논문도 단순히 컨텍스트 윈도우를 확대하여 길이를 확보하지 않는다.

2.1 히스토리가 어디에 있으며 어떻게 감독되는가

Self-Aligned Forcing 은 히스토리를 잡음이 있지만 미분 가능하게 만든다: 히스토리 키/값 상태가 별도의 기울기 없는 롤아웃에서 재구성된 뒤 분리되는 대신, 예측과 동일한 블록-인과 패스에서, 동일한 디노이징 단계에 생성된다. 그러면 파라미터 기울기가 읽기 항과 쓰기 항으로 분리되어, 미래 손실이 이전 블록이 이후 블록이 읽는 내용을 어떻게 인코딩하는지 감독할 수 있다. 저자들은 비교된 스트리밍 방법 중 가장 빠른 학습과 추론을 보고한다 — 5단계 주기당 155.18 GiB와 132.78초로, SGF의 187.45/186.73에 대비되며, 프레임 단위로 약 1.8×1.8\times 더 빠르고, 4-GPU 스테이지 파이프라이닝으로 49.1 잠재 FPS — 와 함께 청크 단위 설정에서 최고의 VBench 총점(85.04)을 보고한다. 보고된 그림은 완전한 석권이 아니며, 논문도 이를 보여준다: Interactive ViCLIP이나 VBench 의미 점수에서는 최고가 아니고, 프레임 단위 설정에서는 SGF가 여러 집계 지표에서 앞선다. 정보를 주는 부분은 그 절제 실험이다 — K/V 기울기를 분리하면 동적 정도 약 13점이 손실되고, 깨끗한 "싱크" 재캐시를 제거하면 동역학이 6.90으로 붕괴하는데, 이는 용량이 아니라 히스토리 인코딩 경로가 장기 모션을 담당한다는 강력한 증거다.

Recency Forcing 은 한 층 더 낮은 곳, 어텐션 가중치에 개입한다. 먼저 위치 응답을 측정한다 — 거리 Δ\Delta에 있는 컨텍스트 프레임을 대안 롤아웃의 프레임으로 교체할 때 속도 예측이 얼마나 변하는지 — 그리고 거리에 따른 급격한 감쇠와 디노이징 단계별 체계적 구조를 발견한다. 그다음 어텐션 로짓에 단조롭고 비양수인 편향을 추가하는데, 시간 거리와 디노이징 단계로 매개변수화되고 컨텍스트의 히스토리 부분에만 적용되며, 절제 실험 후 선형과 로그 대신 거듭제곱 법칙 감쇠를 선택한다. 재매개변수화가 편향을 값에 흡수시켜 수정되지 않은 FlashAttention 호출로 실행되는데, 논문은 이를 편향을 직접 적용한 FlexAttention의 70.34 ms에 대비해 6.06 ms로 측정한다(11.76×11.76\times). VBench-Long의 60초 설정에서 품질 84.02를 LongLive의 81.98과 Rolling Forcing의 81.56에 대비해 보고하고, 동적 정도는 75.48로 LongLive의 42.85에 대비된다. 명심할 두 가지: 학습 없는 변형과 학습 기반 변형은 서로 다른 모델 체제이므로 동일한 시스템으로 읽어서는 안 되며, 논문은 커널 마이크로벤치마크만 보고할 뿐 베이스라인에 대한 실제 시간이나 메모리 비교는 보고하지 않는다.

LongTake 은 교사 강제가 보는 것을 바꾼다. 짧은 클립에서 몇 단계 학생을 초기화하는 대신, 싱크와 최근 프레임의 캐시를 사용해 긴 정답 비디오에 교사 강제를 적용하는데, 저자들은 이것이 자기 롤아웃 DMD에 직접적인 초기화를 제공하고 전체 학습 단계 하나를 제거한다고 주장한다. 두 번째 메커니즘은 결과로 얻은 자기회귀 교사를 재사용해 학생 자체 롤아웃의 이후 프레임을 감독한다. 30초 롤아웃에서 하이브리드 DMD로 동적 정도 96.30을 보고하는데, Rolling Forcing의 93.44와 SGF, MemRoPE, Context Forcing의 ~51–59에 대비되며, 미학과 품질 점수는 비슷한 수준이다. 지표 문제에 대한 논문 자체의 프레이밍은 반복할 가치가 있다: 30초에서 더 높은 미학 점수를 가진 모든 베이스라인은 동적 정도 58 이하에 머물고, 동적 정도 90을 넘는 유일한 베이스라인은 미학 점수에서 3.9점 뒤처진다 — 두 축이 상충하며 단일 숫자가 이 계열을 잘못 표현할 것이라는 점을 상기시킨다.

그림 4. 동일한 5초 자기-롤아웃 증류 하에서 짧은 클립 초기화에 대비한 장기 지평 교사 강제(teacher forcing)를 30초 롤아웃에서 평가: 동적 정도 90.73 대 51.30, 피험자 일관성(96.83 대 98.19)과 미학적 품질(62.51 대 63.90)은 근접. 의 그림 5; 본 호에서는 픽셀 수준에서 확인함.

Rollout-Marginal Distillation 은 문맥이 아니라 감독 대상(supervision target)을 문제로 지목한다. 비디오 수준 분포 매칭은 전체 롤아웃을 함께 채점하므로, 교사의 실제 점수 예측이 학생의 결함 있는 이력을 물려받아 새 청크를 과거 아티팩트와의 일관성 쪽으로 교정하게 된다. 해결책은 각 청크를 청크-분포 교사에 대해 독립적으로 채점한 뒤, 비디오 수준 DMD로 정련하여 청크 간 일관성을 복원하는 것이다. VBench-Long 60초 비디오에서 보고된 격차는 크다 — 청크 크기 1에서 총점 81.26 대 Self Forcing 70.94, Causal Forcing 69.88 — 그리고 격차의 대부분은 의미 점수에 있다(68.24 대 43.17, 36.03). 논문은 이를 베이스라인들의 프롬프트 준수 붕괴로 돌리는데, 그 귀속은 그럴듯하지만 별도로 절제 실험(ablation)되지 않았다. 전체 방법은 품질에서 marginal-only 절제 실험보다 근소하게 낮고(84.52 대 84.90), 총점과 의미 점수에서는 앞선다 — 헤드라인을 인용하기 전에 알아둘 만한 세부 사항이다.

표 2. 장기 지평 학습–추론 불일치에 대한 여섯 가지 개입과 각 개입이 감독하는 대상.

논문레버변화 내용베이스 및 지평헤드라인 결과
Self-Aligned Forcing 이력잡음이 있으나 미분 가능한 이력 K/V로, 미래 손실이 쓰기 경로에 도달하게 함Wan2.1-1.3B, 20–100초4-GPU 파이프라이닝으로 잠재 FPS 49.1; VBench 총점 85.04
Recency Forcing 어텐션로짓에 단조 최근성 편향을 두고 값을 통해 흡수Wan2.1-1.3B, 60초VBench-Long 품질 84.02 대 81.98
LongTake 초기화긴 실제 비디오에 대한 교사 강제 후 자기-롤아웃 DMDWan2.1-1.3B, 30–60초30초에서 동적 정도 96.30 대 93.44
Rollout-Marginal Distillation 감독 대상청크별 주변 채점 후 비디오 수준 정련Wan 14B → 1.3B, 60초VBench-Long 총점 81.26 대 70.94
Mask Forcing 롤아웃 잡음DMD 목적은 그대로 두고 이중-잡음 마스킹Wan2.1-1.3B, 30초세 베이스라인 전반에서 HPSv3 +0.29에서 +1.03
SemanTok 토크나이저유지되는 모든 접두사가 동결된 DINOv2 특징을 재구성해야 함17프레임 128×128 클립85M 모델이 16-토큰 예산에서 2.29B 베이스라인을 능가

2.2 같은 계열의 다른 수정들

Mask Forcing 은 그 그룹에서 가장 저렴한 개입이다. 자기 롤아웃만 교란하여, 약간 더 깨끗한 타임스텝의 토큰을 무작위 마스크를 통해 예정된 노이즈 상태에 섞으면서 원래의 DMD 목적과 원래의 컨디셔닝 타임스텝은 유지하며, 세 가지 기존 파이프라인 전반에서 이득을 보고한다(Self Forcing의 경우 HPSv3 +0.29, Causal Forcing의 경우 +0.80, LongLive의 경우 +1.03). 그리고 72–83%의 인간 선호도를 보고하며, 실제 데이터도 추가 사후 학습도 없다. 유일한 회귀인 LongLive의 청크별 동적 정도가 76에서 69로 떨어진 것은 저자들이 드리프트가 광학 흐름을 부풀리는 VBench 아티팩트라고 설명한다. 그 설명은 측정이 아니라 주장이다. SemanTok 은 스택의 다른 쪽 끝을 공격한다. 유지되는 모든 프리픽스가 고정된 DINOv2 특징을 재구성해야 하는 비디오 토크나이저로, 초기 토큰이 클립 의미를 담도록 한다. 85M 자기회귀 모델이 16토큰 예산에서 두 데이터셋 모두 gFID에서 2.29B 기준선을 능가하며, 토큰이 32% 더 적은 비트를 소모한다고 보고한다. 그러나 평가는 17프레임 128×128 클립이므로, 스트리밍 동기는 입증된 것이 아니라 추론적인 것이며, 저자들 자신의 설명에 따르면 토크나이저는 낮은 예산에서 색상과 외관을 덜 충실하게 재구성한다.

핵심 요점 — 여섯 편의 논문이 서로 다른 계층에서 동일한 학습–추론 불일치를 공격했다: 히스토리 미분 가능성 , 어텐션 가중치 , 긴 비디오로부터의 초기화 , 증류 목표 , 롤아웃 노이즈 , 그리고 토크나이저 . 어느 것도 다른 것과 결합되지 않았으며, 결과는 지표에 의존한다: 이 논문들 전반에서 운동 역학과 지각 품질이 서로 상충하며, 그중 두 편은 일관성 지표가 거의 정적인 출력을 보상할 수 있다고 경고한다.

3. 세계 모델: 저장소에 경계를 둠으로써 상호작용 생성이 배포 가능해지다

9월의 상호작용 세계 모델은 백본에 의해 덜 차별화되고 — 대부분 기존 비디오 확산 모델을 감싼다 — 청크 사이에 장면을 어떻게 저장하는지에 의해 더 차별화된다. 이 주제는 그 저장소를 유한하게 만드는 논문들을 다루며, 다음 주제는 대신 그것이 커지도록 두는 논문들을 다룬다.

3.1 결코 커지지 않는 저장소

Honeycomb 은 장면을 여섯 개의 고정 크기 2D 평면 — 세 개의 공간적 평면과 세 개의 시공간적 평면 — 에 저장하며, 이들은 각 청크를 컨디셔닝하기 위해 읽히고 제자리에서 다시 쓰이므로 메모리는 롤아웃 길이에 따라 결코 커지지 않는다. 커지는 포인트 클라우드와 커지는 잠재 캐시에 대비하여 최고의 WorldScore 평균(65.52 대 63.21 및 61.20)과 폐루프 재방문 PSNR 17.22 dB(차선책의 15.99 대비)를 보고한다. 독자에게 가장 유용한 절제 실험은 기록기(writer)에 관한 것이다: 장면별 최적화는 17.44 dB에 도달하지만 쓰기당 약 3,130–3,228 ms가 소요되고, "교체" 기록기는 17.16 dB로 저하되며 쓰기 시간이 11.2 → 40.1 ms로 증가하는 반면, 순환 기록기는 13.1–13.2 ms의 일정한 시간에 17.22 dB를 유지한다. 이 설계의 명시된 비용은 해상도 트레이드오프이다: 장면 경계가 확장됨에 따라 고정 그리드가 더 넓은 공간과 시간을 더 거친 해상도로 커버한다. 한계 섹션이 없으며, 기준선의 바이트 풋프린트는 정량화되지 않고 정성적으로만 제시된다.

그림 5. Honeycomb의 첫 프레임 초기화, 메모리 컨디셔닝 생성 및 순환 업데이트, 오른쪽에 여섯 개의 고정 크기 HexMemory 평면이 있다. 의 그림 3에서 재현함; 이 호를 위해 이미지를 픽셀 수준에서 검사했다.

Honeycomb 은 Waypoint-1.5 로 보완된다. Waypoint-1.5는 1.28B 규모의 상호작용형 월드 모델로, 메모리 효율성보다 소비자용 GPU에서의 실시간성을 목표로 한다. 이는 블록별 컨트롤러 주입과 롤링 KV 캐시(조밀한 16프레임 로컬 링에 더해 매 네 번째 블록마다 확장된 128프레임 링)를 갖춘 단일 스트림 인과적 DiT이며, 프레임별 확산 포싱으로 학습되고 4단계로 증류되었다. 보고된 처리량이 핵심이다. 720P INT8은 RTX 5060 Ti 이상에서 30 latent FPS를 넘기고, 360P는 RTX 3060을 포함해 테스트된 모든 카드에서 이를 넘긴다. 논문이 보고하지 않은 것 역시 주목할 만하다. 지연 시간 수치도, 품질이나 FVD 지표도, 행동 준수 지표도, 명시된 월드 모델들과의 직접 비교도, 절제 연구도 없다. 논문 자체의 초록은 렌더링 FPS, latent FPS, 제어 속도를 구분한다고 주장하지만, 읽은 절들에서 정의되고 측정된 것은 latent FPS뿐이다. 이는 저자들의 주장이 아니라 이 보고서의 관찰이다. 시스템 논문으로서는 일관된 선택이지만, 이 월드 모델이 올바른지를 묻는 사람에게 9월의 증거 기반은 처리량에 정성적 롤아웃을 더한 것뿐이다.

표 3. 이 테마의 한정된 메모리 월드 모델.

시스템메모리한정됨?핵심 증거문서화된 비용
Honeycomb 제자리에서 갱신되는 6개의 고정 크기 평면예WorldScore 65.52 대 포인트 클라우드 기준선의 63.21한계가 확장됨에 따라 해상도 저하
Waypoint-1.5 롤링 KV 캐시(16프레임 링에 더해 확장된 128프레임 링)예RTX 5060 Ti 이상에서 720P INT8 기준 ≥30 latent FPS처리량만 평가; 품질 지표 없음

핵심 요점 — 저장소를 한정하는 것이 상호작용형 월드 모델을 배포 가능하게 만든다. 고정된 평면 집합은 보고된 쓰기당 13ms로 메모리를 일정하게 유지하고, 롤링 캐시는 소비자 하드웨어에서 인터페이스를 30 latent FPS 이상으로 유지한다. 그 대가는 두 논문 모두에서 드러난다. 한계가 확장됨에 따라 해상도가 저하되고, 실시간 작업은 처리량만으로 평가되며 제어 충실도나 장기 지평 안정성 측정은 없다.

4. 월드 모델: 추론이 아니라 설계상 저장소를 성장시키기

4.1 융합된 기하 versus 커밋된 기하

OctWorld 는 반대 경로를 택한다. 복셀 해상도가 깊이로부터 픽셀별로 할당되는 확장 가능한 옥트리 TSDF 맵으로, 생성된 RGB-D 관측과 융합되고 다음 청크를 위한 조건으로 다시 렌더링된다. 이는 월드 메모리가 축적되기보다 융합되어야 한다는 이번 달의 가장 분명한 진술이다. 이는 WorldScore 정적 50.31과 3D 일관성 71.67을 보고하는데, 이는 Gen3C의 70.52와 Voyager의 66.35에 맞선 수치이며, 22명 참가자 사용자 연구에서 긴 야외 궤적에 대해 Gen3C를 53.8% 대 39.5%로 이긴다. 인정된 비용은 실재한다. 복셀 가지치기가 없고, 모든 노드가 GPU에 캐시되어 메모리가 장면 범위에 따라 증가하며, 거친 노드가 특징을 유지하지 않으므로 시점 의존적 세부 수준이 없다. 기준선들도 서로 다른 해상도와 청크 길이로 실행되므로(Gen3C 1280×704/121프레임, Voyager 768×512/49, OctWorld 832×480/36), WorldScore 표는 설정을 혼합하며 일치된 비교로 읽어서는 안 된다.

WorldWeave 는 더 엄격한 규칙으로 같은 본능을 더 밀어붙인다. 생성된 RGB는 결코 월드 상태로 다시 쓰이지 않는다. 대신 지형, 구역, 자산 인스턴스, 상속된 경계 인터페이스로 구성된 명시적 메트릭 월드가 검증된 구성을 통해 성장하며, 비디오 생성은 이를 읽기 전용으로 질의한다. 지형 확장은 측정 문제로 취급된다(이웃에 피팅된 표면에 대한 잔차 인코딩, 디코더 역전, 접합부에서의 에르미트식 도함수 제약: 높이만 사용하는 접합은 0.319 m 잔차를 남기지만, 도함수 상속은 이를 10−910^{-9} m 아래로 낮춘다). 120개의 탐색 및 재방문 과제에서 이 시스템은 최고의 구조적 운동 일관성(2.30 대 2.21)과 두 번째로 높은 미적 점수를 보고하며, 시드 안정성은 기준선보다 훨씬 더 타이트하다(이미지 품질의 변동 계수 0.39% 대 가장 근접한 경쟁자의 27.61%). 논문 자체의 서술에서 나온 두 가지 주의점이 있다. WorldWeave는 구축된 월드에서 질의한 깊이를 받는 반면 기준선은 첫 프레임, 궤적, 프롬프트만 받으므로 조건이 일치하지 않으며, 저자들은 정적 기하로 범위를 한정하고 깊이를 하드 렌더링 제약이 아닌 안내로 사용한다.

그림 6. WorldWeave의 파이프라인: 메트릭 지형 청크는 커밋된 이웃에 대해 완성되고, 장면은 상태 커밋 전에 계획 및 검증되며, 비디오 생성은 읽기 전용 잠금 아래에서 커밋된 월드를 질의한다. 의 그림 2; 본 호에서는 픽셀 수준으로 확인하였다.

표 4. 본 테마의 성장하는 기억 월드 모델.

시스템기억성장하는가?대표 증거문서화된 비용
OctWorld 생성된 RGB-D로부터 융합된 확장 가능한 옥트리 TSDF예, 가지치기 없음3D 일관성 71.67; 사용자 연구 53.8% 대 39.5%GPU 메모리가 장면 범위에 따라 증가
WorldWeave 명시적으로 구축된 월드, 커밋 전용 쓰기예, 검증된 커밋을 통해구조적 운동 일관성 2.30 대 2.21기준선이 받지 못하는 깊이를 받음; 정적 장면만
H3-World 없음 — 고정 길이 세그먼트해당 없음행동 역전 흐름 +52.7 → −106.0품질 지표 없음, 영속 상태 없음

4.2 생성기 자체 인터페이스를 통한 제어

H3-World 는 이 그룹에서 가장 저렴한 개입이다. 행동 모듈을 추가하는 대신, 잠재 구간별 캐릭터 및 카메라 행동을 짧은 자연어 프롬프트로 표현하고, 이를 동결된 33B MiniMax-H3 생성기의 패킹된 자기 주의 시퀀스에 미러링된 위치 오프셋과 결정론적 "단일 출구" 주의 마스크와 함께 패킹하며, 순위 32 LoRA만 훈련한다 — 보고된 바에 따르면 파라미터의 0.199%, 7,872개 클립, 10,000 스텝이다. 흥미로운 결과는 진단이다. 하나의 전역 운동 명령을 받은 동결 모델은 클립 중간의 역전에 거의 반응하지 않고(누적 평균 수평 흐름 0.0 → −17.3), LoRA를 0으로 한 잠재 구간별 인터페이스는 반응하지 않으며(0.003), 훈련된 버전은 +52.7 → −106.0을 생성한다. 일정한 운동에서는 동결 모델과 H3-World가 거의 동일하며(301.8 대 300.5), 이는 LoRA가 거친 운동이 아닌 시간 가변 제어를 제공한다는 저자들의 주장을 뒷받침한다. 수치적으로 뒷받침되지 않는 주장은 "생성 품질 보존"(정성적 예시만 있고 FVD나 인간 연구 없음)과 일반성이다. 이 연구는 단기 지평 및 고정 길이이며, 영속 월드 상태도, 실시간 상호작용도, 계획도 없고, 지연 시간이나 하드웨어 수치도 보고하지 않는다.

핵심 요점 — 저장소가 성장하도록 허용될 때, 이번 달의 두 경로는 신뢰하는 대상에서 차이를 보인다. OctWorld는 생성된 관측을 옥트리에 융합하고, 그 대가로 증가하는 메모리와 복셀 가지치기 부재를 감수한다. 반면 WorldWeave는 생성된 픽셀이 아예 다시 쓰이도록 허용하지 않고, 세계에 결합되기 전에 모든 커밋을 검증한다. 둘 다 일관성에서 자신들의 베이스라인을 능가한다 — 그러나 동일한 조건에서는 아니다. WorldWeave는 베이스라인들이 결코 보지 못하는 깊이 정보를 제공받으며, OctWorld의 베이스라인들은 서로 다른 해상도와 청크 길이로 실행되기 때문이다.

5. 제어와 편집: 더 큰 모델이 아닌 더 저렴한 인터페이스

제어와 편집은 선별된 코퍼스에서 가장 큰 단일 항목이었으며, 여기서 검토한 논문들은 하나의 설계 본능을 공유한다. 즉 사용자가 지정해야 하는 것을 줄이고, 새로운 양식을 학습하기 저렴하게 만드는 것이다. 네 편 중 두 편은 또한 제어 논문의 결과가 얼마나 평가 프로토콜에 의존하는지를 보여준다.

5.1 더 적게 요구하기

CoaG 는 사람이 어느 정도의 기하학만 그리면 사람이 서 있는 위치와 카메라가 움직이는 위치를 모두 고정할 수 있는지 묻고, 그 답으로 와이어프레임 격자로 그려진 지면 평면과 사람마다 하나의 직립 원기둥을 제시한다 — 포즈도, 방향도, 박스도 없다. 공개된 14B 제어 백본 위의 LoRA는 약 1,935개의 자동 생성된 튜플로 학습된다(랭크 64, 한 번에 전문가 하나, 8×H100에서 전문가당 GPU당 약 1시간 50분 및 70 GB). 방법론적 수정 하나는 이 논문을 넘어 적용되므로 특별히 언급할 가치가 있다. 기본 레시피는 참조 이미지를 대상 클립의 프레임에서 가져오는데, 이는 제어 영상이 공급해야 할 바로 그 레이아웃을 누설한다. 따라서 CoaG는 참조를 인페인팅된 배경에서 읽는다. 저자들은 인간 연구도, 절제 실험 격자도, 정량적 제어 가능성 지표도 수행하지 않았다는 점을 이례적으로 명시하므로, 표현에 관한 주장은 균일하게 샘플링된 정성적 결과와 직접 작성한 스트레스 테스트(원기둥 여섯 개면 사람 여섯 명, 1.7/0.6의 성인–아동 키 비율이 보존됨, 급경사의 탑다운 및 지면 수준 카메라는 따르지 못함)에 의존한다. 논문에서 가장 유익한 수치는 데이터셋 자체의 실패 통계다. 여덟 개의 캡션 카드 중 일곱 개가 카메라 움직임을 요청함에도, 생성된 학습 클립의 47%가 정적 카메라를 가지며, 파이프라인은 2,000개 클립에서 658건의 피사체 수 불일치를 표시한다. 이는 이 LoRA가 학습할 수 있었던 것에 단단한 상한을 설정하며, 저자들은 이를 숨기지 않고 보고한다.

그림 7. CoaG의 제어 표현과 데이터 엔진: 동일한 세 입력 — 장면 격자, 참조 이미지, 텍스트 — 이 학습과 추론 모두에서 공유 렌더러에 공급되며, 랭크 64 LoRA가 디노이징 단계마다 두 개의 가중치 집합으로 동결된 제어 백본을 적응시킨다. 의 그림 2; 본 호를 위해 픽셀 수준에서 검토함.

BEACON 은 피사체별 인간 영상에 대해 유사한 "값싼 인자 하나 추가" 전략을 취한다. 정체성은 이미지로 유지되지만, 행동은 두 분기가 서로 누출되지 않도록 하는 어텐션 설계를 통해 별도의 표정 영상에 조건화되며, 동결된 14B 백본 위에서 약 0.15B의 학습 가능 파라미터로 학습된다. 보고된 표현력 향상은 상당하며(MEAD에서 emotion-FID 0.86 대 두 베이스라인의 2.28 및 3.17), 정체성–표정 전이 — 한 피사체의 얼굴에 다른 피사체의 역동성을 결합 — 를 보여준다. 흥미로운 결과는 프로토콜 효과이다. 통상적인 중립 참조 측정 프로토콜에서 BEACON의 얼굴 유사도(0.760)는 Stand-In 베이스라인(0.826) 아래이지만, 정답 프레임이 표정을 띠는 경우에는 순서가 역전된다(0.852 대 0.678). 따라서 어떤 참조 프레임이 사용되었는지 명시하지 않고 단일 정체성 지표만 인용하는 이 하위 분야의 모든 비교는 해석 불가능하다. 저자들은 또한 잔여 외형 누출(생성된 눈 색상이 표정 참조를 부분적으로 따름)을 인정하며, 가장 가까운 이중 참조 선행 연구로 지목한 Slot-ID와는 비교하지 않는다.

표 5. 이 주제의 제어 및 편집 논문들.

논문사용자가 지정하는 것학습 비용대표 증거문서화된 단서
CoaG 지면 격자와 인물당 실린더 하나8×H100에서 전문가당 LoRA, 약 1시간 50분 및 70 GB샘플링된 스트레스 테스트에서 레이아웃, 수 및 카메라 경로 준수정량적 제어 가능성 지표나 베이스라인 없음
BEACON 정체성 이미지와 표정 참조 영상동결된 14B 백본 위에서 약 0.15B 학습 가능emotion-FID 0.86 대 2.28 및 3.17중립 프로토콜에서 얼굴 유사도가 베이스라인 미만
VideoX-Qwen 마스크 없는 명령3단계; 마지막 단계에서 30K 큐레이션된 720p 클립11개 자동 지표 중 9개에서 최고 평균VLM 판정기 하나, 100개 예시, 인간 연구 없음
SVEET 명령, 스타일, 마스크 또는 깊이, 스트리밍A100 하나에서 LoRA rank 128, 백본 동결VLM 편집 정확도 7.43 대 7.0715 FPS 주장, 표로 제시된 적 없음

5.2 데이터 문제로서의 편집

VideoX-Qwen 은 명령 기반 편집에 데이터 중심 접근을 취한다. 합성 쌍 레코드 파이프라인(객체 제거, 추가, 교체 및 속성 편집을 각 방향에 대해 기존 비디오 모델을 재사용)은 89%의 자동 수용률로 1.2M개 이상의 방향성 레코드를 생성하며, 통합 편집기는 희소 의미 토큰과 조밀한 소스 잠재를 모두 소비하고 점진적으로 더 높은 해상도의 세 단계로 학습된다. 100개 예시에서 UniVideo 및 Kling O1과 비교하여 11개 자동 지표 중 9개에서 최고 평균을 보고한다 — 명령 준수 7.70 대 6.91 및 7.61, SSIM 0.766 대 0.572 및 0.670 — 판정기는 Qwen2.5-VL-7B 모델이며 인간 연구는 없다. 저자들은 Kling O1이 미적 및 화질 측면에서 여전히 더 강하다고 언급하며, 많은 선행 연구가 지목되었음에도 직접 비교는 이 두 시스템에 국한된다.

SVEET 는 스트리밍 편집을 공략하는데, 여기서 명백한 경로—편집 능력을 인과적 백본으로 증류하는 것—은 비용이 많이 든다. 이에 대한 답은 양방향 모델에서 편집을 학습하고 재훈련 없이 동결된 스트리밍 백본으로 전이하는 것이다. 제어 브랜치를 전체 3D 어텐션에서 프레임별 2D 공간 어텐션으로 변경하고(따라서 추가적인 시간적 KV 캐시가 없음), 최소제곱/SVD 절차를 통해 학습 가능한 업데이트를 양방향-인과 격차를 담고 있는 방향들의 직교 여집합으로 제한한다. 방법들 간에 동일한 테스트 세트를 사용하는 VLM 편집 정확도 점수에서 3D 어텐션 VACE 변형의 7.07에 대해 7.43을 보고하며, 절제 실험은 두 변경 모두 기여함을 보여준다(직교 훈련 없는 3D 7.07, 이를 적용한 2D 7.43). 두 가지 주의점이 있다. 단일 H100에서의 15 FPS 운용점은 어떠한 지연 시간 표도 없이 주장되며, 가장 엄격한 일반성 주장(이종 백본 간 전이)은 하나의 정성적 부록 그림에 의존한다. 또한 논문의 각 섹션에 있는 두 학습률도 서로 불일치한다(1×10−41\times10^{-4} 대 5×10−55\times10^{-5}).

핵심 요점 — 9월의 제어 논문들은 모두 사용자가 지정해야 하는 것을 줄인다. 지면 평면과 인물당 하나의 원기둥이 레이아웃과 카메라를 함께 제어하고 , 정체성은 이미지로 유지되며 행동은 두 번째 참조 비디오에서 나오고 , 지시 편집은 아키텍처가 아니라 120만 개의 합성 쌍 레코드로 얻어지며 , 스트리밍 편집은 인과적 백본을 재훈련하지 않고 양방향 모델에서 전이된다 . 네 가지 중 두 가지는 측정된 표가 아니라 주장된 운용점에 의존하며, 두 가지는 대표적인 정체성 또는 속도 수치가 측정 프로토콜에 의존함을 보여준다.

6. 효율성: 네 개의 별개 레버, 그리고 능력과 목표 사이의 더 명확한 경계

9월의 효율성 연구는 하나의 이야기가 아니다. 이는 용량, 근사 정확도, 서빙, 재사용으로 깔끔하게 나뉘며, 네 논문 중 두 편은 자신의 수치가 무엇을 의미하고 무엇을 의미하지 않는지 독자에게 알리기 위해 상당한 노력을 기울인다.

6.1 용량과 근사

SplitMoE 는 용량을 공략한다. LLM 스타일의 토큰별 전문가 혼합(mixture-of-experts) 라우팅과 로드 밸런싱은 시공간적으로 일관된 비디오 패치를 무관한 전문가들에 분산시키므로, 전문가 풀을 의미론적 풀과 일반적 풀로 분할하고, 깨끗한 VAE 특징에서 도출된 프로토타입 안내로 라우팅하며, 의미론적 전문가들의 균형을 의도적으로 맞추지 않는다. Wan 2.2 저소음 체크포인트에서 업사이클되어 27B 파라미터 중 14B를 활성화하며, 로드 밸런싱된 MoE 베이스라인과 동일 소스의 밀집 모델 모두와 비교된다. 이는 인과적 주장을 위해 논문이 의존하는 비교인데, 교차 모델 행들이 연산량이 일치되지 않았음을 명시적으로 경고하기 때문이다. 동일 소스 통제군을 나열된 모든 VBench-2 및 T2V-CompBench 열에서 앞서며(인간 충실도 84.47 대 73.49 및 73.08, 제어 가능성 45.72 대 35.51 및 30.37), 훈련 시 반복당 6.84초를 보고하는데 이는 MoE 베이스라인의 6.69초, 밀집 모델의 5.66초와 비교된다. 공식 Wan 2.2 앙상블에 대해서는 7개 중 5개에서 이기고 제어 가능성과 상호작용에서 지며, 상식과 수리 능력에서는 LongCat-Video에 뒤진다. 따라서 이는 라우팅 품질의 결과이지 일률적인 승리가 아니며, 논문도 그렇게 말한다.

PARK 는 연산량이 아니라 근사 정확도를 공격한다. 희소 어텐션은 보통 평균화된 중심점으로부터 쿼리/키 블록의 점수를 매기는데, PARK는 두 가지 추정 불일치를 보여준다 — 소프트맥스 이전에 쿼리를 평균화하면 쿼리별 선호가 소실되고, 유클리드 키 클러스터링은 키-중심점 오차를 지배하는 점수 분포가 아니라 키 분산을 최소화한다 — 그리고 둘 다 고친다(모든 쿼리를 유지하고 그 정규화된 가중치를 평균화하며, 쿼리에서 유도된 계량 공간에서 키를 클러스터링하는데 이는 Cholesky 변수 변환으로 실현 가능하다). 네 개의 모델에 걸쳐 희소 베이스라인 중 최고의 PSNR/SSIM/LPIPS를 1.53–1.76× 종단 간 속도 향상과 함께 보고한다. 핵심 유의점은 지표 정의에 있다: 그 PSNR/SSIM/LPIPS 값들은 절대적 품질이 아니라 덴스 어텐션 출력과의 유사도를 측정하며, VBench 열들은 덴스 대비 10분의 몇 이내에 머문다. 소거 실험은 깔끔하다 — 어느 구성 요소를 제거하든 지연 없는 품질이 손실된다(쿼리 보정 없이 PSNR 29.85 → 28.40, 키 클러스터링 없이 → 29.54). 이것이 논문의 진짜 요점이다: 그 오차들은 고치는 데 비용이 들지 않는다.

표 6. 이 테마의 효율성 논문들.

논문수단설정대표 증거문서화된 유의점
SplitMoE 프로토타입 유도 라우팅을 갖춘 분할 역할 MoEWan 2.2, 27B 중 14B 파라미터 활성인간 충실도 84.47 대 로드 밸런싱 MoE의 73.49공식 앙상블 대비 제어 가능성 상실
PARK 희소 어텐션을 위한 정확한 블록 검색720p의 네 모델덴스 대비 최고 유사도에서 1.53–1.76× 종단 간 속도 향상지표는 품질이 아니라 덴스 출력과의 유사도를 측정
Sol-H3 교차 해상도 2단계 서빙 및 탐색된 스택MiniMax-H3 33B1–4 GB200에서 13.7–17.0×, DGX Spark에서 31×동일 워크로드에 대해 보고된 두 타이밍이 불일치
LongLive-Plug 일회성 역량 LoRAWan2.2-TI2V-5B, 54개 다운스트림 모델~80 대 ~457 GPU-시간; 5×–12.5× 적은 스텝재사용에는 기반 모델의 호환 가능한 파생 모델이 필요

6.2 서빙과 재사용

Sol-H3 는 방법론 논문이라기보다 서빙 보고서이며, 이번 달 가장 구체적인 배포 증거이다. 그것은 MiniMax-H3의 49스텝 1344×7681344\times768 궤적을 672×384672\times384에서의 4스텝, 잠재-대-잠재 핸드오프(학습된 ×2 업샘플러와 교차 VAE 어댑터, VAE 왕복의 12,749 ms 대비 63 ms), 그리고 다른 백본을 사용하는 3개의 정제 스텝으로 재구성한 뒤, 명시적인 실패 시 차단(fail-closed) 계약 아래 커널과 통신 스택을 탐색한다: 탐색은 생성 계약을 변경할 수 없으므로, 수용된 모든 변경은 동등 조건 비교이다. 보고된 결과: 1–4 GB200에서 49스텝 베이스라인 대비 13.7–17.0×, DGX Spark에서 31×, RTX 5090에서 26.3×, 그리고 메모리는 142.4 GiB(119.68 GiB 풀 초과)에서 엣지 디바이스에서 116.9 GiB로 감소했다. 그것은 저해상도 초안/고해상도 정제 레시피가 선행 기술임을 인정하고 자신의 기여는 서빙 실현이라고 밝힌다; 또한 조화되지 않는 두 수치(표 1이 9.475 s로 제시하는 동일한 명목상 5초 워크로드에 대해 6.226 s 수치)를 보고하며, 2단계 파이프라인에 대해 정성적 비교 외에는 품질 지표가 없다.

LongLive-Plug 는 재사용을 목표로 삼는다: 백본 계열 위에서 세 가지 능력, 즉 단일 패스 CFG, 4단계 샘플링, 장문맥 오류 수정을 한 번 증류하여, 대상 데이터나 대상 훈련 없이 호환되는 다운스트림 체크포인트에 병합할 수 있는 기능적 LoRA로 만든다. 경제성은 핵심 성과다: 공유 기본 어댑터에 약 80 H100 GPU-시간이 소요되는 반면, 측정 대상 네 개 과제 전반에 걸쳐 과제별 증류를 누적하는 데는 456.8 GPU-시간이 소요되며, 재사용은 5×–12.5× 단계 감소로 여덟 개 과제 범주에 걸친 54개 다운스트림 모델에서 검증되었다. 솔직한 부분이 핵심 성과보다 더 중요하다: 장문맥 결과는 승리가 아니라 지표에 따라 달라지는 트레이드오프를 동반한 경쟁력 수준이라고 저자들이 서술하며(VBench 7차원 평균 73.51 → 75.77 at 64 s, 그러나 배경 일관성은 88.87 → 80.81로 하락), 재사용은 기본 모델의 호환되는 자손을 요구하고, 이 논문은 자사의 단순 기준선 비교가 어댑터와 샘플러 모두에서 다르므로 LoRA의 고립된 효과는 입증되지 않았다고 인정한다.

그림 8. 한 번에 모두 수행하는 증류는 비용 곡선을 바꾼다: 과제별 증류는 네 개 다운스트림 과제에 걸쳐 163.9 → 456.8 H100 GPU-시간으로 누적되는 반면, 공유 기본 어댑터는 약 80시간에 머문다. 의 그림 2; 이 호를 위해 픽셀 수준에서 확인함.

핵심 요점 — 9월의 효율성은 하나가 아니라 네 개의 별도 지렛대였다: 고정 활성 파라미터에서의 용량 , 희소 어텐션 근사의 정확도 , 서빙 스택 , 그리고 한 번에 모두 수행하는 증류 . 가장 강한 패턴은 전이 가능한 능력과 대상별 훈련의 분리 — 약 80 GPU-시간의 공유 어댑터 대 과제별 증류의 약 457 — 그리고 수치가 무엇이 아닌지를 밝히려는 태도다: 절대적 품질이 아니라 밀집 모델과의 유사성 , 또는 승리가 아니라 지표에 따라 달라지는 트레이드오프 .

7. 오디오–비디오: 사운드트랙이 편집 가능해지고, 보상은 서로 분리되는 법을 배운다

여기서 다루는 두 논문은 공동 오디오–비디오 생성에 대한 진단을 공유한다: 오디오 쪽이 하나의 단일 신호로 취급되어 왔다는 것이다. 두 논문은 이를 상반된 방식으로 해결한다.

7.1 사운드트랙을 편집 가능하게 만들기

Soundwich 는 학습이 필요 없다. 동결된 결합 오디오–비디오 플로 모델을 감싸서, 단일 오디오 잠재가 NN개의 소스별 스템과 내부 장면 스템으로 확장되도록 한다. 스템별 가이던스와, 소리가 나는 참조 및 무음 참조에서 캡처한 캐시된 "캐리어" 어텐션 벡터를 사용하여 각 소스가 언제 활성화될지 스케줄링한다. 장면 스템은 생성의 전반부에서 공유 컨텍스트를 모으고 장면 통합 단계에서 이를 다시 브로드캐스트한 뒤, 그 후 장면 스템은 폐기된다. 결과 스템은 재타이밍, 음소거, 교체 또는 리믹스가 가능하며, 보고된 스케줄링 수치는 크다. 윈도 성공률은 93.1%로, 동일 백본의 단순 배치 확장인 15.0%와 상용 옴니 모델의 85.0%에 대비되며, 윈도 밖 활동은 1.7%로 69.7%에 대비되고, 의도된 윈도 내 단어 오류율은 0.060으로 0.779에 대비된다. 이 항목을 유용하게 만드는 것은 불확실성 보고이다. 저자들은 부트스트랩 구간을 제시하며, 상용 모델과의 차이가 단어 오류율(−0.008, CI [−0.156, 0.175])과 윈도 성공률(+8.1 pp, CI [−2.8, 22.8])에서 0을 포함하므로, 해당 표본 크기에서 지지되는 것은 시작 오류 차이(−0.541 s, CI [−1.323, −0.068])뿐이라고 언급한다. 베이스라인들도 서로 다른 해상도에서 실행되며, 인간 연구는 비교된 시스템 중 세 개만을 다룬다.

그림 9. Soundwich의 계층적 생성: 소스별 시간 윈도가 있는 장면 프롬프트가 하나의 공유 비디오 위에서 스템 형성을 이끌고, 엔티티 라우팅이 각 스템을 시각적 소스에 결속하며, 출력은 오디오 스템을 개별적으로 편집할 수 있는 비디오이다. 의 그림 2이며, 이 호에서는 픽셀 수준에서 검토되었다.

7.2 보상을 분리해서 유지하기

AV-GRPO 는 대신 결합 모델을 강화 학습으로 사후 학습하며, 핵심 아이디어는 크레딧 할당이다. 짝지어진 오디오–비디오 샘플을 하나의 정책 출력으로 취급하는 대신, 각 단계는 앵커 모달리티의 완전히 실현된 궤적에 조건화되고 다른 타워만 업데이트하며, nn 스텝마다 교대한다. 따라서 그룹 내에서 앵커 보상은 일정하고 중심화 후 상쇄되어, 동기화 비교가 통제된 상태로 남는다. 난이도 계층화 프롬프트 세트와 함께 LTX-2.3 22B 백본에서 오디오 품질 5.097 → 5.798과 비동기화 0.757 → 0.542를 베이스 대비 보고하며, 대부분의 열에서 다중 보상 베이스라인을 능가한다. 또한 두 가지 퇴행을 인정하는데(LoRA 변형에서 비디오 품질 5.816으로 베이스 5.855 미만, 시각적 사실성 4.395로 4.399를 근소하게 밑돎), 타워 동결의 명시된 동기인 비용 절감 주장에는 실제 시간이나 메모리 측정이 수반되지 않는다.

오디오는 다른 곳에서 다룬 두 논문에서도 일급 제약이다. 은 비디오 어텐션을 희소화하면서 생성된 오디오를 밀도 있고 정확하게 유지하고 이를 정제를 거치지 않고 그대로 통과시키며, 는 제어를 추가하면서 네이티브 오디오 스트림을 보존하지만 이를 평가하거나 점수화하지 않는다.

표 7. 이 테마의 결합 오디오–비디오 논문들.

논문경로베이스대표 증거문서화된 단서
Soundwich 학습 없는 계층적 오디오 스템동결된 LTX-2.5 22B윈도 성공률 93.1% 대 단순 확장 15.0%상용 모델과의 격차는 신뢰 구간에 0을 포함함
AV-GRPO 모달리티 앵커 분리형 RLLTX-2.3 22B오디오 품질 5.097 → 5.798; 비동기 0.757 → 0.542두 가지 품질 퇴행 인정; 비용 주장은 측정되지 않음

핵심 요점 — 같은 불만에 이르는 두 가지 상반된 경로: Soundwich는 훈련 없이 단일 혼합 트랙을 스케줄된 스템으로 확장하여 동결된 모델의 단일 혼합 트랙을 편집 가능하게 만들고 , AV-GRPO는 공동 모델을 사후 훈련하여 각 모달리티의 보상이 앵커 궤적을 고정한 채 자신의 타워만 업데이트하도록 한다 . 첫 번째는 가장 인용하기 좋은 격차들에 대해 0을 포함하는 부트스트랩 구간을 보고하고, 두 번째는 측정한 적 없는 훈련 비용 절감을 주장하면서 두 가지 품질 퇴행을 인정한다.

8. 생성 평가 및 거버넌스: 지표 타당성이 연구 주제가 되다

이달의 평가 및 안전 논문들은 유난히 자기 비판적이며, 그중 세 편은 주로 분야가 어떻게 측정하는가에 관한 주장을 한다.

8.1 지표가 실제로 측정하는 것

Video Generation Models: A Survey of Post-Training and Alignment 는 여기서 일종의 목록 역할을 한다: 지도 미세 조정, 자기 훈련/증류, 선호 및 보상 방법, 추론 시 조향 전반에 걸친 117개 방법 항목과, 크기를 포함한 20개 훈련 데이터셋 및 28개 벤치마크. 독자에게 가장 유용한 내용은 저자들이 자신들의 표에 붙인 경고다 — 취합된 점수는 리더보드가 아니다, 왜냐하면 프로토콜이 기본 모델, 크기, 샘플링 예산 및 프롬프트 세트에서 다르고, 해상도, 클립 길이 및 샘플링 단계는 대부분의 평가에서 아예 보고되지 않기 때문이다. 취합된 증거에 대한 실질적 해석은 매끄러움과 일관성 점수가 동적 정도를 따라가지 않으며, 하나의 보상을 최적화하면 다른 차원이 평평하거나 더 나빠질 수 있다는 것이다; 또한 비디오 모델 특유의 안전 사후 훈련은 "여전히 강력한 연구 성과가 부족하다"고 분명히 밝히고, 자기회귀 정렬은 문헌이 압도적으로 확산 기반이기 때문에 과소 대표되어 있다고 한다.

Scaling Video Generation for Reasoning 는 이러한 회의의 장르를 통제 실험으로 전환한다: 정확한 시뮬레이터 정답이 있는 2×2×22\times2\times2 루빅스 큐브, 아홉 개의 규정된 회전, 그리고 일곱 가지 크기(19.7M–938.4M)에 걸쳐 처음부터 훈련된 모델. 중심 결과는 지표 타당성 발견이다 — 검증 흐름 MSE는 모델을 능력 순으로 정렬하지 않으며, 순서를 뒤집을 수도 있다: 150만 훈련 비디오에서 1B 모델은 70M 모델보다 더 낮은 MSE를 가지지만 평균 프레임 정확도는 41.00% 대비 3.67%이다. 연산 이야기도 똑같이 구체적이다: 약 0.1 PF-일에서 70M 모델은 44.6%의 행동 후 프레임 정확도에 도달하는 반면 1B 모델은 0.3%이며, 3.14 PF-일에서야 83.7%에 도달한다. 세 번째 발견은 건설적인 것이다: 상징적 상태 예측 패스를 추가하면 0.0445 PF-일에서 20M 모델이 31.1%에서 67.3% 프레임 정확도로 향상되어, 1.33 PF-일의 550M 비디오 전용 모델과 대략 맞먹는다 — 약 30배의 연산이다. 두 가지 정직한 단서: 스티커 표현은 수작업으로 만들어졌으며 일반화되지 않을 수 있고, 거듭제곱 법칙 연산 외삽은 예산이 아니라 예시적이라고 표시되어 있으며 적합 창 민감도가 강하다. 또한 기억할 만한 진단을 보고한다 — 모델은 행동의 80%를 올바르게 따르면서 프레임의 0.3%만 정확히 맞힐 수 있다, 즉 잘못된 큐브의 올바른 면을 돌리는 것이다.

그림 10. 적합되고 외삽된 연산–정확도 프런티어: 동일한 측정값이 프런티어의 어느 부분을 적합하느냐에 따라 크게 다른 투영을 뒷받침한다 — 평균 프레임 기준의 경우 마지막 3분의 1에서 23.55 PF-일 대 중간 3분의 1에서 422,700 PF-일. 의 그림 7; 이 호를 위해 픽셀 수준에서 확인함.

표 8. 이 테마의 평가 및 안전 논문.

논문측정하거나 깨뜨리는 것설정핵심 증거문서화된 주의사항
Post-training survey 117개 방법의 분류 체계 및 편집된 표diffusion/DiT 백본이 주류를 이룸자체 표에서 점수가 리더보드가 아님을 경고통합된 재평가나 메타분석 없음
Scaling for Reasoning 연산량 대비 역량, 처음부터 학습1,970만–9억 3,840만 파라미터, 루빅스 큐브약 0.1 PF-days에서 7,000만 모델이 프레임 정확도 44.6%에 도달, 10억 모델은 0.3%수작업 상태 표현; 외삽은 예시적임
EraseSAE 동결된 생성기 내부의 개념 삭제CogVideoX-5B, HunyuanVideo누드 2.62 대 2.88, SSIM 74.99 대 42.39핵심 격차는 서로 다른 베이스라인에서 비롯됨
BadAction 순차적 행동 채널에 대한 백도어Astra + Wan2.1-1.3B, 100개 자기중심적 클립공격 성공률 91.0%(SSIM) / 89.6%(인간) 대 69.4/61.3단일 백본 및 단일 데이터셋; 탐지기는 행동을 전혀 보지 못함

8.2 삭제와 새로운 공격 표면

EraseSAE 는 희소 오토인코더를 텍스트-투-비디오 확산에서의 개념 삭제에 도입한다: 분할된 합성곱 SAE가 문맥과 개념 특징을 분리하고, 대조적 로그비 귀인이 개념 커널을 오프라인으로 선택하며, 타임스텝별로 해석된 마스크가 추론 시 공간적으로 변조된 가이던스 패스를 게이팅한다. 누드 삭제에서 CogVideoX-5B의 생성기 분할에 대해 가장 강력한 베이스라인의 2.88 대비 2.62를 보고하며, 무관한 콘텐츠 보존이 훨씬 뛰어나고(SSIM 74.99 대 42.39), 다섯 연예인 신원에 대한 잔여 탐지 감소도 크다. 세 가지 주의점이 있다: 두 핵심 격차는 서로 다른 베이스라인에 대해 계산되므로 하나의 격차가 아니다; 절제 연구는 단일 손실 항이 SSIM에 18.32포인트 기여함을 보여주는데, 이는 한 구성요소에 의존하기에는 큰 효과다; 그리고 서론의 핵심 백분율 이득은 읽은 바로는 실험 섹션의 어떤 표에서도 재현할 수 없었으며, 이 논문에는 한계 섹션이 전혀 없다.

BadAction 는 아무도 공격하지 않았던 채널에 대한 백도어 공격을 연구한다: 프롬프트도 픽셀도 아닌, 대화형 비디오 모델의 순차적 행동 스트림이다. 행동 시퀀스에 접합된 고정된 4단계 운동 패턴이 동결된 대상 비디오와 짝을 이루어, 모델이 트리거되면 이후 사용자 행동에 응답을 멈추도록 학습시키는 한편 정상 시퀀스는 정상적으로 작동한다. SSIM 기반 측정으로 91.0%, 10명의 인간 평가자로 89.6%의 공격 성공률을 보고하며, 가장 강력한 이미지 채널 베이스라인의 69.4% 및 61.3%와 대비된다. 정상 유용성은 깨끗한 모델에 가깝다(CLIPSIM 82.3 대 85.1). 방어 결과가 실질적 발견이다: 두 확산 백도어 탐지기가 행동 채널 공격에서 F1 66.2와 29.3에 도달하는데, 이는 이들이 행동 제어가 아닌 이미지 및 텍스트 채널을 검사하기 때문이다. 범위 한계는 실재한다 — 단일 백본, 단일 자기중심적 데이터셋, 100개 클립, 그리고 해상도·클립 길이·하드웨어 미보고 — 그러나 공격 표면은 논문이 언급한 문헌에 비해 진정으로 새롭다.

교차적 관점. 의 검증기 오염 감사와 함께, 이 섹션은 9월에 이 분야의 가장 약한 측정 연결고리가 루프에 가장 가까운 것들이었음을 시사한다: 에이전트 하네스 내부의 심판, 모델 크기를 비교하는 데 사용되는 손실 곡선, 편집된 리더보드, 그리고 행동 채널을 결코 보지 못하는 탐지기.

핵심 요점 — 생성하는 것뿐 아니라 측정하는 것도 이번 달의 연구 주제가 되었다. 검증 손실(validation loss)은 능력에 대해 잘못된 방향을 가리킬 수 있으며 , 117개 사후 학습(post-training) 방법을 조사한 서베이는 자체 표에서 취합된 점수가 리더보드가 아니라고 경고한다 . 그리고 방어가 주목하지 않는 곳에서 새로운 공격 표면이 나타나고 있다 — 상호작용 모델의 순차적 행동 채널 과 에이전트 하네스의 보조 텍스트 이다. 비디오 사후 학습에 특화된 안전성 연구는 여전히 부족하며, 서베이도 이를 분명히 밝히고 있다.

그 밖의 기록

전문을 읽은 논문 외에도, 스크리닝한 220편의 논문을 일곱 가지 주제로 분류했다(단일 라벨; 주요 기여가 여러 주제에 걸쳐 있거나 신뢰도가 낮은 54편은 미배정으로 남겼다). 아래 수치는 이번 달의 확인된 경로 내 수치이며 분야 점유율이 아니고, 이 주제들에 관한 논문이 전체적으로 얼마나 존재하는지에 대해서는 아무것도 말해주지 않는다.

표 9. 스크리닝 코퍼스의 주제와 전문을 읽지 않은 대표 논문(제목과 초록에 대한 단일 라벨 분류; 수치는 확인된 경로 내에서만 집계).

주제분류된 논문 수전문을 읽지 않은 예시
제어와 편집43Vidu S2 (실시간 상호작용 편집), LIFT (layout-in-future generation), DynaTokens, PartiCam, ThinkV2V, ViTeX-Bench
평가, 물리, 안전성37HappyWorld-Bench, OPIS, Principia, MotionInsight, 생성형 IPR을 위한 비디오 워터마킹, FOMO (선택적 비디오 언러닝)
효율성과 시스템36TSGate, SparkDiffusion, WaveAlign, DSAQuant, UnStep, Carnator, vidax
월드 모델과 상호작용15Zing-0.5 (행동과 텍스트의 공동 제어), Astronex-World, SolarWM, DiVA, Code Plans → Diffusion Renders
롱 비디오, 자기회귀, 스트리밍13Elastic Forcing, ViRDM, Compress to Remember, No Corners Cut, Video DeltaNet
에이전틱 오케스트레이션12DramaAgent, Timeline-Bench, MVWeaver, Unified Agentic Video Editing, DataMagic, MaLiang-Harness
오디오–비디오 결합10오디오-비디오 모델의 Attention Triangle, ORAV, AV-SafetyBench, PRISM-Bench, AVIO

범위와 방법

검색과 스크리닝

코퍼스는 v1 제출일 2026-09-01부터 2026-09-30까지를 대상으로 한 키워드 및 의미 검색의 병합 결과이며, 작성된 포함 기준 — 비디오 생성 모델 또는 그 생성 능력에 대한 기여, 단 기여가 생성 방법으로 되돌아오는 경우에만 도메인 전이 연구를 인정 — 에 따라 스크리닝했다. 374편의 후보를 스크리닝하여 220편이 통과했으며, 스크리닝된 작업 집합은 视频生成 2026-09 · AI 精筛이다.

증거 깊이와 공백

220편 중 32편은 전문 — 방법 및 실험 섹션과 섹션 맵이 드러내는 부록까지 — 를 읽었고, 나머지는 제목과 초록만으로 요약했다. 제외된 154편 중 20편을 재검토했으며, 경계선상의 제외 한 편 — 이미지-투-비디오 생성의 절차적 정확성 벤치마크 — 은 결정 임계값 바로 아래에서 스크리닝 아웃되었고 니어미스(near-miss)로 기록한다. 이번 호의 세 수치는 텍스트가 아닌 그림에서 가져왔으며(LongTake의 동적 정도, Recency Forcing의 사용자 연구, CamPilot의 카메라 하위 과제) 기저 노트에 그렇게 표시되어 있다.

제외된 경계 사례

도메인 특화 생성 작업, 즉 주행 장면 및 구현형 세계 모델, 비디오 착용 시뮬레이션, 수어 및 더빙 시스템은 기여 자체가 생성 방법인 경우를 제외하고 범위 밖으로 처리되었다. 일부 항목은 10월 시리즈(2610.xxxxx)의 arXiv 식별자를 포함하는데, 이는 해당 v1이 2026-09-30에 제출되어 다음 배치에서 발표되었기 때문이다. 기간은 식별자가 아닌 v1 제출 날짜에 적용되었다. 주제별 집계는 제목과 초록에 대한 단일 레이블 분류기에서 산출되었으며, 220편 중 54편이 미할당으로 남아 있으므로 이는 근사치이며 한 논문은 하나의 주제 아래에만 나타난다.

주목할 논문 한눈에 보기

표 10. 이번 호에서 다루는 논문, 각 논문이 당기는 지렛대, 그리고 그 핵심 수치를 가장 크게 제한하는 주의 사항.

논문주요 수단기반 / 설정핵심 증거(보고된 대로)주요 한계
StoryEngine 명시적 스토리 상태 + 경계된 복구Veo 3.1 및 Wan2.2-TI2V-5B, 60개 스토리 × 10개 샷Veo에서 평균 0.7690 대 0.6274(ViMax)판정자 = 루프 내 평가자; 계획 오류는 복구 불가
MVAgent 타입 지정 시각 조건화 + 샷 수준 RL동결된 Veo 3.1, ViMax-Bench 35개 스토리일관성 0.5611 대 0.5500; 인간 선호도 60.06%절제 블록은 다른 오케스트레이터를 사용
VideoGen-Agent 훈련된 도구 선택 정책Qwen3-VL-8B, VABench 600개 프롬프트75.6(더 강한 도구 사용 시 86.1) 대 기본 56.5보상 VLM = 벤치마크 판정자; 단일 작업 RL이 근소하게 더 높음
Don't Read the Log 증거 라우팅(감사 + 수정)109개 근접 실패 클립, 36개 실패판정자는 지지적 로그 하에서 실패의 78–90%를 수용; 라우팅 후 실제 통과율 0.28 → 0.86109개 클립 벤치마크, 시뮬레이션된 복구 루프
CamPilot 학습된 카메라 문법14.5K 영화 비디오, Firefly 백본카메라 Macro-Acc 63.7 대 59.5레이블과 테스트가 하나의 VLM 주석자를 공유
CineCrew 제작 DSL + 크루 에이전트20개 MovieBench 내러티브17개 지표 중 대부분에서 3개 베이스라인을 앞섬한계 섹션 없음; 백본과 해상도 미기재
Self-Aligned Forcing 미분 가능한 노이즈 히스토리Wan2.1-1.3B, 20–100초155.18 GiB / 132.78초 대 187.45 / 186.73모든 집계에서 최고는 아님; 베이스라인은 이전 보고서에서 인용
Recency Forcing 어텐션 로짓에 대한 최근성 편향Wan2.1-1.3B, 60초VBench-Long 품질 84.02 대 81.98훈련 불필요 변형과 훈련된 변형은 서로 다른 모델
LongTake 장기 비디오 교사 강제Wan2.1-1.3B, 30–60초30초에서 동적 96.30 대 93.441.3B만 해당; ΔIQ류 지표는 정적 출력에 유리
Rollout-Marginal Distillation 청크 주변부 감독Wan 14B → 1.3B, 60초총계 81.26 대 70.94자체 주변부 전용 절제보다 품질이 낮음
Honeycomb 상수 크기 순환 메모리Wan2.2 5B, WorldScore평균 65.52 대 63.21한계 섹션 없음; 베이스라인 메모리 사용량은 정량화된 적 없음
Waypoint-1.5 실시간 iWM을 위한 시스템1.28B 인과 DiT, 소비자 GPURTX 5060 Ti 이상에서 720P INT8 ≥30 잠재 FPS처리량만 평가; 품질이나 준수 지표 없음
OctWorld 확장 가능한 옥트리 TSDF 메모리15B 및 14B, 433–505 프레임정적 50.31, 3D 71.67베이스라인이 서로 다른 해상도/청크 길이에 있음
Scaling for Reasoning 통제된 스케일링 연구19.7M–938.4M, 루빅스 큐브약 0.1 PF-일에서 70M이 44.6% 대 1B이 0.3% 프레임 정확도수작업 상태 표현; 외삽은 예시적임
Sol-H3 교차 해상도 서빙 + RSI 탐색MiniMax-H3 33B13.7–17.0×(클라우드), 31×(엣지)동일 워크로드에 대해 보고된 두 타이밍이 불일치
LongLive-Plug 일회성 역량 증류Wan2.2-TI2V-5B, 54개 다운스트림 모델~80 대 ~457 GPU-시간; 5×–12.5× 스텝 감소재사용에는 호환되는 후속 모델 필요; 장문맥은 트레이드오프
Soundwich 훈련 불필요 계층형 오디오 스템LTX-2.5 22B, 15개 장면윈도 성공률 93.1% 대 15.0%(순진한 확장)상용 모델과의 격차는 신뢰구간에 0을 포함
AV-GRPO 모달리티 고정 분리 RLLTX-2.3 22B오디오 품질 5.097 → 5.798; DeSync 0.757 → 0.542두 가지 품질 퇴보를 인정; 비용 측정 없음
EraseSAE SAE 개념 삭제CogVideoX-5B, HunyuanVideo누드 2.62 대 2.88, SSIM 74.99 대 42.39격차는 서로 다른 베이스라인에서 비롯; 한계 섹션 없음
BadAction 행동 채널 백도어Astra + Wan2.1-1.3B, 100개 클립ASR 91.0/89.6 대 69.4/61.3하나의 백본과 하나의 데이터셋; 해상도 미보고

References

[1] Yingrui Wang, Zeqing Wang, Yeying Jin. StoryEngine: A State-Grounded Agentic Framework for Video Storytelling. arXiv:2609.33627, 2026. https://arxiv.org/abs/2609.33627

[2] Xiangyu Kong, Wenjie Zhou, Fengping Tian, et al. MVAgent: Multi-Agent Video Generation via Consistent Condition Construction and Shot-Level Policy Optimization. arXiv:2609.30609, 2026. https://arxiv.org/abs/2609.30609

[3] Binxu Li, Haoyi Duan, Yuhui Zhang, et al. VideoGen-Agent: Reinforcing Video Generation Agents. arXiv:2609.24997, 2026. https://arxiv.org/abs/2609.24997

[4] Jian Xu. Don't Read the Log: Execution Traces Contaminate Verifiers in Video-Generation Agents. arXiv:2609.28564, 2026. https://arxiv.org/abs/2609.28564

[5] Yang Wu, Stefano Petrangeli, Ishita Dasgupta, Yu Shen. CamPilot: A Multi-Agent Cinematic Assistant for Camera-Controlled Movie Generation. arXiv:2609.10943, 2026. https://arxiv.org/abs/2609.10943

[6] Jiaben Chen, Sixun Dong, Qinhong Zhou, et al. Better Call CineCrew: Consistent Ultra-Long Narrative-to-Film Generation. arXiv:2609.07720, 2026. https://arxiv.org/abs/2609.07720

[7] Yinming Huang, Shuyuan Tu, Xi Yan, et al. Agentic Visual Generation: From Generative Models to Agentic Control. arXiv:2609.06758, 2026. https://arxiv.org/abs/2609.06758

[8] Weiqiang Wang, Zhuokun Chen, Yusheng Dai, et al. Self-Aligned Forcing: Streaming Video Diffusion with Differentiable Noisy History. arXiv:2609.38114, 2026. https://arxiv.org/abs/2609.38114

[9] Tri Cao, Hung Nguyen, Phong Nguyen, Khoi Nguyen. Recency Forcing: Bridging the Long-Horizon Gap in Autoregressive Video Generation. arXiv:2609.19729, 2026. https://arxiv.org/abs/2609.19729

[10] Byoungwoo Park, Jaemoo Choi, Juho Lee, Yongxin Chen. LongTake: Learning to Sustain Dynamics in Long-Horizon Video Generation. arXiv:2609.38562, 2026. https://arxiv.org/abs/2609.38562

[11] Chenjian Gao, Zhihao Hu, Jianqi Ma, et al. Rollout-Marginal Distillation for Long-Horizon Autoregressive Video Generation. arXiv:2609.37925, 2026. https://arxiv.org/abs/2609.37925

[12] Zhuoran Zhao, Shengju Qian, Tongtong Liang, et al. Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout. arXiv:2609.09123, 2026. https://arxiv.org/abs/2609.09123

[13] Mikhail Dereviannykh, Vikram Voleti, Simon Donne, et al. SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation. arXiv:2610.00686, 2026. https://arxiv.org/abs/2610.00686

[14] Jack Wei Lun Shi, Kaichen Zhou, Haoyu Chen, et al. Honeycomb: Constant-Size Scene Memory Representation for Video World Models. arXiv:2609.37690, 2026. https://arxiv.org/abs/2609.37690

[15] Rajit Rajpal, Shahbuland Matiana, Liew Wei Pyn, et al. Waypoint-1.5: A Real-Time Video World Model for Consumer Hardware. arXiv:2609.37107, 2026. https://arxiv.org/abs/2609.37107

[16] Zelong Lv, Sicheng Xu, Jianfeng Xiang, et al. OctWorld: Long-Range World-Consistent Video Generation with Octree-Based 3D Mapping. arXiv:2609.03919, 2026. https://arxiv.org/abs/2609.03919

[17] Yifan Huang, Lifan Jiang, Qingyue Hao, et al. WorldWeave: Growing Persistent Geometric Worlds for Video Generation. arXiv:2609.34221, 2026. https://arxiv.org/abs/2609.34221

[18] Danze Chen, Zeqing Wang, Ziyue Lin, Xingyi Yang, Yeying Jin. H3-World: Turning Language Understanding into World Control. arXiv:2609.01560, 2026. https://arxiv.org/abs/2609.01560

[19] Zhangsihao Yang, Mengyi Shan. CoaG: Cylinders on a Grid for Coarse 3D Layout Control in Video Generation. arXiv:2609.24208, 2026. https://arxiv.org/abs/2609.24208

[20] Pokrzywa Baptiste, Nabyl Quignon, Yara Bahram, et al. BEACON: Behavior and Appearance Control for Subject-Specific Video Generation. arXiv:2609.13264, 2026. https://arxiv.org/abs/2609.13264

[21] JJiahang Li, Dingbao Shao, Xinyu Chen, et al. VideoX-Qwen: Data-Centric Instruction-Based Video Editing. arXiv:2609.26015, 2026. https://arxiv.org/abs/2609.26015

[22] Yujia Hu, Jiajun Li, Zihao He, Songhua Liu. Streaming Video Editing with Easy Adaptation (SVEET). arXiv:2609.24788, 2026. https://arxiv.org/abs/2609.24788

[23] Yu Xu, Yuxin Zhang, Xiao Yang, et al. Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE. arXiv:2609.38140, 2026. https://arxiv.org/abs/2609.38140

[24] Yun Dai, Jiarui Wen, Huiping Zhuang, Cen Chen, Ziqian Zeng. PARK: Accurate Block Retrieval for Sparse Attention in Video Diffusion Transformers. arXiv:2609.38978, 2026. https://arxiv.org/abs/2609.38978

[25] Yitong Li, Jincheng Yu, Junsong Chen, et al. Sol-H3: Recursive Self-Improvement for MiniMax-H3 Inference Acceleration on Sol-Engine across Cloud and Edge. arXiv:2609.35110, 2026. https://arxiv.org/abs/2609.35110

[26] Shuai Yang, Luozhou Wang, Wei Huang, et al. LongLive-Plug: Once-for-All Distillation for Video Generation. arXiv:2609.38154, 2026. https://arxiv.org/abs/2609.38154

[27] Zhuo Ning, AmirHossein Naghi Razlighi, Sagi Polaczek, et al. Soundwich: Video Generation with Layered and Controllable Audio. arXiv:2610.00691, 2026. https://arxiv.org/abs/2610.00691

[28] Zhiyu Xu, Weilong Yan, Yufei Shi, et al. AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation. arXiv:2609.29816, 2026. https://arxiv.org/abs/2609.29816

[29] Chaoyu Li, Xiaoyi Gu, Yogesh Kulkarni, et al. Video Generation Models: A Survey of Post-Training and Alignment. arXiv:2610.00812, 2026. https://arxiv.org/abs/2610.00812

[30] Weihang Guo, Xiaoyu Wu, Yifei Wang, Niloofar Mireshghallah, Lydia E. Kavraki. Scaling Video Generation for Reasoning: At What Cost? arXiv:2609.36599, 2026. https://arxiv.org/abs/2609.36599

[31] Xinghao Wang, Dong Li, Wei Yu, et al. EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders. arXiv:2609.03629, 2026. https://arxiv.org/abs/2609.03629

[32] Zhihang Wu, Zhongqi Wang, Jie Zhang, et al. BadAction: Backdoor Attacks on Interactive Video Generation via Action-Guided Triggers. arXiv:2609.39047, 2026. https://arxiv.org/abs/2609.39047

이 보고서 인용하기

bibtex
@misc{parallax-2026-video-generation-in-september-2026, title = {{Video Generation in September 2026 — Progress Tracking}}, author = {{Parallax}}, year = {2026}, month = oct, howpublished = {\url{https://parallax.ink/research/en/video-generation-in-september-2026}}, url = {https://parallax.ink/research/en/video-generation-in-september-2026}, note = {Parallax Research, Digest} }

계속 읽기