arxiv-wiki

WOVEN: Weaving Visual World Modeling into Multimodal LLMs

• 게시일: 2026-10-10
• arXiv: 2610.12417v1 · PDF
• 저자: Zheyu Fan, Yue Zhang, Mingkai Deng, Kangrui Wang, Qineng Wang, Canyu Chen, Jie Hao, Xing Fan, Chenlei Guo, Eric P. Xing, Mohit Bansal, Manling Li
• 분야: cs.CV, cs.CL, cs.LG
• 선정 점수: 5.99
• 선정 이유: 최근성 0.7, 인용 영향 0.0 (인용 0회), 저자 영향 2.0 (최고 h-index 123), AI 주제 적합성 2.7, 개발자 관심 0.0, 학술 신호 0.6, 오픈 웨이트·주요 연구조직 신호 0.0

← 2026-10-10 목록으로 돌아가기

한 문장 요약

비디오 생성 모델로 만든 제어된 (s,a,s’) 전이 슈퍼비전을 모은 WOVEN을 제안하여 MLLM들의 시공간·물리·행위 추론 약점을 규명하고, 소규모 전이학습(약 2천문항 수준)으로 광범위한 다운스트림 전이가 가능한 시각 전이(reasoning) 훈련 레시피를 도출했다.

해결하려는 문제

멀티모달 대형언어모델(MLLM)은 시공간적·물리적·행위 기반·시간적 추론에서 반복적이고 계통적인 실패를 보이는데, 저자들은 이러한 실패들이 공통적으로 ‘행위 조건적 시각 전이(visual transition) 추론’의 결핍에서 기인한다고 가설을 세웠다. 기존 벤치마크들은 특정 과제를 따로따로 다루어 전이의 구성요소(장면, 행위, 추론 연산)를 독립적으로 통제·비교할 수 없으므로, 어떤 형태의 전이 슈퍼비전이 어떤 다운스트림 과제에 전이되는지 체계적으로 규명하기 어렵다.

핵심 기여

• WOVEN 데이터셋 및 벤치마크 공개: 비디오 생성 모델(롤아웃)을 이용해 생성한 (s,a,s’) 전이 기반 36,076개의 오류유형화된 4-선택지 문항(훈련 22,728, 검증 2,508, 테스트 3종 총 36,076)을 장면(20종), 행위(5종), 추론연산(8종)으로 라벨링하고, in-distribution / scene-OOD / state-perturbation 분할을 제공.
• 대규모 진단: GPT-5.4 등 선도적 38개 MLLM을 WOVEN으로 평가하여 인간(92.3%) 대비 최고 모델도 65.8%에 그치는 등 시각 전이 추론의 계통적 결핍을 규명하고 실패 패턴(예: temporal adjacency가 ordering보다 어려움, 기하적 변화에 더 취약)을 제시.
• 학습 가능성과 광범위 전이 입증: Qwen2.5-VL-3B-Instruct 등 여러 규모의 MLLM에 SFT/GRPO로 WOVEN 학습을 적용해 전이 추론이 학습 가능함을 보이고(예: 한 모델의 in-distribution 정확도 26.4%→89.3%), 전체 훈련으로 26개 외부 벤치마크 중 12개 개선, controlled subsets(약 2,000문항) 조합으로 22/26 개선을 달성.
• 전이 슈퍼비전의 대체 가능성 및 인과성 실험: 일정 예산(2,000문항)에서 다운스트림 과제별 학습 데이터 중 30–50%를 WOVEN 항목으로 대체해도 정확도가 유지되어 전이 슈퍼비전이 과제별 데이터의 일부 기능을 대체함을 보임.
• 훈련 레시피 도출 및 검증: 전이의 전이성(transfer)을 결정하는 주요 기준은 ‘추론 연산(reasoning operation)’이며(행위·장면 일치보다 중요), 상태변화 크기가 클수록(조작>카메라 이동) 강건성 향상, 시간적·에이전트 구동 전이는 직접 감독 필요, 정적 지각 과제에는 전이 감독이 도움되지 않는다는 실험 기반 규칙을 제안하고 보류(held-out) 벤치마크로 전향적 검증.

접근 방법

• 핵심 방법은 (1) 시각 전이 추론을 (s, a, s’) 트리플로 형식화하고 8개의 추론 연산(앞방향/역방향 역학, 반사실 제거/치환, 결과 예측/큐드 예측, 시간적 순서/인접성)을 정의한 뒤, (2) 장면(20종), 행위(5종: Exo(수동 물리 8원리 포함), Perc(카메라), Insp(검사), Navi(탐색), Mani(조작))과 추론 연산 축으로 데이터/슈퍼비전을 분류하는 분류학을 설계한다.
• (3) 실제 비디오가 제공하지 못하는 통제성을 위해 Wan2.2-I2V-A14B 비디오 생성 모델로 롤아웃을 생성(P1: world-model isolation — 결과는 모델 롤아웃에 의존; P2: 같은 초기 상태에서 대안 롤아웃 생성)하고, 여러 롤아웃에서 정답과 오류유형별 오답(예: 방향 반전, 중력 위배)을 뽑아 4-선택지 다지선다 문항을 구성한다.
• (4) 데이터는 훈련(22,728), 검증(2,508), 테스트(in-distribution 6,228; scene-OOD 3,496; state-perturbation 1,116)로 분할한다.
• (5) 훈련은 두 방식: 전체 WOVEN로 supervised fine-tuning(SFT), 그리고 각 제어된 서브셋(행위×추론 가족 조합, 각 약 2,000문항)에 대해 SFT 후 GRPO(강화기반 루프, Shao et al. 참조)를 적용해 평가한다.
• (6) 평가는 WOVEN 내 테스트셋들과, 무학습(제로샷)으로 26개의 외부 벤치마크(시공간·물리·행위·시간 관련 22개 + 정적 지각/일반 비디오 QA 4개)를 사용해 전이 효과를 측정한다.

주요 결과

• 데이터·규모: WOVEN 전체 36,076문항(훈련 22,728; 검증 2,508; 테스트 10,840), 20장면, 5행위, 8추론연산.
• 진단 결과: 38개 선도 MLLM 평가에서 최고 모델(GPT-5.4) in-distribution 정확도 65.8%에 그쳐 인간(92.3%) 대비 큰 격차를 보임. 시간적 인접성 문제와 기하적(geometric) 초기상태 변화에 대한 취약성이 일관적으로 관찰됨(예: 기하 변화에서 정확도 큰 폭 하락).
• 학습 가능성: Qwen2.5-VL-3B-Instruct를 WOVEN 전체로 SFT하면 in-distribution 정확도가 26.4%→89.3%, held-out scenes 88.2%으로 상승(표 3). 제어된 서브셋 단일 학습도 in-distribution에서 +6.1~+25.3 포인트 향상(서브셋 당 약 2,000문항).
• 광범위 전이: 전체 WOVEN 훈련은 외부 26개 벤치마크 중 12개를 개선(예: SAT +24.0 포인트). 제어된 서브셋들을 다운스트림별로 최적으로 선택하면 22/26 벤치마크 개선, 최대 +27.3 포인트(표 4,5).
• 데이터 대체성·인과성: 제한된 예산(2,000문항)에서 과제별 데이터의 30–50%를 WOVEN 항목으로 대체해도 정확도 유지(또는 경우에 따라 향상), 단순 삭제(control)보다 우수하여 WOVEN이 과제별 학습 목표의 일부를 실제로 제공함을 시사(그림 3). 또한, 서브셋별 WOVEN 정확도 향상과 외부 평균 이득의 상관계수 r=0.86로, WOVEN 내 능력 향상이 외부 전이와 강히 연관됨을 보임(§4).

한계

• 저자 명시 한계(논문 본문에서 직접 언급):
• • 전이 슈퍼비전은 시간적(reasoning family: temporal) 문제와 다른 가족(인과·반사실·물리 등) 사이에서 잘 전이되지 않음(즉, temporal supervision은 비-시간적 과제로 전이되지 않음).
• • 수동 물리 이벤트(exogenous)로부터 학습한 내용은 에이전트 구동(agent-driven) 전이(조작·탐색 등)로 잘 전이되지 않음; 따라서 시간·에이전트 관련 과제는 직접 감독이 필요함.
• • 전이 감독은 정적 지각(static perception) 과제(속성 인식 등)를 개선하지 않으므로, 정적 능력에는 별도 감독이 필요함 (§5).

개발자 관점

• 재현과 데이터 준비: WOVEN은 비디오 생성 모델(저자들은 Wan2.2-I2V-A14B 사용)을 통해 롤아웃을 생성하고, 같은 초기 상태에서 여러 대안 롤아웃을 만듦으로써 forward/inverse/counterfactual/temporal supervision을 확보한다. 재현하려면 유사한 품질의 VGM(비디오 생성 모델) 접근성과 후처리·품질검사 파이프라인이 필요하다(생성·편집 아티팩트 제어 포함).
• 데이터 설계: 각 항목은 장면·행위·추론연산 라벨을 포함하므로, 원하는 전이 연산을 목표로 한 서브셋(약 2,000문항)만 골라도 다수의 실제 벤치마크에 전이 가능. 따라서 비용-효율적 파인튜닝을 위해 목적에 맞는 서브셋을 선별해 사용하라(핵심 규칙: ‘어떤 행위를 보여주었는가’보다 ‘어떤 추론 연산을 가르치는가’에 따라 선택).
• 훈련 레시피 및 하이레벨 팁: (1) 다운스트림 과제의 필요한 추론 연산에 해당하는 WOVEN 서브셋을 우선 선택, (2) 강건성이 필요하면 상태 변화를 크게 일으키는 행위(조작, 탐색, 수동 물리 이벤트)를 포함, (3) 시간적·에이전트 기반 문제는 temporal/agent-driven 서브셋을 직접 포함, (4) 정적 인식 과제는 별도의 감독 데이터 유지.
• 학습 방법·효율성: 전체 WOVEN(약 7시간 분량의 생성 비디오)에 대한 SFT(그리고 선택적 GRPO)로도 큰 성능 개선을 얻을 수 있어, 대규모 비디오 수집·중간학습 없이도 저비용 전이학습이 가능. 일부 실험은 LoRA(랭크16, α=32, 드롭아웃0.05)로 진행되었고(부록), SFT 후 GRPO 조합이 사용됨.
• 실무적 주의사항: (a) WOVEN은 4-선택지 다지선다 형식으로 구성되어 있으므로, 생성/평가 파이프라인을 다른 출력 포맷(자유텍스트)으로 옮길 때는 포맷 차이에 따른 편향을 확인해야 함, (b) WOVEN 항목으로 기존 데이터의 일부(30–50%)를 대체할 수 있으나, 전부 대체하거나 다른 유형(시간적/정적 등)을 대체하면 성능이 저하될 수 있으므로 제한적으로 적용할 것, (c) 생성롤아웃의 품질·편향(특정 물리원리/객체 분포가 모델에 의해 과대반영될 가능성)에 주의하여 검증·제어할 것.

근거 범위: 이 분석은 제공된 논문 PDF 본문(본문과 표, 그림 캡션, 본문 인용 수치 및 부록 요약을 포함)에서 직접 확인한 내용에 기반한다. 본문에서 제시된 주요 숫자(예: 데이터 크기 36,076, 훈련 22,728, Qwen2.5-VL-3B In-distribution 26.4→89.3, GPT-5.4 baseline 65.8 vs 인간 92.3, 외부 개선 최대 +27.3 등)는 본문 표와 서술에서 인용한 값이다. 구현·하이퍼파라미터의 세부값(예: GRPO의 내부 하이퍼파라미터), 일부 부록의 완전한 설정 및 전체 38개 모델 목록 등은 본문에 요약되어 있으나 전체 세부사항은 부록/코드 저장소에서 확인해야 하므로 해당 항목들은 본문 근거로만 기술했음을 명시한다.

This site is open source. Improve this page.