OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video
- 게시일: 2026-10-09
- arXiv: 2610.12419v1 · PDF
- 저자: Hongyu Li, Manyuan Zhang, Kaituo Feng, Shu Chen, Dian Zheng, Hao Li, Hao Yu, Zhangquan Chen, Zoey Guo, Ray Zhang, Shaofei Huang, Tianrui Hui, Linjiang Huang, Si Liu
- 분야: cs.CV
- 선정 점수: 4.80
- 선정 이유: 최근성 1.3, 인용 영향 0.0 (인용 0회), 저자 영향 0.0 (최고 h-index 0), AI 주제 적합성 2.4, 개발자 관심 0.6, 학술 신호 0.5, 오픈 웨이트·주요 연구조직 신호 0.0
← 2026-10-09 목록으로 돌아가기
한 문장 요약
Visually Grounded Evidence Graph(VGEG)를 중심으로 이미지·멀티이미지·비디오에 걸친 증거 추적과 시각적 그라운딩을 통합 학습하여 도구 기반 멀티모달 딥리서치 에이전트를 설계하고 EVGR 보상으로 증거 추적성과 시각적 그라운딩을 RL로 강화한 OneSearch-VL을 제안한다.
해결하려는 문제
단일 이미지, 다중 이미지, 비디오의 딥 리서치는 시각적 근거 탐색(visual grounding), 외부 웹 검색, 사실 구성(증거 합성)을 공통 워크플로로 공유하지만, 지역화된 시각 앵커(영역/프레임), 엔티티 간 관계, 출처로 뒷받침되는 사실, 답을 만들어내는 연산 간의 인과적·증거적 의존성을 보존하는 통일된 참조 구조가 부족해 통합 정책 학습과 과정 수준 감독·평가가 어렵다.
핵심 기여
- Visually Grounded Evidence Graph(VGEG)를 제안하여 시각적 앵커, 출처-지지 사실, 엔티티 관계, 답 생성 연산을 하나의 작업 수준 참조 구조로 보존하고, 이를 데이터 구성·검증·과정 감독·연산별 평가에 활용함.
- VGEG 기반의 멀티스테이지 데이터 엔진(소스 큐레이션, 조밀 시각 앵커 발견, 웹 증거 그래프 구성, VGEG 과제 생성, 전문가 도구 롤아웃 합성)을 설계·구현하여 OneSearch-VL-SFT-110K(약 110k 전문가 궤적)와 OneSearch-VL-RL-10K(약 10k 과제)를 구축함.
- VGEG로부터 유도한 Evidence-aware Visual-Grounded Rubric 보상(EVGR)을 도입하여 증거 추적성(r_trace)과 시각적 그라운딩(r_ground) 두 차원으로 RL 과정 보상을 설계하고 GRPO로 정책을 최적화함.
- 단계별·연산지향 평가를 위한 OneSearch-MI-Bench(멀티이미지, 301 샘플)와 OneSearch-Video-Bench(비디오, 307 샘플)를 구성하여 질문을 VGEG 연산 유형으로 조직하고 연산 수준 성능 분석을 제시함.
- 단일-다중-비디오 입력을 아우르는 통합 에이전트 OneSearch-VL-8B를 Qwen3-VL-8B 초기화로 학습·평가하여 기존 오픈 소스 에이전트 대비 실험적 이득을 보고함.
접근 방법
- 논문 본문 기준 요약:
- 참조 구조: 각 과제의 VGEG Γi = (Ai, Fi, Oi, Ri)로 정의되며, Ai는 시각적 앵커(프레임/이미지/박스)와 연결된 엔티티, Fi는 출처-지지 외부 사실, Oi는 답을 생성하는 연산(예: JOIN, COUNT, ARITH), Ri는 그라운딩·지지·작업-특화 의존관계를 보존한다.
- VGEG 중심 데이터 엔진(섹션 3, Appendix A): 1) 웹 비디오 소스 큐레이션(2.5M→70K 후보), 2) 조밀 시각 앵커 발견(프레임 샘플링 2fps, 클립/이벤트/키프레임/로컬 객체 바인딩), 3) 웹 증거 그래프 구성(GX): 이미지검색·OCR·텍스트 검색으로 엔티티·사실·출처를 연결·확장, 4) VGEG 기반 과제 생성: LLM으로 질문·정답·VGEG 생성, 증거 기반 재검증·비주얼 엔티티 마스킹·입력 유형별 인스턴스화, 5) 전문가 궤적 합성: Seed 2.0 Pro를 환경에서 롤아웃하여 정답·과정 품질 판정으로 고품질 궤적 확보.
- 도구 환경: 이미지 도구(Tvis: Crop, OCR, SuperResolution 등), 검색 도구(Tret: ImageSearch, TextSearch), 비디오 도구(Ttemp: SelectTimespan, SelectFrame).
- 모든 입력 타입에 공통 디스패처와 관찰 직렬화 규격을 사용함.
- 학습 절차: SFT 단계에서 OneSearch-VL-SFT-110K로 supervised fine-tuning(초기 모델 Qwen3-VL-8B), 이후 RL 단계에서 OneSearch-VL-RL-10K으로 온라인 롤아웃 수행.
- SFT 결과로 초기 정책 πθ_SFT 획득.
- 보상 설계: 기존 R_acc(정답)과 R_query(검색 질) 보상에 EVGR(REVGR)를 결합: R(τ)=R_fmt(λ_acc R_acc + λ_query R_query + λ_EVGR REVGR).
- 본문/부록에서 사용된 가중치는 λ_acc=0.6, λ_query=0.2, λ_EVGR=0.2이며 R_fmt는 형식 유효성 게이트.
- EVGR는 VGEG로부터 생성된 항목별 루브릭과 실행 궤적을 정렬하여 두 판정(증거 추적성 r_trace, 시각적 그라운딩 r_ground)을 Seed 2.0 Pro 기반 판정자에 의해 채점하고 합성하여 과정 보상을 산출함(판정 점수 표는 1.0/0.75/0.5/0.25/0.0).
- 최적화: Group Relative Policy Optimization(GRPO)을 사용해 질문별 샘플 그룹 내 보상 정규화 및 클리핑된 목적 함수로 정책 업데이터를 수행(툴 관찰은 조건부 문맥, 손실 계산에서 제외).
주요 결과
- 데이터셋·규모: OneSearch-VL-SFT-110K(약 110k 전문가 궤적: 36k single-image, 37k multi-image, 35k video), OneSearch-VL-RL-10K(약 10k 과제: 3.7k single-image, 2.8k multi-image, 3.6k video). OneSearch 벤치 합계 608문제(멀티이미지 301, 비디오 307).
- 단일 이미지 벤치: OneSearch-VL-8B 평균 58.3을 기록하여 같은 규모 Qwen3-VL-8B(Agent 워크플로 기준) 대비 +16.3점, OpenSearch-VL-8B(56.6) 대비 +1.7점의 평균 이득을 보임(세부 표는 Table 2).
- 멀티이미지·비디오 벤치: OneSearch-VL-8B가 Qwen3-VL-8B 대비 OneSearch-MI-Bench에서 +20.2포인트, OneSearch-Video-Bench에서 +17.6포인트, VideoDR에서 +27.0포인트 향상(세부 연산별 개선도 보고: 예컨대 멀티이미지의 지식조건 카운트·다중 앵커 산술·비교에서 각각 큰 향상).
- SFT 데이터 혼합에 대한 절제 실험: 단독 타입 SFT 결과(6-벤치 평균)는 이미지(I)=51.7, 멀티이미지(M)=53.1, 비디오(V)=55.1이며, I+M+V 합성 학습은 55.8로 가장 우수하여 서로 보완적 효과를 보였음(Table 4(a)).
- RL 보상 구성 절제: SFT(55.8)→RL(정답만) 56.3→정답+쿼리 57.3→추적(r_trace) 추가 59.0→그라운드(r_ground) 추가 59.3→정답+쿼리+추적+그라운드(Full EVGR) 61.1로 EVGR의 두 차원이 서로 보완적으로 성능을 향상시킴(Table 4(b)).
한계
- 저자가 명시한 한계: OneSearch-VL은 TextSearch·ImageSearch 같은 외부 검색 도구와 웹 페이지의 변화에 의존하므로 증거 가용성 및 정확한 재현성에 영향을 받을 수 있으며, 향후 검색 스냅샷 보존과 도구 실패에 대한 견고성 평가가 필요하다고 밝힘.
- 저자가 명시한 한계: 자동화된 VGEG 구성 및 모델 기반 보상(판정자)은 주석 오류 또는 판정 편향을 도입할 수 있으며, 인간 보정과 공개적 멀티모달 과정 판정자가 필요하다고 제안함.
- 저자가 명시한 한계: 멀티턴 상호작용은 추가적인 추론 및 도구 호출 비용을 초래하므로 적응적 예산·비용 인지 학습이 필요하다고 언급함.
- 본문에서 확인되는 추가 제약(저자와 구분): 실험은 Qwen3-VL-8B에서 초기화된 설정과 특정 도구·외부 서비스(Seed 2.0 Pro, Qwen3-32B, GPT-4o 등)에 의존하므로 동일한 성능을 다른 베이스 모델이나 다른 검색 스택으로 재현할 때 차이가 생길 가능성이 있음(재현성 위험).
개발자 관점
- 데이터 파이프라인: VGEG를 중심으로 단계별(소스 큐레이션→시각 앵커 탐지→웹 증거 그래프→VGEG 생성→전문가 궤적 합성)으로 구성하면 작업-수준 참조(시각 위치·엔티티·사실·연산)를 보존하면서 과제 검증·궤적 필터링·보상 설계에 재사용할 수 있음.
- 실행 환경·도구 설계: 통일된 디스패처와 자원 레지스트리(이미지/클립 핸들)를 도입하면 프레임 선택→크롭→OCR→이미지검색 등 복합적 도구 조합을 안정적으로 재현 가능. 잘 정의된 도구 관찰 직렬화(관찰은 조건부 문맥, 손실 계산에서 제외)가 중요함.
- 보상·평가 구축: EVGR처럼 VGEG로부터 항목별 루브릭을 자동 생성하고 증거 추적성과 시각적 그라운딩을 분리하여 판정하면 최종 정답 외에 과정 수준의 신뢰성(출처 근거, 시각적 근거 사용)을 강화할 수 있음. 하지만 판정자는 모델(Seed 2.0 Pro 등)에 의존하므로 인간 교정·칼리브레이션 필요.
- 재현·운영 유의사항: 외부 웹 검색 결과와 웹페이지는 시시각각 변하므로 결과 재현을 위해 검색 스냅샷(응답/원문 저장)과 페이지 캐시를 반드시 보존해야 하며 도구 실패에 대비한 페일오버 및 fatal-aware 학습(오류 전 프리픽스만 최적화) 구현이 필요함.
- 비용·인프라: 논문에서 사용한 SFT와 RL 훈련은 대규모 GPU 자원(예: SFT 64 H800, RL 32 H800)과 수일 단위 학습 시간을 요구하므로 실무 적용 전 예산·도구 호출 비용(멀티턴 검색·이미지검색 등)을 고려해 적응적 예산 제어 또는 샘플링 전략을 설계할 것.
근거 범위: 이 분석은 제공된 논문 PDF 본문(주된 본문과 부록의 텍스트)을 기반으로 작성되었으며, 제시된 수치와 구조, 실험 결과는 PDF의 표와 본문에서 직접 추출하였습니다. 세부 하이퍼파라미터와 내부 구현(프롬프트 템플릿, 외부 이미지 검색 서비스의 정확한 설정 등)은 부록에 일부 기재되어 있으나 본문에 명시되지 않은 구현 세부사항은 생성하지 않았습니다. 또한 EVGR 판정자·전문가 모델 등 일부 구성 요소는 외부 상용 모델(Seed 2.0 Pro, GPT-4o 등)에 의존한다고 본문에 기술되어 있으며, 이들 서비스의 내부 동작이나 변경에 따른 영향은 본문에서 직접적으로 평가되지는 않았습니다.