One MLLM, One Call: Efficient Zero-Shot Vision-and-Language Navigation via Spatial-Aware Waypoints
- 게시일: 2026-09-09
- arXiv: 2609.06476v1 · PDF
- 저자: Shiqi Pan, Qi Zheng, Hanqin Sun, Youjian Zhang, Daquan Feng, Xu Wang
- 분야: cs.CV, cs.AI
- 선정 점수: 4.91
- 선정 이유: 최근성 0.4, 인용 영향 0.0 (인용 0회), 저자 영향 0.0 (최고 h-index 0), AI 주제 적합성 2.7, 개발자 관심 1.5, 학술 신호 0.3, 오픈 웨이트·주요 연구조직 신호 0.0
← 2026-09-09 목록으로 돌아가기
한 문장 요약
제안된 O2C-Nav는 훈련이 필요 없는 전역 토폴로지 기반의 희소 웨이포인트 생성과 이를 RGB 이미지에 시각적 마커로 투영하는 추상 표현을 결합해, 한 단계당 한 번의 MLLM 호출만으로 효율적 제로-샷 연속 환경 내 비전·언어 내비게이션을 수행한다.
해결하려는 문제
기존 제로-샷 VLN-CE 방법들은 (1) 사전학습된 웨이포인트 예측기에 의존하거나(일부는 12-view RGB-D 등의 무거운 센싱 요구), (2) 한 결정 단계에서 MLLM을 여러 번 호출해 높은 추론 지연과 연산 비용을 초래한다. 연속(그래프-프리) 공간에서 MLLM 단일 호출만으로 시각 인식·공간 추론·계획을 통합하면 프롬프트 과부하와 저수준 미터릭 공간 인지의 한계로 성능 저하가 발생할 수 있다는 문제를 해결하려고 한다.
핵심 기여
- MLLM과 물리적 환경 간의 새로운 상호작용 패러다임인 RGB 이미지 위의 추상 웨이포인트(visualized waypoints) 표현을 제안하여 모델에 구체적 공간 단서를 제공함.
- 훈련 불필요한 전역 토폴로지 기반의 ‘Structured Waypoint Generator’를 제시하여 지도에서 스켈레톤을 추출·거리 기반 샘플링으로 희소 후보를 만들고 최근 방문 기록과 구별되는 역사 인식(visited vs unvisited) 표현을 제공함.
- 한 단계당 단 한 번의 MLLM 호출로 동작하도록 설계된 파이프라인(O2C-Nav)을 제시하고, 선택된 웨이포인트 또는 바운딩박스 폴백을 저수준 FMM(Fast Marching Method) 플래너로 실행해 충돌 없는 경로로 변환함.
- R2R-CE와 RxR-CE 벤치마크에서 다양한 MLLM(예: Qwen3-VL-235B, GPT-4o, Gemini-2.5-Pro)을 사용한 광범위한 평가를 통해 기존 제로-샷 방법 대비 성공률 및 효율성 측면에서 우수함을 보임.
- 실제 로봇(Unitree Go2, RealSense D435i, Jetson Orin NX)에서의 제로-샷 배포 실험을 수행해 실제 환경에서도 동작 가능함을 시연함.
접근 방법
- O2C-Nav는 매 타임스텝에 네 방향(0°, 90°, 180°, 270°)의 RGB-D 관측을 받고 세 모듈로 작동한다.
- (1) Structured Waypoint Generator: 깊이로부터 3D를 역투영해 2D 탑다운 semantic grid Mt를 만들고, 보행 가능 영역 Mtrav를 추출한 뒤 형태학적 closing과 medial axis transform(단일 픽셀 스켈레톤)을 적용한다.
- 스켈레톤 상의 키(topological) 노드(엔드포인트·분기점)를 보존하고 거리 기반 Non-Maximum Suppression(dsmaple, grid 해상도 Δ를 고려)를 통해 희소한 후보 웨이포인트 집합 W를 샘플링한다.
- 또한 새로 도달한 위치는 거리 임계치 δ로 기존 웨이포인트와 병합해 W_reached를 업데이트한다.
- (2) Abstract Waypoint Representation: W ∪ W_reached를 에이전트 자세와 카메라 내부파라미터 K를 이용해 카메라 프레임으로 투영한 뒤, 각 뷰 RGB 이미지에 ID가 붙은 시각 마커(청록: 미방문, 빨강: 방문)를 오버레이해 MLLM 입력 Vt를 생성한다.
- 추가 입력으로 언어 지침 I, 최근 실행 히스토리 Ht(슬라이딩 윈도우 w=5), Grounding DINO로 추출한 객체 리스트 Et를 제공한다.
- (3) Single MLLM Decision: MLLM은 한 번의 호출로 (at ∈ {front,left,right,back,stop}, ID*_t, Bt) 를 출력한다.
- 선택한 ID가 있으면 해당 픽좌표를 역투영해 전역 목표 tworld로 변환하고, 없으면 MLLM이 제시한 바운딩박스의 하단 중앙을 목표 픽으로 사용한다.
- (4) Low-level Controller: tworld와 실시간 traversability 비용 지도를 입력으로 FMM을 이용해 충돌 회피 최단 경로를 계산하고 이를 실행 가능한 모터 제어 시퀀스로 변환하여 이동한다.
- 시스템은 반복 수행되며 한 스텝당 MLLM 호출은 1회로 제한된다.
- 구현세부로는 Zhang–Suen 스타일 스켈레톤화, Grounding DINO 사용, FMM 플래너 적용, 프롬프트 내 응답 포맷·경고(루프 감지) 및 바운딩박스 폴백 동작 등이 본문에 기술되어 있다.
주요 결과
- R2R-CE(표준 100 에피소드 무작위 subset, zero-shot): O2C-Nav (Gemini-2.5-Pro, 1 call/step) — NE 5.75 ± 0.64, NDTW 41.7 ± 3.1, OSR 65.0 ± 3.6, SR 49.3 ± 2.1, SPL 30.9 ± 2.2. Ours (GPT-4o) — NE 6.89 ± 0.20, NDTW 42.4 ± 2.7, OSR 53.3 ± 3.2, SR 42.0 ± 1.0, SPL 31.2 ± 2.4.
- RxR-CE(영어 분할에서 1,223 에피소드 샘플): Ours (Qwen3-VL-235B, 1 call/step) — NE 8.65, NDTW 41.5, OSR 39.7, SR 28.4, SPL 18.7.
- 비교 실험(동일 파이프라인에서 웨이포인트 예측기 교체): O2C (본 논문) — NE 6.43 ± 0.33, OSR 52.67 ± 3.21, SR 45.00 ± 4.00, SPL 31.22 ± 2.39; SmartWay — NE 6.55 ± 0.36, OSR 42.67, SR 35.33, SPL 28.28; STRIDER — NE 7.19 ± 0.43, OSR 47.00, SR 26.67, SPL 14.79 (Table IV).
- 웨이포인트 수 및 오라클 성능: O2C 평균 후보 수 9.56개/스텝, SmartWay 3.90, STRIDER 3.45. 오라클 선택 시 O2C는 SR/SPL 86.0%/85.0%로 SmartWay(84.0%/83.3%)와 STRIDER(77.0%/73.3%)보다 높음(본문).
- 어블레이션: 바운딩박스 폴백(Bt) 제거 시 R2R-CE에서 SR 45.00% → 40.00%, SPL 31.22% → 27.13%로 성능 저하(표 V). 웨이포인트 구성에서 히스토리 구별(diff.) 및 샘플 간격 dsample=0.5가 최적(표 VI: 기본 설정에서 NE 6.43 ± 0.33, NDTW 42.87 ± 1.06, OSR 52.67 ± 3.21, SR 45.00 ± 4.00, SPL 31.22 ± 2.39). 웨이포인트 기하 신뢰성(표 VII): O2C Feas. 97.10%, Coverage 67.41%, Min clearance .360m, Risk 1.21% (SmartWay/STRIDER 대비 우수). 표 IX 실패 분석: 54 실패 중 웨이포인트 선택 오류 36건, 목표 근처 정지 실패 12건, 웨이포인트 한계(계단) 6건으로 주요 실패 원인 식별됨. 실제 로봇 실험: 10회 반복 작업에서 VLN 5/10, ObjectNav 5/10 성공(표 X). 추론 효율성(표 VIII): MLLM 추론 8.17 ± 0.85s, 전체 스텝 평균 지연 19.58s; SmartWay 전체 24.82s, STRIDER 37.72s로 엔드투엔드 지연 감소.
한계
- 저자가 밝힌 한계: (1) 4-뷰(네 방향) 이산 관측은 부분적 시야 정보를 잃어 후보 웨이포인트 누락과 비최적 경로를 유발할 수 있어 NDTW(경로 충실도)가 낮아지는 원인이 된다. (2) 긴 지침과 2D 추상 마커를 동시에 처리할 때 MLLM의 환각(hallucination)에 취약하여 공간 관계나 목표의 기하학적 실현 가능성을 잘못 해석할 수 있다.
- 논문 본문 실험에서 드러나는 추가 제약(확인 가능한 근거): (1) 실패 원인의 다수(36/54)가 웨이포인트 선택 오류로, 후보 생성·선택의 한계가 실제 실패로 직결됨(Table IX). (2) 계단 등 특정 지형에서 웨이포인트 커버리지 제한이 관찰됨(6건). (3) 실제 배포에서 깊이 센서 노이즈로 인한 지도 오류가 보고됨(실험 섹션). (4) 한 단계당 MLLM 호출은 1회로 제한되지만 MLLM 호출 자체(예: 8.17s)는 여전히 실시간성 요구가 엄격한 로봇 애플리케이션에서는 부담이 될 수 있음(표 VIII).
개발자 관점
- 재현성: 논문은 전체 알고리즘(알고리즘 1), 프롬프트 템플릿(그림 2), 스켈레톤화·샘플링·투영 절차 등 구현 세부를 본문에 명시하고 코드 리포지토리를 제공한다고 밝힘(링크). 핵심 요소로 RGB-D 입력, 카메라 내부파라미터 K, 에이전트 실시간 포즈, Grounding DINO, Zhang–Suen 스타일 스켈레톤화, FMM 플래너가 필요하다.
- 모듈화: 웨이포인트 생성(지도·스켈레톤·샘플링) / 시각화(이미지 오버레이) / 단일 MLLM 판단 / 저수준 FMM 실행으로 분리되어 있어 각 단계의 교체·개선(예: 더 정교한 후보 필터링, 더 빠른 MLLM)로 성능-효율 트레이드오프 조정이 용이함.
- 하이퍼파라미터: 히스토리 윈도우 w=5, 샘플 간격 dsample 권장 0.5(본 논문에서 최적), 방문 병합 거리 δ(본문에 수식 제시되나 값은 환경 의존) 등은 실제 환경에 맞춰 튜닝 필요.
- 배포·비용: 1 call/step 설계로 MLLM 호출 빈도는 줄었지만 MLLM 한 번의 응답 시간(예: 8.17s)과 맵핑 비용(스켈레톤화 등)이 전체 지연에 영향을 미침. Jetson Orin NX와 같은 엣지 컨트롤러와 클라우드/서버상 MLLM 조합을 고려하면 비용·대기시간·프라이버시 트레이드오프가 존재함.
- 안전성·로버스트니스: 웨이포인트 제안의 기하적 신뢰성(표 VII)과 FMM 기반 충돌 회피는 장점이지만, 센서 노이즈(실제 실험에서 보고)·MLLM의 환각·계단 등 커버리지 미흡 시 안전사고 위험이 있으므로 물리적 로봇 배포 시 추가 충돌 감지·비상 정지 정책이 필요함.
근거 범위: 분석은 제출된 논문 PDF 본문(페이지 1–13)에 기재된 내용만을 근거로 작성함. 표와 그림의 일부 열 배치/줄바꿈(특히 표 VIII의 항목 정렬)은 PDF 레이아웃으로 인해 해석이 다소 모호한 부분이 있어 본문에서 명시한 요약(예: MLLM 추론 8.17±0.85s, 전체 19.58s)을 우선 인용함. 코드·보조자료는 본문 링크가 제시되어 있으나 본 분석에서는 해당 외부 자료를 참조하지 않았음을 밝힘.