FIVE-VLA: Fast and EffectIVE Autonomous Driving with Recurrent Action Memory
- 게시일: 2026-09-17
- arXiv: 2609.18623v1 · PDF
- 저자: Kemal Oksuz, Alexandru Buburuzan, Yuhan Yao, Puneet K. Dokania
- 분야: cs.CV, cs.RO
- 선정 점수: 4.91
- 선정 이유: 최근성 1.2, 인용 영향 0.0 (인용 0회), 저자 영향 0.0 (최고 h-index 0), AI 주제 적합성 1.1, 개발자 관심 0.5, 학술 신호 0.8, 오픈 웨이트·주요 연구조직 신호 1.4
← 2026-09-17 목록으로 돌아가기
한 문장 요약
고해상도 이미지를 적은 토큰으로 효율적으로 인코딩하고 이전 행동 토큰을 이용한 경량의 Recurrent Action Memory(RAM)를 도입해 더 적은 파라미터로(641M) 빠르고 안전한 비전-언어-행동(VLA) 기반 자율주행(FIVE-VLA)을 구현한다.
해결하려는 문제
기존 VLA(vision-language-action) 기반 자율주행 모델들은 파라미터 수가 과도하고, 고해상도 이미지 처리가 비효율적이며, 시간적 연속성을 반영하는 메모리가 부족해 비상 제동·추월 등 시퀀스 의존적 조작에서 성능 저하와 교통 규칙 위반이 발생한다. 본 연구는 (1) 고해상도 입력을 효율적으로 처리하면서 토큰 수를 크게 줄여 추론 속도를 높일 수 있는가, (2) 이전 행동 정보를 재귀적으로 활용해 시간적 문맥을 보강하면 폐쇄루프 주행 안정성(경로 완료·규칙 위반 감소)과 충돌 지표를 개선할 수 있는가를 다룬다.
핵심 기여
- 효율적인 비전 인코더 설계로 448×896 고해상도 이미지를 처리하면서 단 98개 토큰만 생성하여 기존 접근보다 5배 이상 적은 토큰 수를 달성함.
- 단일 패스(single-pass) 궤적 예측을 위해 텍스트 생성 단계를 생략하여 추론 파이프라인을 단순화하고 속도를 개선함.
- Recurrent Action Memory(RAM)라는 경량 모듈을 제안하여 이전 행동 토큰을 조건으로 하여 시간적 문맥을 제공함으로써 추월이나 비상 제동 같은 연속적 조작에 유리하도록 함.
- 모델 크기를 641M 파라미터로 유지하면서 Bench2Drive 폐쇄루프 벤치마크와 NVIDIA Physical AI AV 대규모 데이터셋에서 이전 SOTA 대비 주행 성공률·충돌·규칙 위반 측면에서 개선을 보고함.
- 실행 효율성 측면에서 A100에서 약 30 fps, T4(엣지 장치 대체 지표)에서 약 4 fps를 기록하며 이전 방법 대비 8–30× 속도 향상을 주장함.
접근 방법
- 논문(초록 기준)은 다음 핵심 요소로 FIVE-VLA를 구성한다.
- (1) 효율적 비전 인코더: 448×896 해상도 이미지를 입력으로 받아 소수(98개)의 고수준 토큰을 생성해 이후 처리 비용을 줄임.
- (2) 텍스트 생성 생략: 단일 패스으로 직접 궤적(또는 행동) 예측을 수행하여 언어 생성 비용과 지연을 제거함.
- (3) Recurrent Action Memory(RAM): 이전 타임스텝의 행동 토큰을 조건 정보로 사용하여 현재의 행동 예측을 보정하는 경량 재귀 모듈을 도입함.
- 학습·추론 절차 관련 상세 하이퍼파라미터나 손실함수 구성, 옵티마이저 등은 제공된 본문(초록)에서 확인되지 않으므로 명시하지 않는다.
- 평가에는 단일·다중 뷰(초록에서 single- and four-view로 언급) 설정이 포함되며, 폐쇄루프(Bench2Drive)와 비반응(open-loop) 시뮬레이션(NVIDIA Physical AI AV)으로 성능을 검증하였다.
주요 결과
- 모델 파라미터 수: 641M (저자 제시).
- 비전 인코더 토큰 수: 98개(448×896 입력에서 생성, 저자 제시), 기존 접근 대비 5× 이상 적음(저자 주장).
- 폐쇄루프(Bench2Drive) 결과: 이전 SOTA VLA 대비 대략 10% 더 많은 경로를 규칙 위반 없이 완료(초록 서술).
- 비반응(open-loop) 시뮬레이션(NVIDIA Physical AI AV 데이터셋): SimLingo 대비 단일 뷰에서 10.2% 낮은 collision-violation 비율, 4뷰 설정에서 7.7% 낮은 collision-violation 비율(저자 제시).
- 추론 속도: A100에서 약 30 fps, T4에서 약 4 fps(저자 제시). 저자에 따르면 이는 기존 방법 대비 약 8–30× 속도 향상에 해당.
한계
- 저자가 직접 언급한 한계: 제공된 본문(초록)에서는 저자가 명시적으로 제시한 한계가 포함되어 있지 않음.
- 본문(초록)에서 합리적으로 확인되는 한계:
- 평가 데이터셋 범위: 폐쇄루프 평가는 Bench2Drive에, 비반응(open-loop) 평가는 NVIDIA Physical AI AV에 국한되어 있어 다양한 실제 주행 환경(기상, 시간대, 도로 유형)으로의 일반화 범위는 불명확함.
- open-loop vs closed-loop 불일치: NVIDIA 데이터셋 평가는 비반응 시뮬레이션으로 보고되어 폐쇄루프 실주행 상황에서의 반응성·복원력에 대한 직접적 근거가 제한적임(폐쇄루프 평가는 Bench2Drive에만 언급).
개발자 관점
- 재현성 확보를 위해 핵심 구현 요소(비전 인코더의 정확한 아키텍처·토크나이저, RAM의 토큰 스키마와 상태 갱신 규칙, 학습 손실·스케줄, 데이터 전처리)가 필요하므로 논문 본문·코드·하이퍼파라미터 공개 여부를 반드시 확인해야 함.
- 토큰 병목(98개) 디자인은 연산·메모리 이점이 크므로 엣지 배포를 목표로 할 때 우선 구현·검증할 가치가 있음. 그러나 토큰화가 표현력 저하를 초래하지 않는지(특히 악천후·야간 등 극한 상황) 철저히 평가해야 함.
- RAM는 이전 행동을 조건으로 하므로 시퀀스 동기화와 에러 누적(드리프트) 문제를 점검해야 함. 롱텀 의존성·리셋 전략·오류 역전파 설계 등 세부 구현이 안전성에 큰 영향을 줄 수 있음.
- 실제 배포 전에는 폐쇄루프 안전성 테스트(규칙 위반, near-miss, 긴급 제동 반응 등)를 다양한 시나리오에서 실시하고, 예비 안전 정책(추적 제어, 비상 정지)을 마련해야 함.
- 성능-자원 트레이드오프: 641M 파라미터·A100/T4 성능 지표는 초기 비용 산정에 유용하나, 엣지용으로는 추가 최적화(양자화, 프루닝, TensorRT 등)와 하드웨어 적합성 검증이 필요함.
근거 범위: 이 분석은 제공된 논문 PDF 본문이 추출되지 않아(HTTPError) 초록에 기반하여 작성되었음. 따라서 아키텍처의 상세 구성(모듈 내부 구조, 하이퍼파라미터, 학습 절차, 데이터 분할 및 통계적 유의성 분석), 추가 실험·약점 토의 등 본문에만 있는 상세 정보는 확인할 수 없었다. 본문 전체를 입수하면 방법·실험·한계·재현 정보가 더 명확히 보완될 수 있다.