- 게시일: 2026-10-10
- arXiv: 2610.12448v1 · PDF
- 저자: Adrian Bulat, Yassine Ouali, Georgios Tzimiropoulos
- 분야: cs.CV, cs.LG
- 선정 점수: 6.01
- 선정 이유: 최근성 0.7, 인용 영향 0.0 (인용 0회), 저자 영향 1.9 (최고 h-index 33), AI 주제 적합성 1.9, 개발자 관심 0.6, 학술 신호 0.3, 오픈 웨이트·주요 연구조직 신호 0.6
← 2026-10-10 목록으로 돌아가기
한 문장 요약
하나의 반복적 Transformer 블록과 ‘깊이로 프로그램된’ FFN 전문가 은행을 사용해, 깊이별 계산을 연속적 혼합으로 복원하여 원래 깊이의 ViT과 유사한 성능을 더 적은 저장 파라미터로 달성한다.
해결하려는 문제
표준 Vision Transformer은 층별로 독립된 파라미터를 갖는 깊이-스택을 사용하며, 층별로 서로 다른 동작을 학습하지만 파라미터 및 저장 비용이 크다. 연구 질문은 ‘완전한 깊이 재사용(하나의 블록을 모든 깊이에 반복 적용) 하에서 깊이 의존적 연산을 어떻게 복원해야 원본 깊이의 성능을 유지할 수 있는가?’이며, 특히 어떤 MoE(혼합전문가) 구성 방식이 ‘한 단계당 하나의 FFN’ 계산 예산(U=1) 하에서 가장 적합한지 규명하려고 한다.
핵심 기여
- 하나의 반복 블록과 연속적 정규화된 깊이 좌표로 FFN 전문가 은행을 소프트하게 혼합하는 reViT 설계 제안(‘깊이로 프로그램된 전문가’).
- 동일한 반복 백본·과제 설정에서 여러 MoE 적응(가중치 병합, 토큰-디스패치, 출력-혼합 등)을 비교해, 한-FFN 예산(U=1)에서 가중치-병합(weight-space merge)이 가장 강력하다는 결론을 도출.
- 하나의 체크포인트로 여러 추론 깊이(L)를 지원하는 ‘elastic-depth’ 훈련·추론 절차와, 고정 깊이 배포를 위한 병합된 FFN 전개(folding) 가능성 제시.
- DINOv2 교사의 최종 출력 특성만으로 증류해도(중간 특성 불사용) 높은 선형-프로브 전이 성능을 유지하는 실험적 결과 제시.
접근 방법
- reViT는 하나의 사전-정규화(pre-norm) 반복 모듈(공유 MHSA, LayerNorm들, 라우터, 전문가 은행)을 사용한다.
- 입력 패치 임베딩 X0을 받고 L번 반복한다.
- 각 반복 단계 t에 대해 정규화된 깊이 좌표 s = t/(L−1)를 계산하고, 2층 MLP(16 유닛, SiLU, 출력층 0초기화)가 s를 입력으로 받아 E개의 전문가(각각 FFN 파라미터 집합) 위에 대한 로짓을 생성한다.
- 소프트맥스(τ=1)로 얻은 게이트(gt)는 E 전문가 파라미터의 볼록합으로 merged FFN 파라미터를 구성하고(병합은 weight-space merge), 그 단일 밀집 FFN을 모든 토큰에 적용한다.
- 단계별 연산: Ht = Xt + MHSA(LN(Xt)); Xt+1 = Ht + FFNt(LN(Ht)).
- 훈련: (1) 감독학습은 DeiT III 300-epoch 레시피를 따름; (2) 증류는 고정된 DINOv2 교사의 최종 post-LN 토큰 텐서를 평균제곱오차로 맞춤(중간 특성 불사용).
- 추가로 전문가 사용 균형(usage-balance), 라우터 z-loss(로짓 스케일 제어), 전문가 다양성 손실을 보조 손실로 사용한다(λbal=1e-2, λz=1e-3, λdiv=1e-3).
- Elastic-depth 훈련에서는 per-image depth-dropout(DropPath 형태)을 적용해 라우터가 다양한 유효 깊이에 노출되도록 한다.
- 배포 시에는(1) 동적 실행: 입력-독립 게이트로 런타임에 merged FFN을 구성하거나, (2) 고정 깊이 전개(folded): 선택된 L에 대해 L개의 merged FFN을 미리 계산·저장해 온라인 병합을 제거할 수 있다.
주요 결과
- ImageNet-1k(감독 훈련, 동일 레시피): reViT-B/16 (E=4, L=12) 은 34.3 GFLOPs에서 23.6M 파라미터로 Top-1 83.0%를 기록해 DeiT III-B/16(86.6M, 33.9 GFLOPs, 82.8%)와 동등 또는 약간 상회하는 성능을 보였고, reViT-L/16는 40.9M 파라미터, 121.5 GFLOPs, Top-1 83.8%로 DeiT III-L/16(304.4M, 119.9 GFLOPs, 84.1%)에 근접했다 (Table 1).
- DINOv2 증류(동결 백본 프로브): reViT-B/14의 E=4 모델은 ImageNet 선형-탑1 83.5%, ADE20k mIoU 44.6%, NYUv2 (선형) RMSE 0.552, NYUv2 (MLP) RMSE 0.491를 기록했고, E=8 모델은 ImageNet 83.9%, ADE20k 45.8%, NYUv2 MLP RMSE 0.483 등으로 DINOv2 교사(B/14)의 선형 프로브 성능(교사 B/14: ImageNet 84.5%, ADE20k 47.5%)에 근접했다 (Table 2).
- MoE 구성 비교(단일-블록 재사용, U=1 기준): 감독학습 비교에서 reViT(E=4) 78.2% (S/16, L=12)로 동일 예산(U=1)에서 Lory 77.9%, SMEAR 77.7%보다 우수했고, 다른 토큰-디스패치·출력-혼합 방식은 U=1에서 크게 낮은 성능을 보였다. 고예산(U>1) 설정에서는 일부 기법이 격차를 줄임(Table 3, Table 4).
- 전문가 수 영향: E를 늘리면 plain weight-tying(E=1) 대비 성능이 꾸준히 개선됨. 예: S/16에서 E=1→E=8로 ImageNet Top-1 70.6→80.2 (+9.6), B/16 76.4→83.2 (+6.8), L/16 78.3→84.0 (+5.7) (Table 5).
- Elastic-depth(하나의 체크포인트로 여러 L): depth-only 게이트(정규화된 깊이 신호 사용) 모델은 L=8→12→16→24에서 ADE20k mIoU 40.3→44.4→44.9→44.7, ImageNet 선형 Top-1 82.6→83.4→83.7, NYUv2 MLP RMSE 0.522→0.493→0.485 등으로 L 증가에 따라 성능이 향상 또는 유지되어 동일 체크포인트로 다중 깊이 운영이 가능함을 보였다(Fig.2). (대조적으로 feature-only 게이트는 같은 이득을 보이지 않음.)
한계
- 저자가 명시한 한계: (1) 본 설계는 중간-층 특성에 대한 교사 정렬을 사용하지 않고 오직 교사의 최종 post-LN 특성만으로 증류함(의도적 설계); (2) 고정-깊이 배포를 위해 L개의 merge된 FFN을 미리 전개하면 런타임 라우팅은 제거되지만 저장 요구량이 L 배만큼 증가하는 저장-시간(trade-off) 비용이 발생함(본문에서 명시).
- 실험적·범위 제약(본문에서 확인되는 한계): (1) 재현된 Raptor와의 증류 비교는 동일한 증류 목표를 가지지 않음(저자가 언급), 따라서 일부 비교는 엄격한 통제 실험이 아님. (2) 일부 MoE 적응은 낮은 예산(U=1)에서 수렴하지 않음(예: Qwen3의 U=1 증류 설정은 수렴 실패), 즉 모든 대안이 동일 조건에서 안정적으로 작동하지 않음. (3) 동적 병합의 현재 PyTorch 구현은 런타임에 FP32 축소로 가중치를 구성하므로 실제 구현에서는 관찰된 13%~39%의 지연(overhead)이 있었고(배치에 따라 다름), 이는 최적화된 배포 커널 없이는 실 운영에서 비용이 발생할 수 있음(Table 7). (4) 훈련 비용이 크며 단일 실험(체크포인트) 당 약 192–384 H100 GPU-시간이 소요되었음(Appendix A.4).
개발자 관점
- 구현·재현: 논문은 주요 하이퍼파라미터와 구현 세부사항을 Appendix에 제공(예: 라우터 ψ는 2층 MLP, 16 유닛, SiLU, 출력 0-초기화; 보조손실 계수 λbal=1e-2, λz=1e-3, λdiv=1e-3). 핵심 실험 결과는 세 번의 독립 실험 평균으로 보고되어 있으며, 동일 300-epoch DeiT III 레시피를 사용함으로써 재현 가능성이 높다.
- 배포·메모리·지연: 런타임에서 merged FFN을 동적으로 구성하면 저장 파라미터는 크게 줄이지만(예: reViT-S/16 compact params 6.1M vs DeiT III 22.1M), 현재 구현에서 배치 1 기준 약 13% 지연 증가 관찰. 만약 배포 대상에서 깊이를 고정할 수 있다면 L개의 merged FFN을 사전 계산해 저장하면 온라인 병합 비용을 제거할 수 있으며(대신 저장량 증가), 이는 실제 제품 배포에서 실질적 옵션임(Table 7, 본문 설명).
- 계산·저장 설계 결단: reViT는 ‘저장된 전문가(E) 수’와 ‘실행 깊이(L)’를 분리해 저장 용량과 실행 FLOPs를 독립적으로 조절할 수 있음 — E를 늘려도 한-단계당 FFN 계산(U=1)은 변하지 않음(가중치 병합 설계의 장점). 따라서 저장-성능 트레이드오프를 운영 정책에 따라 선택할 수 있음.
- 훈련 비용 및 안정성: 모델 훈련은 고비용(H100 기준 수백 GPU-시간)이고 일부 MoE 적응은 특정 예산에서 수렴 문제가 있음(Qwen3 U=1 수렴 실패 사례). 보조 손실(usage-balance, z-loss, diversity)은 안정성·다양성에 기여하므로 동일 설정에서 유지하는 것이 바람직함.
- 분석·디버그: 라우터가 학습한 게이트-스케줄은 깊이 구간별로 연속적인 전문가 우위를 보이고(전이 구간에서 혼합), 전문가 제거·게이트-전치 실험을 통해 ‘어떤 전문가가 어느 깊이에 배정되었는지’가 성능에 중요하므로(게이트-전치가 성능을 크게 저하시킴) 배포 시 전문가-순서와 매핑을 임의 변경하지 말 것.
근거 범위: 이 분석은 제공된 논문 PDF 본문(본문 및 부록 포함)을 기반으로 작성되었다. 모든 수치(테이블·그림·부록의 값)는 PDF 본문에서 직접 확인한 값이다. 저자가 표기한 비교들(예: Raptor와의 증류)은 서로 다른 증류 목표를 사용했음을 본문에서 명시하고 있어 엄격한 통제 비교는 아님을 반영했다. 논문에 기술된 구현·성능 수치는 본문·부록의 표와 설명에 근거했고, 실배포 최적화(예: 커스텀 합병 커널)로 달라질 수 있는 런타임 오버헤드는 논문이 보고한 현재 구현 측정치를 그대로 기술했다.