서진호

8 분 소요

인공지능 산업에서 AMD는 오랫동안 다소 애매한 위치에 있었다. GPU 하드웨어 성능만 놓고 보면 NVIDIA를 추격할 수 있는 몇 안 되는 기업이지만, 실제 인공지능 개발 현장에서 AMD의 존재감은 하드웨어 사양만큼 크지 않았다.

그 이유는 명확하다. 오늘날 인공지능 경쟁은 GPU의 연산 성능만으로 결정되지 않는다. 개발 프레임워크, 분산 학습, 추론 엔진, 최적화 라이브러리와 개발자 생태계가 하나의 거대한 플랫폼을 형성한다. NVIDIA의 진짜 경쟁력 역시 GPU 자체보다는 CUDA를 중심으로 구축된 이 플랫폼에 있다.

이런 관점에서 AMD가 공개한 Instella-MoE-16B-A3B는 단순한 언어 모델 하나 이상의 의미를 가진다. Instella-MoE는 전체 160억 개의 파라미터를 보유하면서도 토큰마다 약 28억 개의 파라미터만 활성화하는 혼합 전문가 모델이다. 하지만 이 모델에서 정말 주목해야 할 부분은 벤치마크 점수보다도, AMD가 자체 GPU와 ROCm 소프트웨어 환경에서 사전학습부터 강화학습까지 전체 과정을 수행했다는 사실이다. AMD는 이제 “우리 GPU에서도 모델을 실행할 수 있다”는 수준을 넘어 “우리 생태계에서도 모델을 처음부터 만들 수 있다”는 메시지를 내놓기 시작했다.

1. 16B이지만 2.8B만 계산한다는 의미

Instella-MoE-16B-A3B라는 이름에는 모델의 핵심 구조가 그대로 담겨 있다. 16B는 전체 파라미터가 약 160억 개라는 뜻이다. A3B는 토큰마다 약 30억 개, 정확히는 약 28억 개의 파라미터가 활성화된다는 의미다.

이 모델은 64개의 라우팅 엑스퍼트와 2개의 공유 엑스퍼트를 사용한다. 입력 토큰이 들어오면 라우터가 64개 엑스퍼트 중 6개를 선택한다. 엑스퍼트 2개는 모든 토큰을 처리한다.

모든 파라미터를 항상 사용하는 밀집 모델과 달리 MoE 모델은 필요한 엑스퍼트만 선택적으로 호출한다. 이를 통해 모델 전체의 표현 능력을 유지하면서 토큰당 계산량을 줄일 수 있다. 이 구조만 보면 160억 개의 파라미터를 가진 모델을 28억 개 규모의 모델처럼 효율적으로 실행할 수 있을 것처럼 보인다.

그러나 여기에는 흔히 발생하는 오해가 있다. 토큰당 28억 개의 파라미터만 계산한다는 것이 28억 파라미터 밀집 모델과 동일한 비용으로 실행된다는 뜻은 아니다. 전체 전문가 가중치는 여전히 메모리에 올라가야 한다. 어느 전문가를 사용할지 판단하는 라우팅 연산도 필요하다. 멀티 GPU에 전문가가 분산되면 GPU 간 데이터 교환도 발생한다.

즉 Instella-MoE는 연산량은 작은 모델에 가깝지만, 메모리 구조와 시스템 복잡도는 큰 모델에 가깝다. MoE는 공짜로 성능을 얻는 기술이 아니다. 계산량을 줄이는 대신 메모리 접근과 통신, 부하 분산이라는 새로운 문제를 받아들이는 구조다.

2. 중요한 것은 모델보다 전체 학습 경로

AMD는 Instella-MoE를 MI300X와 MI325X GPU에서 처음부터 학습했다고 밝혔다.

사전학습에는 AMD의 분산 학습 프레임워크인 Primus가 사용됐다. 지도 미세조정, 직접 선호 최적화와 강화학습 과정에는 Miles가 활용됐다. 모든 과정은 ROCm 기반으로 수행됐다.

이는 꽤 중요한 변화다. 그동안 AMD GPU와 ROCm을 둘러싼 논의는 대부분 호환성에 집중됐다. “PyTorch가 실행되는가?”, “기존 CUDA 코드를 얼마나 쉽게 옮길 수 있는가?”, “vLLM이나 SGLang을 사용할 수 있는가?”

이런 질문의 중심에는 늘 NVIDIA 생태계가 있었다. CUDA 환경에서 만들어진 소프트웨어를 AMD에서도 실행할 수 있는지를 평가하는 방식이었다. Instella-MoE는 질문의 방향을 바꾼다.

AMD는 기존 CUDA 모델을 가져와 실행하는 데 그치지 않고, ROCm 환경에서 모델을 설계하고 처음부터 학습하고 포스트 트레이닝까지 완료했다. 이는 ROCm이 단순한 CUDA 호환 계층이 아니라 독립적인 인공지능 개발 플랫폼으로 성장하고 있다는 것을 보여주려는 시도다.

물론 모델 하나가 공개됐다고 해서 CUDA와 ROCm의 생태계 격차가 사라지는 것은 아니다. CUDA는 오랜 기간 축적된 라이브러리, 개발 도구, 문서, 커뮤니티와 운영 경험을 가지고 있다. 그러나 플랫폼 경쟁은 어느 날 갑자기 뒤집히지 않는다. 실제로 작동하는 사례가 하나씩 쌓이면서 변화한다. Instella-MoE는 그런 사례 중 하나다.

3. 최종 가중치만 공개한 모델과 무엇이 다른가?

최근 오픈소스 모델이라는 말은 상당히 넓은 의미로 사용된다. 어떤 모델은 최종 가중치만 내려받을 수 있어도 오픈 모델이라고 불린다. 그러나 최종 결과물만 공개됐을 뿐, 어떤 데이터와 설정으로 학습됐는지 알 수 없는 경우가 많다. 이런 모델은 실행하거나 미세조정할 수는 있어도 학습 과정을 연구하거나 재현하기 어렵다.

AMD는 Instella-MoE의 최종 가중치만 공개하지 않았다. 사전학습 체크포인트, 중간 학습 모델, 64K 컨텍스트 확장 모델, 지도 미세조정 모델, DPO 모델과 강화학습 모델을 단계별로 공개했다. 학습 설정과 데이터 혼합 정보, 학습 코드와 추론 코드도 함께 제공했다.

이 점에서 Instella-MoE는 일반적인 오픈 웨이트 모델보다 훨씬 높은 투명성을 가진다.연구자는 사전학습 이후 수학과 코드 능력이 어떻게 변했는지 확인할 수 있다. DPO가 명령어 수행 능력에 어떤 영향을 주었는지 분석할 수도 있다. 강화학습을 적용하기 전과 후의 모델 행동을 비교할 수도 있다.

인공지능 연구에서 최종 점수만큼 중요한 것이 학습 과정이다. 어떤 변화가 어떤 성능 향상으로 이어졌는지를 추적할 수 있어야 연구 결과를 재사용하고 개선할 수 있기 때문이다.

다만 “완전 공개”라는 표현을 “제한 없는 오픈소스”와 동일하게 이해해서는 안 된다.Instella-MoE는 Research RAIL 라이선스로 배포된다. 연구와 학술 활용에 초점을 둔 라이선스이며, Apache 2.0이나 MIT 라이선스처럼 상업적 사용이 폭넓게 허용된다고 단정할 수 없다. 가중치와 학습 과정이 폭넓게 공개됐다는 것과 상업 서비스에 자유롭게 사용할 수 있다는 것은 서로 다른 문제다.

4. MoE의 진짜 병목은 계산이 아니라 통신이다

MoE 모델은 계산 효율이 높지만 분산 환경에서는 복잡한 통신 문제를 만든다. 입력 토큰이 특정 전문가에 배정되면 해당 전문가가 위치한 GPU로 토큰 데이터를 보내야 한다. 계산이 끝난 후에는 결과를 다시 원래 위치로 전달해야 한다.

전문가가 여러 GPU에 분산돼 있을수록 All-to-All 통신량이 증가한다. GPU의 계산 성능이 충분해도 네트워크 통신을 기다리는 시간이 길어지면 전체 성능이 떨어진다.AMD가 Instella-MoE에서 FarSkip-Collective를 강조하는 이유도 여기에 있다.

FarSkip-Collective는 통신이 완전히 끝날 때까지 기다린 후 계산을 시작하는 대신, 사용할 수 있는 일부 활성값을 먼저 활용해 계산과 통신을 겹쳐 수행한다. AMD는 이를 통해 사전학습 속도를 12.7% 개선했다고 발표했다.

추론 환경에서는 전문가 병렬화와 SGLang을 결합해 최초 토큰 생성 시간을 최대 39.2% 줄였다고 밝혔다. 이 수치는 AMD의 측정 환경에서 얻어진 결과이며, 모든 하드웨어 구성에서 동일하게 재현된다는 뜻은 아니다. GPU 수, 배치 크기, 입력 길이, 네트워크 구조와 전문가 배치 방식에 따라 결과는 달라진다.

그럼에도 이 결과가 의미 있는 이유는 분명하다. AMD가 단순히 행렬 곱셈 성능을 자랑하는 데 그치지 않고, 실제 대규모 MoE 시스템에서 발생하는 통신 병목까지 다루기 시작했다는 점이다.

대규모 인공지능 경쟁은 칩의 최대 연산량을 비교하는 벤치마크가 아니다. GPU가 계산하는 시간과 데이터를 기다리는 시간을 얼마나 효율적으로 조율하느냐가 실제 성능을 결정한다.

5. 64K 컨텍스트가 곧 64K 이해력을 의미하지는 않는다

Instella-MoE는 최대 64K 토큰의 컨텍스트를 지원한다. AMD는 4K로 학습한 모델을 긴 문서 데이터와 YaRN 위치 인코딩을 이용해 64K까지 확장했다. 긴 컨텍스트 평가인 HELMET와 RULER에서도 경쟁력 있는 점수를 기록했다.

그러나 “64K 컨텍스트 지원”이라는 문구는 주의해서 해석할 필요가 있다. 64K 토큰을 입력할 수 있다는 것과 64K 범위에 포함된 모든 정보를 정확하게 이해하고 활용한다는 것은 다른 문제다. 긴 문서 중간에 위치한 정보를 제대로 찾을 수 있는지, 여러 문서에 흩어진 사실을 연결할 수 있는지, 입력 길이가 늘어날 때 정확도가 얼마나 유지되는지는 별도의 평가가 필요하다.

실행 비용도 커진다. 컨텍스트가 길어질수록 KV 캐시가 증가한다. 모델 가중치뿐 아니라 컨텍스트 처리를 위한 메모리까지 확보해야 한다. 따라서 64K는 모델의 지원 가능한 최대 입력 범위를 의미한다. 일반 소비자 GPU에서 64K 입력을 실용적인 속도로 처리할 수 있다는 의미는 아니다.

6. “동급 완전 공개 1위”는 어디까지 사실인가?

AMD의 평가에서 Instella-MoE-16B-A3B-Base는 평균 76.7점을 기록했다. AMD가 완전 공개 모델로 분류한 비교군에서는 SmolLM3-3B-Base, OLMo-3-7B와 OLMoE-1B-7B보다 높은 점수를 얻었다. 이 기준에서는 Instella-MoE가 가장 높은 평균 성능을 기록한 것이 맞다.

하지만 오픈 웨이트 모델까지 범위를 넓히면 Qwen3.5-4B-Base가 79.5점으로 더 높았다.따라서 “동급 완전 공개 모델 1위”라는 표현은 조건부로 사실이다. AMD가 선정한 벤치마크와 비교 모델 범위에서, 유사한 활성 파라미터 규모의 완전 공개 모델 가운데 가장 높은 평균 점수를 기록했다.

이 결과를 전 세계 모든 16B 모델 중 1위라고 해석해서는 안 된다. 모든 벤치마크에서 경쟁 모델을 앞선 것도 아니다. 긴 컨텍스트 평가에서는 OLMo-3-7B가 일부 항목에서 더 높은 결과를 기록했다.

벤치마크 평균은 모델의 한 측면을 보여줄 뿐이다. 실제 제품 환경에서는 응답 품질, 환각, 도구 사용, 한국어 이해, 지연 시간, 처리량과 운영 안정성이 함께 평가돼야 한다. 더구나 현재 공개된 주요 결과는 AMD 자체 평가에 기반한다. 제3자 평가와 실제 서비스 환경의 검증이 충분히 축적돼야 모델의 위치를 더 객관적으로 판단할 수 있다.

7. 2.8B 활성 모델을 최신 라데온(Radeon) GPU에서 실행할 수 있을까?

모델 이름의 A3B(Active 3B)만 보면 일반 소비자용 GPU에서도 쉽게 실행할 수 있을 것처럼 보인다. 하지만 Instella-MoE는 전체 파라미터가 16B(160억 개)인 혼합 전문가 모델이다. 토큰 처리 과정에서는 약 28억 개의 파라미터만 활성화되지만, 모델 실행을 위해서는 전체 전문가 가중치를 관리해야 한다.

BF16 기준으로 16B 모델의 가중치만 약 32GB 이상의 메모리가 필요하다. 여기에 KV 캐시, MoE 라우팅 버퍼, ROCm 런타임 메모리와 추론 작업 공간이 추가된다. 따라서 16GB VRAM을 가진 Radeon RX 7800 XT나 RX 9070 같은 GPU에서는 BF16 원본 모델을 단일 GPU로 실행하기 어렵다. 24GB VRAM을 제공하는 Radeon RX 7900 XTX와 같은 고VRAM GPU에서도 여유 있는 실행 환경이라고 보기는 어렵다.

다만 GGUF, GPTQ, AWQ와 같은 양자화 모델이 제공되거나 직접 변환할 경우에는 상황이 달라진다. 4bit 또는 5bit 양자화를 적용하면 필요한 메모리를 크게 줄일 수 있어 최신 Radeon GPU에서도 실험적인 로컬 추론은 가능하다. AMD GPU에서는 ROCm 기반 프레임워크를 활용할 수 있다.

예를 들면:

  • ROCm + PyTorch
  • ROCm + vLLM(지원 범위 확인 필요)
  • ROCm + SGLang
  • llama.cpp + Vulkan/HIP 백엔드

등을 통해 라데온(Radeon) 환경에서 실행을 시도할 수 있다.

그러나 여기서 중요한 점은 MoE 모델의 활성 파라미터 수와 GPU 메모리 요구량은 동일하지 않다는 것이다.

Instella-MoE는 토큰마다 2.8B 정도만 계산하지만, 여러 전문가의 가중치를 저장하고 관리해야 한다. 따라서 일반적인 3B Dense 모델처럼 8GB~12GB급 GPU에서 가볍게 실행되는 구조는 아니다.

현실적으로는 다음 환경이 더 적합하다.

  • AMD Instinct MI300X/MI325X 같은 데이터센터 GPU
  • 48GB 이상 VRAM GPU 환경
  • 다중 GPU ROCm 서버
  • 최신 Radeon 고VRAM GPU에서 양자화 모델 실험
  • MoE 구조와 ROCm 최적화를 연구하는 개발 환경

특히 Radeon GPU에서는 NVIDIA CUDA 생태계와 달리 ROCm 지원 모델, 드라이버 버전, 프레임워크 호환성을 반드시 확인해야 한다. 최신 Radeon이라고 해서 모든 AI 프레임워크가 동일하게 지원되는 것은 아니다.

따라서 Instella-MoE는 Radeon GPU에서도 실행 가능성을 가진 모델이지만, 일반 소비자용 라데온 GPU를 위한 경량 로컬 LLM이라기보다는 고VRAM Radeon 또는 AMD Instinct 기반 연구 및 개발 환경에 더 적합한 모델이라고 보는 것이 정확하다.

8. AMD가 진짜로 증명해야 하는 것

Instella-MoE는 AMD에 중요한 이정표다. 그러나 이 모델 하나만으로 AMD가 NVIDIA의 인공지능 생태계를 따라잡았다고 보기는 어렵다. AMD가 앞으로 증명해야 할 것은 모델을 한 번 학습할 수 있다는 사실이 아니다.

다양한 모델을 반복적으로 안정되게 학습할 수 있어야 한다. 여러 규모의 클러스터에서 일관된 성능을 제공해야 한다. 개발자가 낮은 수준의 ROCm 오류와 씨름하지 않고 학습과 추론 작업에 집중할 수 있어야 한다.

vLLM, SGLang, PyTorch, Triton 계열 도구와의 호환성도 지속적으로 개선돼야 한다. 장애 분석, 모니터링, 프로파일링과 운영 자동화 같은 기업용 기능도 필요하다. 기업이 플랫폼을 선택할 때 보는 것은 최고 벤치마크 점수만이 아니다.

개발자가 얼마나 쉽게 시작할 수 있는지, 문제가 발생했을 때 해결 자료를 찾을 수 있는지, 프레임워크 업데이트가 얼마나 빠르게 반영되는지, 시스템을 몇 년 동안 안정적으로 운영할 수 있는지를 본다.

NVIDIA가 가진 가장 강력한 해자는 GPU 성능만이 아니다. 수백만 명의 개발자가 CUDA를 기본 선택지로 여긴다는 사실이다. AMD가 이 구조를 바꾸려면 좋은 GPU뿐 아니라 좋은 개발 경험을 제공해야 한다.

9. 모델이 아니라 생태계 경쟁의 시작

Instella-MoE-16B-A3B는 세계에서 가장 강력한 언어 모델은 아니다. 일반 사용자가 노트북에서 가볍게 실행할 수 있는 모델도 아니다. 상업적으로 아무 제한 없이 사용할 수 있는 모델이라고 보기도 어렵다.

그럼에도 이 모델은 중요하다. AMD가 자체 GPU와 ROCm 환경에서 7.1조 개 토큰 규모의 사전학습을 수행했다. MoE 모델의 복잡한 전문가 통신 문제를 최적화했다. 사전학습부터 DPO와 강화학습까지 단계별 결과를 공개했다.

이는 AMD가 더 이상 “NVIDIA GPU가 부족할 때 고려하는 대체재”에 머물지 않으려 한다는 신호다. 인공지능 인프라 시장의 경쟁은 개별 GPU의 성능 비교에서 플랫폼과 생태계의 경쟁으로 이동했다. 모델 학습, 추론, 분산 통신과 운영 도구가 하나의 수직 통합된 체계를 이룬다.

Instella-MoE는 AMD가 이 경쟁에 참여할 준비가 돼 있다는 선언에 가깝다. 다만 선언과 시장의 선택은 다르다. AMD가 Instella-MoE를 일회성 연구 프로젝트가 아니라 ROCm 생태계에서 반복 가능한 표준 사례로 발전시킬 수 있는지가 중요하다. 개발자와 기업이 동일한 결과를 재현하고, 실제 서비스에 적용하고, 운영 비용을 절감할 수 있어야 한다.

Instella-MoE가 증명한 것은 AMD가 CUDA 밖에서도 대규모 언어 모델을 만들 수 있다는 사실이다. 이제 남은 질문은 하나다.

개발자와 기업이 CUDA 밖에서 모델을 만들고 운영해야 할 충분한 이유까지 AMD가 제공할 수 있는가?

댓글남기기