엔비디아는 왜 ‘AI 팩토리’를 만들고 있는가?

이 글은 제가 MIT 테크놀리지 리뷰 저널 코리아 2026년 1월호에 게재한 '엔비디아 AI 팩토리' 관련 전략 기사이다.

지금까지 엔비디아의 강점은 GPU 성능에만 있지 않고 진짜 핵심은 CUDA이다. CUDA는 AI 개발자들이 모델을 만들고, 학습시키고, 최적화하고, 배포하는 방식을 하나의 생태계 안에 묶었다. 그래서 기업 입장에서 엔비디아를 선택하는 것은 단순한 성능 선택이 아니라 리스크를 줄이는 선택이 됐다. 같은 코드가 잘 돌아가고, 개발자 풀이 있고, 프레임워크와 라이브러리가 맞춰져 있는 환경은 그 자체로 큰 경쟁력이다.

이번에 글에서 다루는 루빈(Rubin)도 그런 흐름 위에서 해석할 수 있다. 루빈은 “블랙웰 다음 세대 GPU” 정도로 보면 핵심을 놓치기 쉽다. 엔비디아가 보려는 것은 칩 하나의 성능이 아니라 랙, 네트워크, 저장소, 메모리, 전력, 냉각까지 포함한 전체 AI 인프라다.

AI가 리서치 수준의 모델 학습을 넘어 24시간 돌아가는 서비스가 되면서, 병목은 점점 연산 성능 하나로 설명되지 않게 됐다. 특히 중요한 변화는 추론이다. 예전에는 거대한 모델을 얼마나 빨리 학습시키느냐가 중심이었다면, 이제는 수많은 사용자들이 동시에 AI를 호출할 때 얼마나 싸고 안정적으로 답을 생성하느냐가 더 중요해졌다. 이때 문제가 되는 것이 KV 캐시와 컨텍스트 메모리(Context Memory)다.

모델이 답을 이어가기 위해 잠시 들고 있어야 하는 작업 기억이 HBM을 계속 차지한다. HBM은 빠르지만 비싸고 제한적이다. 그래서 엔비디아는 추론 컨텍스트 메모리 저장소(ICMS, Inference Context Memory Storage) 같은 새로운 메모리 계층을 통해 꼭 HBM에 있어야 하는 정보와 잠시 외부 계층으로 내려보낼 수 있는 정보를 나누려 한다.

이 흐름은 AI 인프라의 경쟁 기준이 바뀌고 있음을 보여준다. 앞으로는 누가 더 빠른 GPU를 만들었는가보다 누가 같은 전력과 같은 데이터센터 공간 안에서 더 많은 AI 요청을 처리할 수 있는가가 중요해진다. 전력 공급, 냉각 비용, 데이터센터 증설 규제, HBM 가격이 모두 AI 경쟁력의 일부가 됐다.

그래서 AI 팩토리라는 표현이 나온다. 공장이 원료를 받아 제품을 계속 생산하듯, AI 팩토리는 데이터를 받아 학습과 추론을 계속 생산한다. CPU는 전체 작업을 조율하고, GPU는 대규모 병렬 연산을 맡고, DPU는 데이터 이동과 보안을 처리하고, 추론에 특화된 장치는 토큰 생성과 응답 지연을 줄이는 역할을 맡는다. 각 부품이 따로 뛰는 것이 아니라 하나의 생산 라인처럼 움직이는 구조다.

엔비디아가 그록(Groq) 인력을 흡수한 것도 이런 맥락에서 볼 수 있다. 그록의 LPU(Language Processing Unit)는 학습보다 추론, 특히 토큰을 빠르고 일정하게 생성하는 작업에 강점이 있다. 앞으로 AI 에이전트가 많아질수록 짧은 요청을 빠르게 처리하는 추론 인프라의 가치는 더 커진다. 엔비디아가 GPU 중심 전략만 고집하지 않고 추론 전용 아키텍처까지 흡수하려는 이유도 여기에 있다.

결론적으로 엔비디아가 말하는 AI 팩토리는 단순히 GPU를 더 많이 꽂아 넣은 데이터센터가 아니다. AI를 하나의 산업 생산 시스템처럼 돌리기 위한 인프라 전략에 가깝다.

• 컬럼: 엔비디아는 왜 AI팩토리를 만들고 있는가?