서진호

2 분 소요

MIT 테크 리뷰 저널 코리아 세번째 시리즈로써, 지난 GTC 2026를 보고 제가 얻었던 인사이트를 컬럼으로 게재했다.

엔비디아의 전략은 이제 단순히 더 빠른 GPU를 파는 데서 멈추지 않는다. AI 산업의 중심이 학습(training) 에서 추론(inference) 으로 이동하고 있고, 그 다음 단계는 AI가 직접 업무를 수행하는 에이전트(agent) 로 확장되고 있다. 이에 엔비디아가 이 변화에 맞춰 GPU, LPU, 메모리, 네트워킹, 소프트웨어를 하나로 묶은 새로운 AI 인프라 전략을 제시하고 있다.

1. 엔비디아의 다음 목표는 ‘AI 에이전트 경제’다

AI 산업의 무게중심이 바뀌고 있다. 초기 생성형 AI 경쟁은 누가 더 큰 모델을 학습시키느냐의 싸움이었다. 더 많은 GPU, 더 많은 데이터, 더 긴 학습 시간이 핵심이었다. 하지만 이제 시장의 관심은 학습에서 추론으로 이동하고 있다. 모델을 한 번 잘 만드는 것도 중요하지만, 실제 서비스 환경에서는 수많은 사용자의 요청에 빠르고 싸게, 그리고 안정적으로 답해야 한다. 챗봇, 검색, 코딩 에이전트, 고객 상담, 업무 자동화 서비스가 늘어날수록 추론 수요는 폭발적으로 증가한다.

젠슨 황 엔비디아 CEO는 이를 ‘추론 변곡점’ 으로 보고 있다. 그는 2027년까지 AI 칩과 인프라 사업의 누적 주문이 최소 1조 달러에 이를 것이라고 전망했다. 이는 기존에 제시했던 약 5,000억 달러 전망의 두 배 수준이다.

2. GPU 단독 경쟁이 아니다!

엔비디아가 더 이상 GPU 하나만으로 AI 인프라를 설명하지 않는다는 점이다. AI 에이전트 시대에는 작업이 훨씬 복잡해진다. 사용자의 명령을 이해하고, 여러 도구를 호출하고, 검색하고, 코드를 실행하고, 결과를 검증하고, 다시 계획을 수정해야 한다. 즉, 단순히 “답변을 생성하는 모델”이 아니라 “업무를 수행하는 시스템”이 필요해진다.

이때 필요한 것은 하나의 강력한 칩이 아니라 역할별로 최적화된 이기종 컴퓨팅 구조다. 큰 연산과 대규모 컨텍스트 처리는 GPU가 맡고, 빠른 응답 생성과 저지연 추론은 LPU 같은 특화 칩이 담당하는 방식이다.

3. 루빈, 그록 LPU, HBM이 하나의 스택으로 묶인다

엔비디아의 전략을 GPU·LPU·소프트웨어를 결합한 에이전트 경제 인프라로 차세대 루빈 계열 GPU, 초고속 추론 전용 LPU, HBM4e 같은 고대역폭 메모리, 그리고 소프트웨어 스택이 함께 움직이는 구조를 강조한다.

또한, 젠슨 황이 삼성의 Groq용 LPU 제조 역할과 Vera Rubin 플랫폼을 위한 고성능 메모리 지원을 언급했다고 밝혔다. 이는 AI 인프라 경쟁이 단순히 엔비디아 혼자만의 문제가 아니라, 파운드리·HBM·패키징·서버·네트워크까지 연결된 공급망 경쟁으로 확장되고 있음을 보여준다.

4. 왜 이것이 중요한가?

AI 에이전트가 본격화되면 추론 비용은 기업 경쟁력의 핵심이 된다. 지금까지는 “어떤 모델이 더 똑똑한가”가 중요했다면, 앞으로는 “그 모델을 얼마나 싸고 빠르게, 안정적으로 운영할 수 있는가”가 더 중요해진다. 같은 성능의 AI 서비스를 운영하더라도 추론 비용이 낮은 기업은 더 많은 사용자에게 더 저렴한 서비스를 제공할 수 있다.

그래서 엔비디아의 전략은 단순한 칩 판매 전략이 아니다. 이는 AI 서비스의 운영 비용 구조를 장악하려는 전략이다.

에이전트 AI는 한 번 답하고 끝나는 챗봇보다 훨씬 많은 연산을 요구한다. 계획 수립, 검색, 도구 호출, 코드 실행, 검증, 재시도 과정이 반복되기 때문이다. 결국 에이전트가 많아질수록 추론 인프라 수요는 더 커진다. 엔비디아가 말하는 ‘에이전트 경제’는 바로 이 지점을 겨냥하고 있다.

댓글남기기