서진호

6 분 소요

최근 AI 인프라에 대한 투자가 왜 이렇게 빠르게 증가하고 있을까. GPU와 HBM뿐 아니라 데이터센터, 네트워크, 전력, 냉각 설비까지 AI를 둘러싼 거의 모든 인프라 영역에서 대규모 투자가 이어지고 있다.

물론 대규모 모델 학습, reasoning model, multimodal AI, 기업용 AI 서비스 등 여러 요인이 동시에 작용하고 있다. 하지만 최근 나타나고 있는 Agentic AI의 확산은 앞으로 inference 인프라 수요를 이해하는 데 특히 주목할 만한 변화다.

openrouter-01

1. OpenRouter에서 Agentic Token은 약 14배 증가

OpenRouter가 공개한 그래프는 플랫폼에서 관측된 토큰 사용량을 Agentic, Human, Mixed 유형으로 구분하고 7일 평균으로 보여준다.

유형 2월 6일 8월 10일 증가 배수
Agentic 0.51T 7.3T 약 14.3배
Human 0.50T 1.4T 2.8배
Mixed 0.30T 1.4T 약 4.7배

특히 OpenRouter 그래프에서는 2월 6일을 전후해 Agentic token 사용량이 Human token 사용량을 넘어선 것으로 나타난다. 8월 10일에는 Agentic workload가 하루 7.3조 토큰 수준의 7일 평균에 도달했다. 2월 초 0.51조 토큰과 비교하면 불과 약 6개월 만에 14배 이상 증가한 것이다.

openrouter-02

단, 여기에는 중요한 전제가 있다. 이것은 전체 AI 시장의 토큰 소비량이 아니라 OpenRouter라는 하나의 플랫폼에서 관측된 데이터다. OpenAI, Anthropic, Google 등의 직접 API 호출과 기업 내부 inference 등을 모두 포함하는 통계가 아니다.

OpenRouter의 Apps & Agents 통계 역시 attribution 및 usage tracking이 가능한 앱과 에이전트를 중심으로 구성된다. 따라서 이 그래프만으로 “전 세계 AI Agent의 토큰 사용량이 14배 증가했다”고 일반화해서는 안 된다. 그럼에도 불구하고 Agentic workload가 기존 Human-driven AI 사용량보다 훨씬 빠르게 증가하고 있다는 하나의 강력한 관측 신호라는 점은 주목할 만하다.

2. 왜 에이전트는 이렇게 많은 토큰을 사용하는가?

기존 ChatGPT 형태의 AI 서비스는 비교적 단순했다.

Human → Prompt → Model → Answer

물론 reasoning model의 등장으로 내부 연산은 이미 복잡해졌지만 사용자 관점에서는 기본적으로 하나의 질문을 보내고 하나의 답을 받는 구조다.

에이전트에서는 상황이 크게 달라진다. 하나의 업무를 전달하면 에이전트가 먼저 문제를 분석하고 계획을 세운다. 이후 필요한 정보를 검색하고, 파일을 읽으며, 코드를 작성한다. 실행 결과가 잘못되었다면 오류를 분석하고 계획을 수정한다. 여기에 멀티 에이전트 시스템에서는 여러 서브 에이전트()sub-agent)를 동시에 실행할 수도 있다.

Human → Task → Agent

사용자가 하나의 Task를 전달하면 Agent는 먼저 Planning 과정을 통해 문제를 분석하고 해결 전략을 수립한다. 이후 Model inference를 수행하고, 필요한 경우 Tool calling을 통해 외부 데이터나 시스템에 접근한다. 도구 실행 결과를 다시 분석하고, 복잡한 문제에서는 여러 개의 Sub-agent를 동시에 실행해 분산 탐험()Parallel exploration)을 수행한다. 각 결과는 Verification 과정을 거치며, 실패하거나 원하는 결과가 나오지 않을 경우 실패 원인을 분석하고 Re-planning을 진행한다. 이후 다시 Model inference를 수행하며 필요한 작업을 반복한 뒤 최종 결과를 사용자에게 전달한다.

따라서 사용자가 보는 “요청 한 건”과 실제 추론 한 번이 더 이상 같은 단위가 아니다. Agent가 한 번 실행되면 그 내부에서 또 다른 모델 호출을 만들고, Tool 실행 결과를 다시 context에 집어넣으며, sub-agent가 추가적인 모델 호출을 수행한다. 결과가 만족스럽지 않으면 이러한 과정은 여러 번 반복될 수 있다. 즉 한 번 시작된 Agent 작업은 후속 inference demand를 연쇄적으로 만들어낼 수 있다.

결과적으로 AI 사용량은 단순히 사람이 입력하는 질문의 개수로 결정되지 않는다. 하나의 업무를 해결하기 위해 Agent 내부에서 발생하는 다수의 추론 과정, 도구 호출, 검증 과정, 그리고 sub-agent 실행이 새로운 AI 연산 수요를 만들어내는 구조로 변화하고 있다.

3. 실제 연구에서도 에어전트의 토큰 소비 증폭이 관측됨

이 현상은 OpenRouter 그래프에만 나타나는 것은 아니다. 2026년 발표된 *How Do AI Agents Spend Your Money? 연구에서는 SWE-bench Verified 환경에서 여러 frontier LLM의 agent trajectory를 분석했다.

연구 결과 agentic coding task는 일반적인 code reasoning이나 code chat에 비해 극단적인 경우 최대 약 1,000배 수준의 토큰을 소비할 수 있었으며 , 동일한 task라도 실행에 따라 전체 token consumption이 크게 달라질 수 있다는 결과가 보고됐다.

여기서 더 흥미로운 점은 단순히 “토큰을 많이 쓰면 성능이 좋아진다”는 관계가 성립하지 않는다는 것이다. 일정 수준 이후에는 추가적인 토큰 소비가 반드시 task success 향상으로 연결되지 않는다. 결국 Agent 시대에는 얼마나 많은 추론을 수행할 수 있느냐와 동시에 얼마나 효율적으로 성공적인 결과에 도달하느냐가 중요해진다.

4. AI 인프라 투자와 에이전틱 AI

이 변화는 최근 AI 인프라 투자 확대를 바라보는 관점에도 영향을 준다. AI 인프라 투자가 급격히 증가하는 이유를 에이전트 하나만으로 설명할 수는 없다. 대규모 파운데이션 모델 학습, 추론 중심 모델, 멀티모달 및 비디오 생성, 엔터프라이즈 AI, 국가 주도 AI, 추론 서비스 확대 등 여러 수요가 동시에 증가하고 있다.

그러나 여기에 에이전틱 워크로드가 만들어낼 추론 수요 증가에 대한 기대가 새로운 변수로 추가되고 있다. 특히 에이전트가 중요한 이유는 컴퓨팅 수요의 구조 자체가 달라질 가능성이 있기 때문이다. 과거에는 사용자가 증가하면 요청이 증가하고, 이에 따라 추론 처리량이 증가하는 구조였다.

에이전트 시대에는 사용자가 증가하면 처리해야 할 작업이 증가하고, 에이전트가 실행되면서 모델 호출과 도구 호출, 하위 에이전트 호출이 늘어나며, 작업 재계획과 결과 검증 과정이 반복되고, 추가적인 추론 연산이 발생하는 구조가 된다.

따라서 앞으로는 사용자 수의 증가율과 실제 컴퓨팅 수요의 증가율이 서로 분리될 가능성이 있다. 사용자가 10배 증가하지 않더라도 하나의 작업 안에서 추론, 도구 사용, 결과 검증, 재시도, 하위 에이전트 오케스트레이션이 반복된다면 실제 추론 컴퓨팅 수요는 사용자 증가율보다 훨씬 빠르게 증가할 수 있다. 바로 이 부분이 AI 인프라 관점에서 에이전틱 AI가 중요한 이유다.

5. GPU만의 문제가 아니다

에이전틱 추론이 확대되면 단순히 GPU를 더 많이 확보한다고 문제가 해결되는 것은 아니다. 모델 호출량이 증가하면 GPU 연산 능력뿐만 아니라 고대역폭 메모리의 용량과 대역폭이 중요해진다. 긴 컨텍스트와 동시에 처리해야 하는 요청이 증가하면 키값 캐시 관리 문제가 더욱 커지고, 여러 개의 GPU와 서버를 사용하는 환경에서는 네트워크 대역폭과 지연 시간이 핵심 요소가 된다.

결국 증가하는 AI 수요는 하나의 인프라 계층에 머무르지 않고 다음과 같은 전체 인프라 계층으로 연쇄적으로 확산된다. 에이전트는 추론 처리를 필요로 하고, 추론 처리는 GPU와 가속기 자원을 필요로 한다. GPU와 가속기가 증가하면 고대역폭 메모리와 메모리 시스템이 필요해지고, 대규모 GPU 클러스터가 구성되면 고성능 네트워크 인프라가 필요해진다. 또한 데이터 처리량이 증가하면 스토리지 요구사항이 커지고, 전력 소비가 증가하면 전력 공급과 냉각 시스템, 그리고 대규모 데이터센터 인프라가 필요해진다.

그래서 최근 AI 인프라 경쟁을 단순한 GPU 확보 경쟁으로 보는 것은 점점 한계가 있다. GPU 수가 증가하면 이를 지원하기 위한 고대역폭 메모리가 필요하고, GPU 클러스터 규모가 커지면 서버 간 연결을 위한 확장형 네트워크 구조가 필요하다. 또한 전력 소비가 증가하면 발전 설비, 송전 및 변전 인프라, 고효율 냉각 시스템까지 함께 구축해야 한다. 결국 AI 워크로드의 변화는 단순한 컴퓨팅 자원의 증가가 아니라 데이터센터 전체 구조와 아키텍처의 변화로 이어지고 있다.

6. 토큰당 비용만으로 충분한 시대도 끝나고 있다

여기서 최적화 문제도 달라진다. 기존 대규모 언어 모델 추론 환경에서는 토큰당 비용, 토큰당 에너지 사용량, 초당 처리 가능한 토큰 수, 첫 토큰 생성 시간, GPU 활용률 등과 같은 지표가 중요했다.

이러한 지표들은 앞으로도 여전히 중요하다. 하지만 에이전트 시대에는 이것만으로 시스템 효율을 설명하기 어려워진다. 예를 들어, 어떤 에이전트가 30만 개의 토큰을 사용했지만 업무 수행에 실패했고, 다른 에이전트가 80만 개의 토큰을 사용해 업무를 성공적으로 완료했다고 가정해 보자.

토큰당 비용만 비교하면 첫 번째 에이전트가 더 효율적으로 보인다. 하지만 실제 비즈니스 관점에서는 두 번째 에이전트가 훨씬 더 높은 가치를 제공할 수 있다. 따라서 앞으로 중요한 최적화 지표는 점차 다음과 같이 확장될 가능성이 있다. 토큰당 비용에서 작업당 비용으로 그리고 성공적으로 완료된 작업당 비용으로 변화하게 된다.

또한 인프라 관점까지 포함하면 성공적으로 완료된 작업 하나를 수행하는 데 필요한 에너지 사용량이라는 개념도 중요해진다. 여기에 응답 지연 시간과 시스템 신뢰성까지 포함하면 AI 인프라 최적화는 결국 비용, 지연 시간, 에너지 사용량, 성공률을 함께 고려하는 복합 최적화 문제로 발전하게 된다. 이는 단순히 GPU 성능을 높이는 문제보다 훨씬 복잡한 문제다.

7. 인간의 AI 사용량과 AI의 컴퓨팅 사용량이 분리되기 시작한다

OpenRouter의 그래프에서 가장 중요하게 봐야 할 것은 7.3조 토큰이라는 숫자 자체가 아닐 수도 있다.더 중요한 것은 증가하는 속도와 변화의 방향이다. OpenRouter라는 제한된 플랫폼 안에서 관찰된 현상이기는 하지만, 에이전틱 토큰 사용량의 증가 속도는 사람이 직접 사용하는 토큰 사용량보다 훨씬 빠르게 나타나고 있다.

다른 AI 플랫폼에서도 동일한 비율이 나타난다고 단정할 수는 없다. 오히려 OpenRouter가 코딩 에이전트와 다양한 외부 에이전트가 활발하게 사용되는 플랫폼이라는 점을 고려하면 특정 사용자 유형에 따른 편향이 존재할 가능성도 있다.

그럼에도 에이전트 구조 자체가 가지는 특성을 고려하면 중요한 방향성 하나는 분명해지고 있다. 인간이 AI를 사용하는 속도와 AI가 컴퓨팅 자원을 소비하는 속도가 반드시 같은 비율로 증가하지 않는 시대가 오고 있다.

에이전트가 작업을 전달받아 스스로 계획을 수립하고, 여러 모델과 도구를 호출하고, 하위 에이전트를 실행하며, 결과를 검증하고, 실패하면 다시 시도하기 시작하면 하나의 인간 요청이 여러 개의 기계 생성 추론 요청으로 확대될 수 있기 때문이다.

따라서 앞으로의 AI 인프라 경쟁은 단순히 누가 더 많은 GPU를 확보했는가의 문제가 아닐 가능성이 크다. 중요한 질문은 제한된 GPU, 고대역폭 메모리, 네트워크, 전력 자원을 활용해 얼마나 많은 성공적인 에이전트 작업을 처리할 수 있는가이다.

결국 에이전틱 AI의 확산은 소프트웨어 구조만 변화시키는 것이 아니다. 추론 경제 구조를 변화시키고, AI 인프라 아키텍처를 변화시키며, 데이터센터 투자 기준과 서비스 설계에서 최적화해야 하는 단위까지 바꾸기 시작하고 있다.

OpenRouter의 그래프는 전체 AI 시장을 대표하는 통계라고 보기는 어렵다. 하지만 현재 AI 산업에서 진행되고 있는 변화의 방향성을 보여주는 흥미로운 선행 지표로 바라볼 수 있다.

8. 참고 자료

댓글남기기