11 분 소요

딜사이트 경영전략써밋에서는 대한민국 정부의 3대 메가프로젝트를 주제로 논의가 진행되었다. 해외 AI 서비스를 구매해 사용하는 시장에 머물 것인지 아니면 AI 인프라와 모델 운영 역량을 갖춰 해외에 서비스를 공급하는 국가로 나아갈 것인지에 대해 저의 개인적인 견해를 컬럼으로 작성해봤다.

1. 토큰으로 바라본 AI 산업의 변화

우리나라가 AI 서비스를 이용하는 데서 더 나아가 AI 연산(compute)과 서비스를 직접 제공하는 기반을 확보해야 한다. 토큰 소비국에서 생산국으로 수출국으로의 전환해야 한다. 여기서 토큰은 암호화폐나 블록체인의 토큰과는 다른 개념이다. 언어 모델에서 토큰은 텍스트를 처리하기 위해 나누는 데이터 단위다. 하나의 단어가 한 토큰이 되기도 하고, 여러 조각으로 나뉘기도 한다. 따라서 토큰을 ‘최소 연산 단위’라고 부르기보다는 모델이 입력과 출력을 처리하는 단위이자 많은 AI 서비스에서 사용량을 계산하는 기준이다.

사용자가 한국어, 일본어, 영어로 질문을 입력하면 서비스는 이를 토큰화하고, 모델이 처리할 수 있는 형태로 변환한다. 모델은 입력된 문맥을 바탕으로 출력 토큰을 생성하며 서비스는 이를 사람이 읽을 수 있는 문장이나 코드로 바꾼다. AI 서비스는 이미지와 영상까지 다룰 수 있지만, 모든 이미지·영상 모델이 텍스트 모델과 동일한 토큰 생성 방식으로 작동하는 것은 아니다.

이 과정에는 GPU와 같은 가속기, 메모리, 전력, 네트워크, 뿐만 아니라 모델 추론 및 서빙 소프트웨어가 필요하다. 이러한 자원이 실제 AI 서비스로 전환되는 과정에 주목했다. 데이터센터의 가치를 서버 수나 전력 용량만으로 평가하기보다 고객에게 어느 수준의 AI 서비스를 얼마나 안정적이고 경제적으로 제공하는지 살펴봐야 한다. 다만 모델과 토크나이저가 다르면 같은 문장도 토큰 수가 달라질 수 있다. 따라서 토큰 생산량을 비교할 때는 모델의 품질, 입력과 출력의 길이, 응답 속도 등 조건을 함께 봐야 한다.


2. 토큰 가격이 내려가도 전체 AI 지출은 늘어날 수 있다

토큰당 비용 하락이 곧바로 전체 AI 사용료 감소로 이어지는 것은 아니라고 설명했다. 같은 성능을 더 저렴하게 이용할 수 있게 되면, 이전에는 비용 때문에 시도하지 못했던 업무까지 AI에 맡길 수 있기 때문이다.

사용자는 AI를 더 자주 호출하고, 더 긴 문서를 처리하며, 더 복잡한 작업을 요청하게 된다. 그 결과 단위 가격은 낮아지더라도 총사용량이 빠르게 늘면서 전체 지출은 증가할 수 있다. 다만 이는 가능한 경제적 경로이며, 모든 이용자의 비용이 반드시 증가한다는 뜻은 아니다.

스탠퍼드 HAI의 「AI Index 2025」는 일정한 성능 수준에 도달하는 모델의 이용 가격이 크게 하락했음을 보여준다. MMLU에서 GPT-3.5에 해당하는 성능을 얻는 데 필요한 가격은 2022년 11월 100만 토큰당 20달러에서 2024년 10월 0.07달러로 내려갔다. 이는 같은 모델의 제조원가 변화가 아니라, 비슷한 벤치마크 성능을 제공하는 모델의 이용 가격 비교다. [2]

2-1 일정 성능 수준을 제공하는 AI 모델의 이용 가격 하락

스탠퍼드 AI Index 2025의 모델 추론 가격 그래프

출처: Stanford HAI, AI Index 2025: State of AI in 10 Charts, ‘Models Become Cheaper to Use’.

비교 항목 2022년 11월 2024년 10월
GPT-3.5 수준의 MMLU 성능을 제공하는 모델 이용 가격 100만 토큰당 20달러 100만 토큰당 0.07달러
두 시점의 가격 차이 기준 약 286분의 1

에이전트는 이러한 사용량 증가를 설명하는 사례다. 일반적인 질의응답을 넘어 요청 분석, 계획 수립, 도구 선택, 외부 API 호출, 결과 확인, 재시도 등을 수행하면서 모델을 여러 차례 호출할 수 있다. 외부 도구의 실행 자체가 항상 언어 모델 토큰을 소비하는 것은 아니지만, 도구에 전달할 요청과 반환된 결과를 모델이 처리하는 과정에서는 토큰이 사용된다. Anthropic은 자사 시스템에서 일반 채팅 대비 에이전트는 약 4배, 멀티에이전트는 약 15배의 토큰을 사용했다고 보고했다. 이 수치는 해당 시스템의 관측 결과이며 모든 에이전트에 동일하게 적용되는 배율은 아니다.


2-2. 채팅과 에이전트의 상대적 토큰 사용량

xychart-beta
    title "채팅과 에이전트의 상대적 토큰 사용량"
    x-axis ["일반 채팅", "에이전트", "멀티에이전트"]
    y-axis "일반 채팅 대비 배수" 0 --> 16
    bar [1, 4, 15]

출처: Anthropic, How we built our multi-agent research system, 2025년 6월 13일. 공개 수치를 재구성했으며, 모든 서비스의 공통 배율은 아니다.


유형 일반 채팅 대비 상대 사용량
일반 채팅 1배
에이전트 약 4배
멀티에이전트 약 15배

장기간의 대화 기록이나 작업 이력을 문맥에 포함하는 경우에도 처리량이 늘어날 수 있다. 이미지와 영상 역시 해상도, 길이, 프레임 수, 모델의 처리 방식에 따라 자원 사용량이 달라진다. 따라서 ‘텍스트보다 이미지, 이미지보다 영상이 언제나 더 많은 토큰을 소비한다’고 일률적으로 말하기보다는 입력 규모와 처리 조건에 따라 비용이 달라진다.

기업이 에이전트를 업무 시스템에 연결해 지속적으로 운영하면 개인용 월 정액 서비스와는 다른 비용 구조를 갖게 된다. 계약에 따라 토큰, 호출 횟수, 도구 실행, 예약한 연산 자원 등에 대한 비용이 발생할 수 있다. 이를 기본 제공량을 넘어선 데이터 통신 사용에 추가 요금이 붙는 방식이라고 빗대어 말할 수 있다.


3. 해외 AI 이용 경험을 국내 생산·운영 역량으로 연결해야 한다

우리나라가 해외 AI 서비스를 이용하면서 발생하는 지출을 국내 산업의 성장으로 어떻게 연결할 것인지가 중요한 과제다. 해외 사업자의 모델과 플랫폼을 이용하면 관련 매출과 기술적 주도권의 상당 부분이 해당 사업자에 귀속될 수 있기 때문이다. 다만 해외 기업의 서비스를 사용한다고 해서 연산이 반드시 해외 데이터센터에서 수행되는 것은 아니다. 실제 처리 위치는 서비스, 리전, 계약, 배포 방식에 따라 달라진다. 서비스 제공 기업의 국적, 데이터센터의 위치, 모델의 소유권은 구분해서 살펴봐야 한다.

국내 데이터센터에서 모델을 학습하고 서빙하면서 기업과 공공기관의 수요를 충족하는 기반을 넓혀야 한다. 이를 통해 서비스 운영 경험을 쌓고 국내에 남는 기술과 사업적 가치를 늘려야한다. 모든 업무에 최고 성능의 프런티어 모델이 필요한 것은 아니다. 문서 초안 작성, 회의록 정리, 제한된 범위의 업무 질의응답 등은 요구 수준에 맞는 모델로 처리할 수 있다.

중국을 포함한 해외 공개 모델을 활용해 산업별 소형 언어 모델을 개발하거나 기기 내부에서 작동하는 온디바이스 AI를 사용하는 방안도 제시됐다. 시뮬레이션과 제조 현장 업무 역시 작업의 정확도와 실시간성 요구에 맞춰 접근해야 한다. 국내 서비스 운영에서 얻은 평가 결과와 사용자 피드백은 모델과 시스템을 개선하는 데 활용할 수 있다. 이렇게 축적한 경험을 일본, 싱가포르를 비롯한 아시아와 유럽 시장으로 확장하는 것이 올바른 방향이다.

자체 모델은 이러한 전략의 중요한 자산이지만 AI 서비스 수출의 필수조건은 아니다. 이용 허가를 확보한 공개 모델이나 제휴 모델을 활용해도 서빙 서비스와 애플리케이션을 수출할 수 있다. 자체 모델 확보의 의미는 수출 가능 여부보다는 기술 통제권과 차별화의 범위를 넓히는 데 있다.


4. 울산 사례가 보여주는 데이터센터 구축과 사업 운영의 관계

강연은 데이터센터를 해외 모델의 실행 장소로만 활용하기보다 국내 모델 개발과 서비스 운영 경험을 축적하는 기반으로 활용해야 한다고 강조했다. 시설을 구축한 뒤 어떤 고객과 업무를 대상으로 운영할 것인지가 함께 설계돼야 한다. 울산의 SK–AWS 프로젝트는 이러한 논의를 보여주는 사례로 언급됐다.

SK의 공식 발표는 SK가 데이터센터 구축을 주도하고 AWS가 울산에 AI Zone을 조성하는 협력 구조를 설명한다. SK텔레콤의 별도 설명에는 SK브로드밴드의 부지 확보와 데이터센터 운영 역량 활용도 명시돼 있다. 따라서 시설 소유, 클라우드 서비스 운영, 장비 소유, 용량 사용 계약을 하나로 묶어서 표현하면 사업 구조를 오해할 소지가 있다.

4-1. 공식 발표로 확인되는 울산 SK–AWS 사업 구조

구분 공식 발표에서 확인되는 내용
협력 구조 SK그룹과 AWS의 협력을 통한 AI 데이터센터 및 AI Zone 조성
SK의 역할 데이터센터 구축 주도와 부지·전력·네트워크·운영 역량 제공
AWS의 역할 AI Zone 조성과 AWS AI·클라우드 서비스 제공
협력 기간 2025년 발표 기준 15년
가동 목표 2025년 발표 당시 2027년 운영 시작 목표
소유권 해석 위 내용만으로 시설과 장비 전체를 AWS 단독 소유라고 단정할 수 없음

출처: SK 공식 발표, 2025년 6월, SK텔레콤 사업 추진 설명, 2025년 7월. 표의 일정은 당시 발표된 계획이다.

해외 사업자가 한국에 인프라를 구축하면 국내 수요에 가까운 곳에서 서비스를 제공할 수 있다. 강연에서는 데이터 이동에 따른 지연과 비용을 줄이는 효과를 설명했다. 국내에서 AI 워크로드를 처리할 수 있는 기반을 확보한다는 점도 의미가 있다. 이와 함께 국내 기업과 공공기관, 국방 및 보안 분야의 수요를 연결하는 사업도 필요하다. 데이터센터의 용량을 늘리는 것과 국내 기업이 모델·서비스 운영의 주도권을 확보하는 것은 관련돼 있지만 같은 과제는 아니다. 무엇보다도 시설 확대 이후의 운영 계획이 중요하다. 국내에서 실제로 사용하는 서비스가 있어야 운영 경험과 개선 성과가 쌓이고 이를 해외 고객에게 제공할 수 있는 사업으로 발전시킬 수 있다는 것이다.


5. 같은 장비를 갖춰도 AI 서비스 생산성은 달라진다

토큰 이코노미는 AI 산업의 생산과 소비를 토큰이라는 관점에서 분석하는 방식으로 바람직하다. 같은 규모의 데이터센터에 같은 GPU와 메모리를 설치하더라도 운영 방식에 따라 처리량과 응답 속도 및 비용은 달라질 수 있다. 이 주장은 서빙 시스템 연구에서도 확인된다. vLLM의 PagedAttention 논문은 당시 비교 대상 시스템에 비해 유사한 지연시간 수준에서 처리량을 2~4배 높였다고 보고했다. 이는 특정 모델과 실험 조건에서 얻은 결과지만, 하드웨어의 활용 효율을 소프트웨어가 크게 바꿀 수 있다는 근거가 된다.

5-1. AI 서빙 소프트웨어가 생산성에 영향을 주는 방식

기술 또는 연구 개선하는 문제 기대할 수 있는 효과
PagedAttention과 vLLM KV 캐시의 메모리 낭비와 중복 더 많은 요청을 함께 처리할 여지 확보
In-flight batching 요청별 종료 시간이 달라 생기는 비효율 실행 중인 요청 묶음을 동적으로 관리
양자화 모델의 메모리 사용량과 연산 부담 조건에 따라 메모리 절감과 추론 가속
모델 병렬화 한 장치에 모델을 담기 어려운 문제 여러 GPU에 모델과 연산 분산

출처: vLLM 연구 논문, NVIDIA 추론 최적화 기술 설명. 실제 효과는 모델, 하드웨어, 정밀도, 입력 길이와 서비스 조건에 따라 달라진다.


따라서 한국의 경쟁력은 데이터센터 보유량에서 끝나지 않는다. 같은 자원으로 고객이 요구하는 품질과 응답 속도를 충족하면서 더 많은 업무를 처리하는 능력이 필요하다. 토큰 수만 늘리는 것보다 유효한 결과를 얼마나 적은 비용으로 제공하는지가 중요하다. 공공서비스에서 모델을 실제로 운영하고 이를 민간 산업의 AI 전환으로 확장해야 한다고 제안했다. 특히 제조 AI와 피지컬 AI는 한국의 산업 기반을 활용할 수 있는 출발점으로 제시됐다. 현장에서는 데이터 특성, 업무 절차, 장비 연동, 오류 처리 같은 문제가 드러난다. 이를 해결하면서 축적한 기술은 산업별 솔루션과 운영 노하우가 된다. 공공과 국내 민간에서 검증한 경험을 해외 수출용 실증으로 연결하는 것이 강연의 구상이었다.


6. HBM의 경쟁력을 인프라와 플랫폼 운영 역량으로 넓혀야 한다

발표자는 한국이 HBM을 비롯한 메모리 분야에서 중요한 위치를 차지하고 있지만 부품 공급에만 머물러서는 안 된다고 주장했다. 메모리 경쟁력을 활용해 데이터센터와 AI 서비스 운영까지 사업 범위를 넓혀야 한다는 것이다. 메모리 병목이 GPU보다 중요하며 다음 해까지 이어질 것이라는 전망도 담겨 있다. 메모리 제품의 공급 부족과 모델 실행 중 메모리 대역폭·용량 때문에 발생하는 성능 제약은 서로 다른 문제다.

언어 모델의 추론에서도 병목은 작업 조건에 따라 달라진다. NVIDIA는 입력을 처리하는 프리필과 토큰을 생성하는 디코드 단계를 구분하며 디코드 과정에서 메모리 접근이 중요한 제약이 될 수 있다. 따라서 어떤 환경에서도 GPU보다 메모리가 더 큰 병목이라고 일반화하기는 어렵다.

시설 전체로 범위를 넓히면 전력 공급과 냉각, 전력망 연결 역시 중요한 조건이다. IEA의 2026년 보고서는 세계 데이터센터 전력 소비가 2025년 485TWh에서 2030년 약 950TWh로 증가할 것으로 전망했다. 이 수치는 AI 전용 시설만이 아니라 전체 데이터센터를 대상으로 한다.

6-1. 세계 데이터센터 전력 소비의 현재 규모와 전망

xychart-beta
    title "세계 데이터센터 전력 소비"
    x-axis ["2025년 추정", "2030년 전망"]
    y-axis "전력 소비 (TWh/년)" 0 --> 1000
    bar [485, 950]
구분 전력 소비 수치의 성격
2025년 485TWh/년 추정치
2030년 약 950TWh/년 전망치

출처: IEA, Key Questions on Energy and AI, Executive summary, 2026. 공개 수치를 재구성했다. 전체 데이터센터 기준이며 2030년 수치는 전망이다.

원본 도표: IEA, Electricity consumption by data centres, 2020–2035

이런 조건을 고려해 데이터센터의 용도를 먼저 정해야 한다고 제안했다. 산업, 공공, 국방 등 사용 목적에 따라 GPU 중심으로 구성할지, 국내 NPU를 적용할지, 기기 내부의 연산과 데이터센터의 연산을 어떻게 나눌지 결정해야 한다는 것이다. 온디바이스 AI와 데이터센터를 결합하는 하이브리드 구조도 선택지가 될 수 있다. 현장에서 즉시 처리해야 하는 작업과 대규모 연산이 필요한 작업을 구분하면, 각 환경에 맞는 자원을 배치할 수 있다. 이러한 설계와 운영 경험이 반복되면 자원 배분, 모델 배포, 성능 관리, 비용 관리 등의 플랫폼 기술로 축적될 수 있다. 발표자는 데이터센터 증설과 함께 단위 자원당 서비스 생산성을 높이는 소프트웨어 역량을 키워야 한다고 강조했다.


7. 소버린 AI를 해외 서비스와 구축 사업으로 연결하는 방법

강연에서는 해외 진출 경로를 크게 두 가지로 제시했다. 하나는 한국 데이터센터에서 모델과 애플리케이션을 운영해 해외 고객에게 제공하는 방식이다. 다른 하나는 해외 현지에 데이터센터와 AI 운영 환경을 구축하고 운영을 지원하는 방식이다. 한국의 메신저와 웹툰 서비스가 해외 이용자를 확보한 것처럼 AI 모델과 애플리케이션도 국경을 넘어 공급할 수 있다는 비유가 사용됐다. 여기에 데이터센터 설계와 구축, 모델 배포, 서빙 최적화, 유지보수를 결합하면 수출 대상은 더 넓어진다.

여러 국가가 미국과 중국의 AI 생태계 사이에서 의존 관계를 고민하고 있다. 미국 기업의 클라우드과 모델 서비스와 중국의 공개 모델, 반도체 생태계가 서로 다른 방식으로 영향력을 확대한다는 관점이다. 다만 이는 강연에서 제시한 산업적 해석이며 각국과 기업의 전략을 모두 같은 방식으로 설명할 수는 없다.

해외 모델에 지속적으로 의존하면 비용뿐 아니라 서비스 변경, 공급 중단, 데이터 통제 등의 문제도 고려해야 한다. 강연은 이러한 문제를 산업 경쟁력과 국방, 공공서비스의 자율성에 연결해 설명했다. 우리나라가 제시할 수 있는 대안은 가격, 신뢰성, 현지 운영 통제권을 함께 갖춘 서비스다. ‘미국보다 저렴하고 중국보다 신뢰할 수 있는 선택지’는 이미 입증된 한국 AI의 특성이라기보다 발표자가 제안한 경쟁 방향으로 이해하는 것이 적절하다.

또한 한국에 있는 데이터센터에서 외국의 모델을 운영한다고 해서 해당 국가의 AI 주권이 자동으로 보장되는 것은 아니다. 데이터의 위치, 접근 권한, 암호화 키, 모델 사용권, 운영 책임과 서비스 이전 가능성까지 고객이 요구하는 조건에 맞게 설계해야 한다. 제조와 공공 분야에서 검증한 모델·애플리케이션·운영 기술을 다양한 하드웨어 및 소프트웨어와 연동할 수 있다면 해외 고객이 선택할 수 있는 범위도 넓어진다. 강연은 이러한 호환성과 운영 경험을 수출 경쟁력의 일부로 보았다.


8. 인프라 확보에서 현장 검증, 해외 사업으로 이어지는 로드맵

첫 단계는 데이터센터와 모델, 학습 및 서빙 기술을 함께 확보하는 것이다. 시설만 마련해서는 충분하지 않으며, 그 안에서 실행할 모델과 서비스를 운영할 역량이 필요하다. 독자 AI 파운데이션 모델과 프런티어급 모델 개발의 필요성도 언급됐다. 성능이 높은 기반 모델을 교사 모델로 활용하고, 증류 등의 방법으로 산업별 모델을 개발해 국방, 피지컬 AI, 바이오 등에 적용하자는 구상이다.

두 번째 단계는 실제 사용 사례를 충분히 확보하는 것이다. 공공기관과 국내 기업의 업무에 적용하고, 해외 고객이 원하는 조건을 반영한 실증도 진행해야 한다. 이를 통해 모델의 정확도와 업무 효과, 운영비, 안정성을 확인할 수 있다.

세 번째 단계는 검증한 기술을 해외 사업으로 확대하는 것이다. DBO(Database Object)라고 부른 설계·구축·운영 사업은 해외 고객의 요구에 맞춰 데이터센터와 AI 운영 체계를 제공하는 방식이다. 현지 구축이 어려운 고객에게는 한국의 인프라를 활용한 모델 서빙과 운영 서비스를 제안할 수 있다. 이 경우에도 고객의 데이터와 운영 통제 요구를 충족하는지 별도로 검토해야 한다.

8-1. 강연에서 제시한 단계별 발전 방향

아래 표는 강연 요약을 재구성한 로드맵이며, 외부 기관의 통계나 확정된 정부 계획은 아니다.

단계 주요 과제 다음 단계로 연결할 성과
1단계: 기반 확보 데이터센터, 기반 모델, 학습·서빙 기술 확보 실제 서비스를 배포하고 운영할 수 있는 능력
2단계: 현장 검증 공공·국내 민간·해외 수출 지향 실증 업무 성과, 비용, 안정성이 확인된 적용 사례
3단계: 해외 사업화 현지 데이터센터 설계·구축·운영 또는 국내 기반 원격 서비스 반복 가능한 서비스 매출과 운영 계약

강연의 마지막 메시지는 데이터센터 투자를 실제 사용과 수익으로 연결해야 한다는 것이었다. 확보한 전력 용량과 장비 수에 더해, 어떤 고객이 어떤 업무에 AI를 사용하고 그 과정에서 어떤 기술과 매출이 국내에 축적되는지를 살펴봐야 한다. 독자 모델과 운영 역량, 현장 적용 경험이 해외 서비스와 구축 사업으로 이어질 때 인프라 투자가 지속적인 산업 경쟁력으로 자리 잡을 수 있다는 제안이다.

참고 자료

  1. Hugging Face — Tokenization algorithms
    https://huggingface.co/docs/transformers/tokenizer_summary
    토큰화와 서브워드 처리 방식의 기술적 설명.

  2. Stanford HAI — AI Index 2025: State of AI in 10 Charts
    https://hai.stanford.edu/news/ai-index-2025-state-of-ai-in-10-charts
    일정한 MMLU 성능 수준을 제공하는 모델의 이용 가격 변화와 원본 그래프.

  3. Anthropic — How we built our multi-agent research system
    https://www.anthropic.com/research/multi-agent-research-system
    2025년 6월 13일. 채팅 대비 에이전트와 멀티에이전트의 토큰 사용량 관측 결과.

  4. SK — SK Group and AWS Team Up to Build Cloud Computing Infrastructure to Support AI Innovation
    https://eng.sk.com/news/sk-group-and-aws-team-up-to-build-cloud-computing-infrastructure-to-support-ai-innovation
    2025년 6월 21일. 울산 AI Zone의 협력 구조와 당시 가동 목표.

  5. SK텔레콤 — ‘돈 버는 AI’의 첫 시작, SK AI 데이터센터 사업 추진 계획
    https://news.sktelecom.com/213527
    2025년 7월 3일. 부지, 전력, 네트워크, 구축·운영 역량과 사업 추진 방향.

  6. Kwon et al. — Efficient Memory Management for Large Language Model Serving with PagedAttention
    https://arxiv.org/abs/2309.06180
    2023년 9월 12일 최초 제출. vLLM과 PagedAttention의 메모리 관리 및 처리량 평가.

  7. NVIDIA — Mastering LLM Techniques: Inference Optimization
    https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/
    2023년 11월 17일. 프리필·디코드, KV 캐시, 배칭, 양자화와 모델 병렬화 설명.

  8. IEA — Key Questions on Energy and AI, Executive summary
    https://www.iea.org/reports/key-questions-on-energy-and-ai/executive-summary
    2026년 보고서. 세계 데이터센터 전력 소비의 2025년 추정치와 2030년 전망치.

  9. IEA — Electricity consumption by data centres, 2020–2035
    https://www.iea.org/data-and-statistics/charts/electricity-consumption-by-data-centres-2020-2035
    전력 소비 원본 도표.

댓글남기기