vLLM 실습 도서

현재 Wikidocs 를 통해 여유가 생길때 마다 'vLLM 실습' 도서를 소스코딩과 함께 글을 작성중이다.

1. 배경

대규모 언어 모델(LLM)의 시대가 열리면서 AI 산업의 관심은 더 이상 모델 학습 자체에만 머물지 않는다. 이제 중요한 경쟁 요소는 어떻게 거대한 모델을 더 빠르고 저렴하게 서비스할 것인가이다.

GPT, Llama, DeepSeek, Qwen과 같은 수십억~수천억 파라미터 규모의 모델은 뛰어난 지능을 제공하지만, 실제 서비스 환경에서는 새로운 문제가 발생한다.

• GPU 메모리는 제한되어 있다.
• 사용자의 요청 길이는 일정하지 않다.
• 동시에 수천 개의 요청이 들어온다.
• 짧은 응답 지연 시간(latency)과 높은 처리량(throughput)을 동시에 만족해야 한다.

기존 LLM 추론 시스템은 이러한 요구를 충분히 해결하지 못했다. 모델을 GPU에 올리고 순전파를 반복 실행하는 수준에서는 대규모 서비스를 운영하기 어렵다. 이러한 한계를 해결하기 위해 등장한 것이 vLLM(Virtual Large Language Model) 이다. vLLM은 단순한 LLM 엔진이 아닌 LLM 추론을 위한 새로운 운영체제 수준의 런타임(Runtime) 에 가깝다.

또한, vLLM은 오픈소스로 국내 뿐만 아니라 전 세계에서 많이 사용되고 있고, 최신 모델 적용이 가장 빠른 추론 엔진이다. 국내 대규모 언어 모델도 현재 GPU 하드웨어 기반 쿠버네티스 환경에서 vLLM을 추론 서비스하는 곳이 많아서 초보 개발자와 데브옵스 엔지니어, 그리고 운영 관리자에게 도움을 주고자 도서를 작성하게 되었다.

2. 이 책의 구조와 흐름

이 책은 vLLM 내부 동작 원리부터 대규모 배포 전략까지 자연스럽게 이해할 수 있도록 단계적으로 구성되었다.

• 1장과 2장: 1장과 2장은 이론적 기반과 시스템 아키텍처를 설명한다. 기존 추론 방식이 왜 비효율적인지 분석하고 PagedAttention을 중심으로 한 vLLM의 설계가 이러한 문제를 어떻게 해결하는지 설명한다.
• 3장: 3장은 실제 서빙 환경을 다룬다. 학습된 모델을 서비스 가능한 API로 전환하는 방법과 다수의 동시 사용자 요청을 처리하는 방법을 설명한다.
• 4장: 4장은 최적화에 초점을 맞춘다. 양자화와 캐시 튜닝을 활용하여 현재 하드웨어에서 최대 성능을 끌어내는 방법을 설명한다.
• 5장과 6장: 5장과 6장은 시스템 수준으로 논의를 확장한다. vLLM을 백엔드 아키텍처와 통합하는 방법과 전 세계 사용자를 지원하기 위한 수평 확장 기법을 다룬다.
• 7장과 8장: 7장과 8장은 실제 운영 환경에서 대규모 언어 모델을 운영하는 방법을 설명한다. 관측 가능성, 디버깅, 그리고 엔터프라이즈 환경에서 요구되는 높은 신뢰성을 유지하는 운영 기법에 중점을 둔다.
• 9장: 9장은 고급 활용 패턴과 미래 기술의 발전 방향을 소개하며 마무리한다. 독자가 습득한 지식이 앞으로의 기술 변화에도 계속 활용될 수 있도록 확장된 관점을 제시한다.

이 책을 마치면 독자는 단순히 모델을 실행하는 수준을 넘어 대규모 언어 모델을 높은 성능과 효율성으로 운영 환경에 배포할 수 있는 전문적인 역량을 갖추게 된다. 메모리 페이지 관리와 같은 세부 구현부터 클라우드 규모의 오케스트레이션까지 단계적으로 학습함으로써 현대 추론 스택을 전체적으로 이해할 수 있도록 구성되어 있다.

3. 무료 공개

책의 60% 정도를 위키독스에 공개할 예정이다. 내용이 어떻게 구성되었는 지 궁금한 독자라면 아래의 주소로 방문하면 무료로 볼 수 있다.

• 책 주소: wikidocs.net/book/20727