추론 엔지니어링의 부상 (3)

추론 엔지니어링의 부상의 두번쨰 글은 추론 최적화 기술에 대해 알아보도록 하겠다. 이전 장에서 설명한 것처럼, Prefill과 Decode 구조를 이해하면 추론 엔지니어링에서 사용하는 주요 최적화 기술을 훨씬 쉽게 정리할 수 있다. 각 기술은 특정 단계를 가속하거나, 서로 다른 이유로 두 단계를 모두 개선하거나, 또는 Prefill과 Decode 구조 자체를 중심으로 시스템을 재구성한다.

1. 배칭(Batching)

대규모 언어 모델(LLM)의 시대가 열리면서 AI 산업의 관심은 더 이상 모델 학습 자체에만 머물지 않는다. 이제 중요한 경쟁 요소는 어떻게 거대한 모델을 더 빠르고 저렴하게 서비스할 것인가이다.

2. Prefix Caching

이 책은 vLLM 내부 동작 원리부터 대규모 배포 전략까지 자연스럽게 이해할 수 있도록 단계적으로 구성되었다.

3. 양자화(Quantization)

책의 60% 정도를 위키독스에 공개할 예정이다. 내용이 어떻게 구성되었는 지 궁금한 독자라면 아래의 주소로 방문하면 무료로 볼 수 있다.

4. 추측 디코딩(Speculative Decoding)

ㅎㅎㅎㅎ

5. 병렬 처리(Parallelism)

ㅎㅎㅎㅎㅎ

6. 분리(Disaggregation)

ㅎㅎㅎㅎ