vLLM(2)-윈도우11 WSL환경에서 vLLM 설치

지난 노트에서는 vLLM 추론에 대해 간단히 알아 보았다. 이번 노트에서는 윈도우11 운영체제에서 WSL용 Ubuntu 22.04 운영체제를 설치하고, Visual Studio Code에서 원격으로 이 Ubuntu 22.04 운영체제를 접속하도록 하는 내용을 정리해보겠다.

vLLM은 공식적으로는 CPU 실행은 지원하지 않고, GPU가 있을 때 최적 성능을 발휘한다. FlashAttention, PagedAttention와 같은 vLLM의 주요 기능들은 GPU 최적화된 CUDA 커널을 사용하기 때문에, CPU에서는 핵심 연산이 CUDA 전용으로 되어 있어 CPU 환경에서는 ImportError 혹은 런타임 에러 발생하거나 vllm.engine 내부에서 CUDA 디바이스를 자동 탐색하고, 없으면 종료 처리된다. 또한, 윈도우11 운영체제 자체에서는 설치할 수 없고, 반드시 WSL 기반의 우분투 운영체제나 도커 기반에서 설치할 수 있다.

1. WSL용 Ubuntu 22.04 운영체제 설치

• 윈도우11 운영체제의 WSL를 이용해서 Ubuntu 22.04 운영체제 설치

  • Microsoft Store 실행해서 검색창에 Ubuntu 22.04 입력

  • Ubuntu 22.04 LTS 클릭 → [설치] 버튼 클릭

  • 또는 파워셀에서 명령어로도 설치 가능

    wsl --install -d Ubuntu-22.04
    

  • 설치가 완료되면 Ubuntu 터미널이 자동 실행되며, UNIX 사용자 계정 생성 및 비밀번호 설정

  • 설치 확인 및 버전 확인

    wsl --list --verbose
    

  • 여러 개의 Linux가 설치된 경우 Ubuntu 22.04를 기본으로 설정

    wsl --set-default Ubuntu-22.04
    

2. Visual Studio Code 에서 원격으로 우분투 접속

• Visual Studio Code에서 원격으로 우분투 접속하려면, WSL을 설치해야 한다. Visual Studio Code의 에 Extentions 아이콘을 클릭한다음, WSL 을 검색 한 후 설치하면 된다.

  

• 그 다음, Visual Studio Code에서 원격으로 우분투 운영체제로 접속하려면, 아래와 같이 맨 왼쪽 밑의 가장자리의 상태 바에서 >< 버튼을 누른다.

  

• Select an option to open a Remote Window 화면에서 Connect to WSL using Distro...를 선택한다.

  

  • 설치된 여러 개의 WSL 배포판 중 어떤 배포판에 연결할지 선택하는 명령.
    • 예) Ubuntu 20.04, Ubuntu 22.04, Debian 등 여러 Distro 중 선택 가능.
  • 선택하면 VS Code는 해당 리눅스 환경 안에서 실행되며, bash, apt, make, python 등 리눅스 도구를 그대로 활용 가능.
  • Ctrl+Shift+P → Connect to WSL using Distro...

• Select WSL Distro 윈도우에서 Ubuntu 22.04를 선택한다.

  

• 이제 우분투 22.04 운영체제에 원격으로 접속을 완료했고, Open Folder 를 선택한 다음, /home/synabreu 를 선택한다.

  

• 왼쪽 프로젝트 윈도우에는 UBUNTU-22.04 운영체제가 나오고 폴더 리스트들이 나온다.

  

• venv 생성 및 가상 환경 사용을 사용하려면, Terminal 윈도우에서 다음과 같은 명령어를 실행한다.

  python -m venv vllm-env
  vllm-env\Scripts\activate