[실습] 파운드리 로컬 시작하기

지난 노트에서 마이크로소프트 파운드리 로컬 서비스가 어떠한 것인지 이론적으로 알았을 것이다. 기존의 Ollama 와 비슷한 부분도 있고, LM Studio 기능도 일부 포함이 되었다. 그러나 확실히 마이크로소프트의 강력한 Visual Studio Code 와의 통합은 여러므로 개발자들에게 환영 받을 것이다. 그렇다면, 이번 노트는 본격적으로 파운드리 로컬을 사용하기 위해 설치하는 방법과 어떻게 사용하는 지에 대해 한번 정리해 보도록 하겠다.

1. 파운드리 로컬(Foundry Local) 설치하기

• 윈도우: 터미널 창을 열고 다음과 같은 명령을 실행한다.

  winget install Microsoft.FoundryLocal
  

• 맥OS(macOS): 터미널 창을 열고 다음과 같은 명령을 실행한다.

  brew tap microsoft/foundrylocal
  brew install foundrylocal
  

• Tip

  • 윈도우11에서 몇 번 설치 시도해 본 결과, 아래와 같이 설치 창에서 멈추고 설치가 진행되지 않았다.

    

• 이런 분들은 GitHub repository 에서 직접 다운로드 받아 설치하기 바란다.

  

• 현재 파운드리 로컬은 프리뷰 단계이므로 0.4.91 버전이 배포판이 공개되어 있다. 패치 버전이 빠르게 진행하오니 최신 버전을 다운로드 받기 바란다. 그리고 버그가 있기 마련이다. PC 버전은 Assets 폴더에서 FoundryLocal-x64-0.4.91.9885.msix 파일을 다운로드 받아 설치하기 바란다.

2. 파운드리 로컬 CLI에서 첫 모델 실행하기

• 윈도우: 터미널 창을 열고 다음과 같은 명령으로 하나의 모델을 실행한다.

  foundry model run phi-3-mini-4k
  

  • 인터넷 속도에 따라 몇 분 정도 걸릴 수 있지만, 모델이 다운로드 됨.

    

• phi-3-mini-4K 모델을 모두 다운로드 마치면, 아래의 그림과 같이 명령 줄 인터페이스(CLI) Interactive mode, please enter your prompt 텍스트 창에서 what is microsoft? 와 같은 간단한 질문을 한다.

  

• Foudry CLI 명령어

  

  • Model: 모델을 관리하고 실행하는 명령어. ex) foundry model list
  • Service: Foundry Local 서비스를 관리하는 명령어
  • Cache: 로컬 디스크에 다운로드된 모델 캐시를 관리하는 명령어

• Foundry Local 업그레이드

  • 윈도우 환경: winget upgrade --id Microsoft.FoundryLocal
  • 맥OS 환경: brew upgrade foundrylocal

• Foundry Local 설치 제거

  • 윈도우 환경 : winget uninstall Microsoft.FoundryLocal

  • 맥OS 환경

    brew rm foundrylocal
    brew untap microsoft/foundrylocal
    brew cleanup --scrub