윈도우 AI 파운드리 세계

Windows에서 지능형 AI 경험을 구축할 수 있는 기능이 빠르게 발전하고 있습니다. Windows AI Foundry는 Windows 11 PC에서 AI 기반 기능과 API를 제공하며, 이러한 기능은 활성 개발 중이며 항상 로컬에서 백그라운드로 실행됩니다.

지난 주 발표한 MS Build 는 윈도우 환경에서 지능형 AI 경험하고 개발할 수 있는 솔루션을 체계화시켰다고 자평한다. 따라서, 윈도우 AI 파운드리(Windows AI Foundry)는 윈도우 11 PC에서 AI 기반 기능과 API를 제공하며, 항상 로컬에서 백그라운드로 실행한다. 그렇다면, 윈도우 AI 파운드리에 대해 좀더 자세히 알아보자!

1. 윈도우 AI 파운드리 컴포넌트

• Windows AI API: Windows에 내장된 AI API를 활용하여 Copilot+ PC 사용자에게 AI 서비스를 통합
  • Phi Silica: 로컬에서 실행되는 즉시 사용 가능한 언어 모델 (텍스트 생성 기능)
  • AI Imaging
    • Image Super Resolution: 이미지를 확대하고 선명하게 만듦
    • Image Description: 이미지 내용을 설명하는 텍스트를 생성
    • Image Segmentation: 이미지 내 객체를 식별
    • 이미지에서 객체를 제거
  • Text Recognition: 이미지 내 텍스트를 감지하고 추출하여 머신이 읽을 수 있는 문자 스트림으로 변환
• Foundry Local: 오픈 소스 기반의 인기 AI 모델들을 앱에 통합하여 로컬에서 활용 가능하게 해줌
• Windows ML: 직접 만든 ONNX 모델을 기반으로 AI 추론을 수행할 수 있도록 지원
• 개발 도구
  • Visual Studio AI Toolkit: AI 모델을 로컬에서 쉽게 실행·디버깅하고 앱에 통합할 수 있도록 도와주는 Visual Studio용 확장 도구
  • AI Dev Gallery: AI 기능을 성공적으로 개발할 수 있도록 도와주는 다양한 개발 도구 제공

2. Windows 앱에서 AI를 활용하는 방법

• 생성형 AI 모델을 사용하여 복잡한 주제를 이해하고, 요약, 다시 쓰기, 보고서 생성, 내용 확장 등의 작업을 수행할 수 있음
• 비정형 데이터를 앱이 이해할 수 있는 구조화된 형식으로 변환하는 모델을 사용
• 시맨틱 검색(Semantic Search) 모델을 통해 사용자가 의미 기반 검색을 수행하고 관련 콘텐츠를 빠르게 찾을 수 있음
• 자연어 처리(NLP) 모델을 사용하여 복잡한 자연어 요청을 이해, 계획, 실행할 수 있음
• 이미지 처리 모델을 통해 이미지를 지능적으로 수정, 객체 삭제 또는 추가, 업스케일링, 새 이미지 생성
• 예측 진단 모델을 활용하여 문제를 사전에 식별 및 예측하고, 사용자가 해결하도록 돕거나 자동으로 처리할 수 있음

3. Windows AI API vs 자체 모델 사용하기

• Windows AI API 사용
  • 로컬 AI 모델이 적합한 경우, Copilot+ PC에 내장된 Windows AI API를 사용하면 간단하게 AI 기능을 앱에 통합할 수 있음
  • PC에 기본 탑재되어 있으며, 적은 오버헤드로 고유한 AI 기반 기능을 구현
• 직접 모델을 학습하고 통합
  • TensorFlow, PyTorch 등의 플랫폼을 통해 자체 데이터를 사용하여 AI 모델을 학습할 수 있다면, 해당 커스텀 모델을 Windows 앱에 통합할 수 있음
  • ONNX Runtime과 Visual Studio Code용 AI Toolkit을 통해 로컬 디바이스에서 실행할 수 있음
  • AI Toolkit for Visual Studio Code: AI 모델을 로컬에서 다운로드하고 실행할 수 있게 해주는 VS Code 확장 프로그램으로,DirectML을 통해 하드웨어 가속 기능을 활용하여 더 나은 성능과 확장성을 제공함
    • 모델 다운로드 및 로컬 실행 (DirectML을 통한 GPU/NPU 가속 지원)
    • 직관적인 Playground 또는 REST API를 통한 모델 테스트
    • 모델 파인튜닝 지원: 로컬 또는 클라우드(VM)에서 새로운 기능을 만들거나 응답 품질을 개선 가능
    • Phi-3, Mistral 등 인기 소형 언어 모델(SLMs) 파인튜닝 지원
    • AI 기능을 클라우드 또는 디바이스 앱 형태로 배포 가능
    • DirectML 활용: GPU 또는 NPU를 사용해 ML 모델 성능을 가속화할 수 있는 Windows용 저수준 API
      • ONNX Runtime과 함께 사용하면 손쉽게 하드웨어 가속 AI 기능을 대규모로 제공 가능
    • NPU 실행을 위한 모델 양자화 및 유효성 검사 도구 제공
  • 파인 튜닝: 사전 학습된 모델을 자신의 데이터에 맞게 조정(Fine-tuning)하여 더 나은 정확도와 성능을 끌어내는 것
• 클라우드 AI 모델 사용
  • 로컬 AI 기능이 적합하지 않은 경우,클라우드 기반 AI 모델과 리소스를 활용하는 것도 하나의 해결책
• 기타 AI 기능
  • Windows의 App Actions: 앱에 AI 기반의 새롭고 독특한 동작(Action) 을 정의하여 사용자에게 새로운 경험을 제공함
  • Recall: 사용자가 PC에서 본 모든 내용을 AI를 활용해 검색할 수 있도록 도와줌
    • Click to Do: Recall이 찾아낸 텍스트나 이미지 콘텐츠에 대해 AI 기반의 작업 제안 기능을 제공함
  • Windows Studio Effects: AI를 활용하여 카메라 영상에 특수 효과를 적용
• 책임감 있는 AI 사용 권장
  • Windows 앱에 AI 기능을 통합할 때는,Windows용 생성형 AI 애플리케이션 및 기능 개발에 관한 책임 있는 가이드라인을 따를 것을 적극 권장함
  • 참고: Developing Responsible Generative AI Applications and Features on Windows

4. 파운드리 로컬(Microsoft Foundry Local)

• 형태: 로컬에서 실행 가능한 AI 모델 런타임 및 CLI 툴킷

• 목적: 인터넷 연결 없이도 로컬 PC에서 AI 모델을 실행, 테스트, 디버깅할 수 있도록 지원

• 주요 특징:

  • CLI 기반: foundry model run, foundry model list 등 명령어로 제어
  • 오픈 소스 LLM 모델 (예: phi-3-mini, gemma, mistral)을 로컬에서 실행 가능
  • Visual Studio Code AI Toolkit과 통합되어 GUI로도 실행 가능
  • GPU 및 CPU 모두 지원

• 사용 대상: 개발자, AI 연구자, 엔지니어 (특히 인터넷 제한 환경에서 모델 테스트 필요 시)

5. 윈도우 AI 파운드리(Windows AI Foundry)

• 형태: Windows 생태계를 위한 AI 통합 플랫폼 (Copilot+ PC용)
• 목적: Windows 11 및 Copilot+ PC에서 AI 애플리케이션을 더 쉽게 개발하고 실행할 수 있도록 통합된 개발환경 제공
• 주요 특징:
  • Windows NPU(신경망 처리 장치)를 활용해 on-device AI 처리 가능
  • 다양한 AI 프레임워크(TensorFlow, ONNX, PyTorch 등) 지원
  • AI Studio, WinML, Olive 등의 도구 포함
  • 개발자용 SDK + 실행 런타임 포함
• 사용 대상: Windows 기반 앱 개발자, OEM 제조사, Copilot+ PC 개발자

6. 파운드리 로컬 vs. 윈도우 AI 파운드리

항목	Foundry Local	Windows AI Foundry
목적	로컬 모델 실행 (테스트/개발)	Windows AI 앱 생태계 통합 플랫폼
대상	AI 개발자, 리서처	Windows 앱 개발자, OEM
실행 환경	CLI / VS Code	Windows 11 + Copilot+ PC
NPU 사용	지원하지 않음 (CPU/GPU 기반)	NPU 가속 활용
사용 예	로컬에서 phi-3-mini 실행	Windows에서 AI 앱 개발 및 배포