서진호

최근 포스트

새로운 AI 추론인 Reasoning AI 추론에 대해

3 분 소요

작년 오픈AI가 GPT-4o 부터 시작해서 Reasoning AI 추론에 대해 선을 보인 후, 많은 연구소와 기업들이 Reasoning AI 추론을 각 모델마다 적용시키고 평가해왔다. 그렇다면, Reasoning AI 추론이란 무엇일까?

NVIDIA NIM(3): NVIDIA API 카탈로그 탐험하기

4 분 소요

NVIDIA NIM은 NVIDIA API 카탈로그에서 마우스 몇 번만 클릭하면 GPU 기반 LLM을 테스트할 수 있는 NVIDIA의 클라우드 API 서비스이다. 현재 LLaMA, Mixtral, Gemma, DeepSeek 등 다양한 최신 모델 사용 가능하며, 개발자 친화적인 인...

NVIDIA NIM(2): NVIDIA NIM 이란?

2 분 소요

NVIDIA NIM 이란 풀어서 적으면 ‘NVIDIA Inference Microservice’ 이다. 한마디로 말해서, 온-프레미스, 데이터 센터나 퍼블릭 클라우드에서 파운데이션 모델의 배포를 가속화하고 데이터를 안전하게 유지할 수 있도록 지원하는 사용하기 쉬운 마이크로서비스 집...

NVIDIA NIM(1): NVIDIA NIM 탄생의 배경

2 분 소요

2022년 11월, 오픈AI의 챗GPT가 공개되고 난 이후로 부터, 오픈AI, 구글, 마이크로소프트, 페이스북과 같은 대기업부터 미스트랄, xAI 과 같은 스타트업까지 기업 자체 연구소에서 초거대 언어 모델을 파운데이션 모델로 만들어 공개하는 것이 지난 2년 동안 전세계적 유행이 ...

Azure에서의 AI 워크로드

2 분 소요

기업은 애저(Azure) 서비스를 통해 AI 작업을 안정적이고 확장 가능한 방식으로 수행할 수 있다. 비결정론적 기능, 데이터 및 애플리케이션 설계, 운영 측면에 중점을 두고 AI 워크로드를 설계한다. 따라서, 이 노트는 애저 솔루션 아키텍처 관점에서 Azure Well-Archi...

Azure OpenAI 종단간 챗봇 사례 분석(3)-배포가이드

2 분 소요

자! 이제 Azure OpenAI 종단 간 챗봇 사례 분석으로 Azure 구독에 배포하고,배포한 내용을 직접 테스트해보며, 마지막으로 사용한 리소스를 정리(clean up)하는 방법을 노트에 정리해 보겠다.

Azure OpenAI 종단간 챗봇 사례 분석(1)-솔루션 아키텍처 개요

2 분 소요

Azure OpenAI 종단간 챗봇 사례 분석은 챗 애플리케이션과 AI 오케스트레이션 계층을 단일 리전에서 실행하는 접근 방식을 보여준다. 구현에서는 Azure OpenAI 기반 모델과 Azure AI Foundry Agent 서비스를 오케스트레이터로 사용하고, 깃허브에 있는 리포...