최근 포스트

쿠버네티스 기반 LLM용 vLLM 분산 추론 llm-d

2 분 소요

llm-d는 대규모 모델 분산 추론(Large Language Model Distributed Inferenc)를 의미하며, 대규모 언어 모델(LLM)을 쿠버네티스(Kubernetes) 환경에서 대규모 서비스 형태로 운영하기 위한 오픈소스 분산 추론(Inference) 플랫폼이다....

vLLM 실습 도서

1 분 소요

현재 Wikidocs 를 통해 여유가 생길때 마다 'vLLM 실습' 도서를 소스코딩과 함께 글을 작성중이다.

AMD Instella-MoE가 보여준 것

8 분 소요

인공지능 산업에서 AMD는 오랫동안 다소 애매한 위치에 있었다. GPU 하드웨어 성능만 놓고 보면 NVIDIA를 추격할 수 있는 몇 안 되는 기업이지만, 실제 인공지능 개발 현장에서 AMD의 존재감은 하드웨어 사양만큼 크지 않았다.

AMD, 앤트로픽에 수십억 달러 규모 AI 서버 공급 계약 체결

1 분 소요

AMD와 앤트로픽이 수백억 달러 규모의 AI 서버 공급 계약을 체결했다. 이번 계약은 NVIDIA 중심의 AI 인프라 시장에서 AMD의 입지를 확대하는 동시에, 앤트로픽에는 대규모 AI 연산 인프라를 안정적으로 확보할 수 있는 기반을 제공한다.

GPU 클러스터 네트워크의 모든 것

3 분 소요

AI 데이터센터에서 GPU 성능을 제대로 쓰려면 이제 단순히 “좋은 GPU를 많이 사는 것”만으로는 부족하다.수백 개, 수천 개 GPU가 동시에 학습에 참여하는 순간 병목은 GPU 연산이 아니라 네트워크에서 터진다. 특히 대규모 학습에서는 GPU들이 서로 계속 데이터를 주고받는다....

OpenAI, 강력한 새 GPT-5.6 모델 공개

1 분 소요

오픈AI가 오늘 GPT-5.6을 공개했지만, 세 가지 모델(솔, 테라, 루나) 모두 미국 정부 요청에 따라 초기 접근이 제한됩니다. 지난 미토스처럼 이번 조치가 미국 정부가 최첨단 AI 모델을 “광범위한 출시 전 정부 검토가 필요한 기술”로 보기 시작했다는 신호입니다.

세계에서 가장 빠른 수퍼컴퓨터는?

2 분 소요

중국이 세계에서 가장 빠른 슈퍼컴퓨터 순위에서 미국을 제치고 다시 1위에 올랐다. 이번에 1위를 차지한 시스템은 신위태호지광(LineShine)으로, 중국 선전에 있는 국가슈퍼컴퓨팅센터에 설치된 슈퍼컴퓨터다. 이 시스템은 2026년 6월 발표된 TOP500 순위에서 미국의 엘 캐피...

AI 데이터센터의 다음 경쟁은?

3 분 소요

AI 인프라 경쟁은 지금까지 주로 GPU, 네트워크, 메모리, 스토리지 중심으로 이야기되어 왔다. 더 많은 GPU를 넣고, 더 빠른 네트워크로 묶고, 더 큰 모델을 더 빠르게 학습·추론하는 것이 핵심 경쟁력처럼 보였다. 하지만 AI 팩토리가 대형화되면서 새로운 병목이 전면에 등장하...