DeepSpeed
DeepSpeed는 Microsoft에서 개발한 딥러닝 최적화 라이브러리로, 특히 대규모 모델 훈련을 효율적이고 확장성 있게 수행할 수 있도록 설계된 도구이다. DeepSpeed 에 대해 알아보고, 테스트한 코드를 정리해 보도록 하겠다.
최근 포스트
모델 학습 구조
모델 훈련 속도와 메모리 사용 효율성을 향상시키기 위한 성능 최적화 기법을 이해하려면, 훈련 중 GPU가 어떻게 활용되는지와 연산 종류에 따라 계산 집약도가 어떻게 달라지는지를 이해하는 것이 도움이 된다. GPU 활용 예시와 모델 훈련 과정을 통해 동기를 부여하는 사례를 살펴보겠다.
단일 GPU에서 효율적인 학습
모델 메모리 활용을 최적화하고 학습 속도를 높이거나 둘 다 향상 시켜 모델 학습의 효율성을 높이는 실용적인 방법은 무엇일까?
초거대 언어 모델에서의 분산 학습
트랜스포머 기반의 대규모 언어 모델을 학습하고 이를 프로덕션 환경에 배포하는 과정에는 여러 가지 도전 과제가 존재한다. 흔히 초거대 언어 모델에서는 대규모 텍스트 데이터를 기반으로 단어와 문장의 패턴을 학습하여 언어를 이해하고 생성할 수 있도록 모델의 파라미터를 조정하는 과정인 훈...
NCCL이란 무엇인가?
NCCL(NVIDIA Collective Communications Library)은 HPE MLDE(Machine Learning Development Environment)의 기본 컴포넌트는 아니지만, MLDE에서 PyTorch, TensorFlow와 같은 프레임워크를 통한 분...
HPE MLDE에 대해
HPE MLDE(Hewlett Packard Enterprise Machine Learning Development Environment)는 AI 모델의 학습 및 개발을 위한 통합 소프트웨어 플랫폼이다. HPE가 제공하는 HPC(High Performance Computing) 및...
HPC Compute에 대하여
저희 회사인 Hewlett Packard Enterprise의 서버 제품군인 HPE Compute에 대해 그동안 스터디한 내용을 한 번 정리보겠다. 덧붙여, HPE Compute는 일반 컴퓨팅, 가상화, 데이터 분석, AI, HPC 등과 같은 기업의 다양한 워크로드를 지원하기 위해...
NVLink 와 NVLInk 스위치
NVLink 와 NVLink Switch 는 대규모 데이터셋을 모델에 더 빠르게 공급하고, GPU 간 데이터를 신속하게 교환하기 위한 고속 멀티-GPU 통신의 기본 구성 요소이다.
NVLink 아키텍처
NVLink는 NVIDIA가 개발한 고속 인터커넥트 기술로, GPU 간 또는 GPU와 CPU 간의 직접적인 고속 데이터 전송을 가능하게 한다. 기존의 PCIe(Peripheral Component Interconnect Express)보다 훨씬 높은 대역폭과 낮은 지연 시간을 제공...
가속 컴퓨팅과 NVLink의 관계
가속 컴퓨팅을 위한 인터커넥트의 금본위 기준은 바로 NVLink 이다. GPU와 CPU는 그 여정 중간에 위치한 자원들이며, 이들로 향하는 진입로는 고속 인터커넥트를 NVLink라고 부르는 데, 가속 컴퓨팅(Accelerated Computing)이란, 전통적인 CPU 중심의 컴퓨...