서진호

1 분 소요

NCCL(NVIDIA Collective Communications Library)은 HPE MLDE(Machine Learning Development Environment)의 기본 컴포넌트는 아니지만, MLDE에서 PyTorch, TensorFlow와 같은 프레임워크를 통한 분산 학습을 지원하기 위해 핵심적으로 사용되는 라이브러리이다.

PyTorch를 지원하는 MLDE에서 DDP를 사용할 때, torch.distributed 에서 내부적으로 NCCL backend 사용한다. 따라서, MLDE 환경에서 NCCL이 사전에 설치되어 있어야 분산 학습이 원활히 작동한다. 그렇다면, NCCL에 대해 좀더 자세히 알아보자!

1. NCCL이란 무엇인가?

  • 다중 GPU 환경에서 효율적인 집단 통신(collective communication) 연산을 지원하는 라이브러리
  • 딥러닝과 같은 데이터 병렬 처리 워크로드에서 GPU 간의 데이터를 빠르게 교환하기 위해 사용
  • 다중 GPU 시스템에서 효율적인 데이터 통신
  • 딥러닝 및 병렬 컴퓨팅 응용 프로그램의 성능을 크게 향상시키는 도구

2. NCCL의 주요 기능

  • 최적화된 집단 통신: All-reduce, broadcast, reduce, gather, scatter 등 다양한 집단 통신 연산을 효율적으로 수행함.
  • 다중 GPU 및 클러스터 지원: 단일 시스템 내 여러 GPU는 물론, 분산 시스템이나 클러스터 환경에서도 높은 성능을 유지할 수 있도록 설계되었음.
  • 하드웨어 가속: NVLink, PCIe 등의 고속 인터커넥트를 활용하여 데이터 전송 속도를 극대화함.
  • 딥러닝 프레임워크 통합: TensorFlow, PyTorch 등 주요 딥러닝 프레임워크에서 NCCL을 활용하여 모델 학습 시 GPU 간 데이터 동기화 및 통신을 최적화함

3. 집단 통신(Collective communication)

  • 병렬 컴퓨팅 환경에서 여러 프로세스나 스레드가 서로 데이터를 교환하고 협력하여 작업을 수행할 수 있도록 하는 통신 방식
  • 단일 프로세스 간의 통신이 아니라, 한 그룹 전체가 동시에 참여하는 통신 패턴
  • 고성능 병렬 처리 시스템에서 데이터 동기화, 분산 계산 결과의 통합 및 협력 작업을 효율적으로 수행
  • 딥러닝, 과학 계산, 시뮬레이션 등 대규모 병렬 처리가 필요한 분야에서 필수적

4. 집단 통신의 주요 특징

  • 브로드캐스트(Broadcast): 한 프로세스가 데이터를 모든 다른 프로세스에 동시에 전송하는 방식
  • 게더(Gather) 및 스캐터(Scatter): 여러 프로세스에서 데이터를 한 곳으로 모으거나 한 곳에서 각 프로세스에 데이터를 분배하는 방식
  • 리듀스(Reduce) 및 올-리듀스(All-Reduce): 각 프로세스의 데이터를 합산, 평균 또는 기타 연산을 통해 하나의 결과로 통합하는 연산
  • 올-투-올(All-to-All): 각 프로세스가 모든 다른 프로세스와 데이터를 교환하는 방식

5. 참고

댓글남기기