적응형 라우팅
퀀텀 인피니티밴드(Quantum InfiniBand) 혹은 일반적인 InfiniBand 구조에서의 적응형 라우팅(Adaptive Routing)은 고성능 컴퓨팅(HPC)이나 AI 클러스터와 같은 환경에서 데이터 패킷이 네트워크를 통해 이동할 때, 가장 적절한 경로를 동적으로 선택하는 기능이다. 이는 혼잡(congestion)를 피하고 전송 지연(latency)을 최소화하며 대역폭 활용도를 극대화하기 위한 핵심 기술이다.
1. 적응형 라우팅의 개념
- 기본적인 라우팅은 정적인(static) 방식으로, 처음 정해진 경로로만 패킷이 전달됨. 그러나 대규모 클러스터에서는 일부 경로에만 부하가 집중되어 병목이 발생할 수 있음.
- 적응형 라우팅(Adaptive Routing)은 패킷이 전송될 때, 여러 가능한 경로 중 현재 덜 혼잡한 경로를 실시간으로 선택함
- 라우팅 결정이 네트워크 트래픽 상황을 반영하여 이루어짐
2. 작동 방식 (InfiniBand 기준)
- 동일한 출발지와 목적지 간에 여러 개의 경로가 존재하여 트래픽을 분산하거나 우회할 수 있도록 설계된 네트워크 구조인 멀티패스 네트워크 토폴로지에서 Fat-tree, Dragonfly, Torus 등이 있다.
- 라우팅 테이블(Routing Table)은 여러 후보 경로를 저장
- 일반적으로 subnet manager(SM)가 라우팅 테이블을 관리
- 패킷 전송 시:
- 스위치가 실시간 포트 혼잡 상태를 감지
- 여러 후보 중 가장 덜 혼잡한 포트로 전송
- GRH(Global Route Header) 기반의 RoCE v2 또는 IPoIB 환경에서도 작동 가능 (QoS와 연계)
3. 적응형 라우팅 아키텍처 개요
- 포트 혼잡도 평가: 스위치는 각 출력 포트의 큐 깊이(egress queue depth)를 실시간으로 모니터링하여 혼잡도를 평가함.
- 경로 선택: 패킷 전송 시, 스위치는 가장 덜 혼잡한 포트를 선택하여 패킷을 전달함.
- 라우팅 그룹 구성: Subnet Manager(SM)는 AR 그룹과 AR LFTs 테이블을 구성하여, 특정 목적지에 대해 스위치가 여러 출력 포트 중에서 선택할 수 있도록 설정함.
- 토폴로지 기반 알고리즘: AR 그룹의 구성은 네트워크 토폴로지에 따라 다음과 같은 알고리즘 중 하나를 사용함.
- LAG (Link Aggregation Group): 같은 원격 스위치에 연결된 모든 포트를 하나의 AR 그룹으로 구성함
- TREE: 목적지까지 최소 홉 수를 가지는 모든 포트를 하나의 AR 그룹으로 구성함.
- DF_PLUS: Dragonfly Plus 토폴로지에 최적화된 알고리즘
4. 아키텍처 다이어그램
- InfiniBand 기반 스위치 아키텍처: 스위치의 입력 및 출력 포트 구성과 패킷 처리 흐름을 보여주는 다이어그램
- 적응형 라우팅을 통한 네트워크 지터 완화: 적응형 라우팅이 네트워크 지터를 어떻게 완화하는지를 보여주는 다이어그램
5. 적응형 라우팅 설정 및 구성
- OpenSM(Subnet Manager)에서 기본적으로 활성화됨
- 구성 파일인
opensm.conf에서 다음과 같은 설정을 통해 조정함.- 라우팅 엔진 설정:
routing_engine옵션을 통해 네트워크 토폴로지에 맞는 라우팅 엔진을 선택할 수 있음. 예) Fat Tree 토폴로지의 경우ar_updn을 사용할 수 있음 - AR 그룹 구성: AR 그룹과 관련된 설정을 통해 스위치가 여러 출력 포트 중에서 선택할 수 있도록 구성할 수 있음
- 설정 변경 후에는 OpenSM을 재시작하여 변경 사항을 적용해야 함.
- 라우팅 엔진 설정:
6. 적용 기술
| 기술명 | 설명 |
|---|---|
| OpenSM with Adaptive Routing | OpenFabrics Enterprise Distribution(OFED)에서 제공되는 Subnet Manager가 적응형 라우팅을 지원 |
| QoS 및 SL(Service Level) 기반 경로 선택 | 각 경로에 우선순위를 설정하여 라우팅 품질 개선 |
| InfiniBand QoS/CA (Congestion Avoidance) | 혼잡 회피 정책과 연계되어 congestion이 발생한 포트 우회 |
7. Quantum InfiniBand와의 연관성
- NVIDIA Quantum InfiniBand 스위치(예: Quantum-2)는 기본적으로 다음을 지원함
- 적응형 라우팅(Adaptive Routing) : 하드웨어 수준에서 포트 상태 모니터링
- 혼잡 제어(Congestion Control): ECN 기반 피드백
- Telemetry 기반 예측형 경로 제어: SHARP / UFM 통합 시
- SHARP(Switch Hierarchical Aggregation and Reduction Protocol): 네트워크 스위치 내에서 데이터 집계 및 분석을 수행해 통신량을 줄이고, 혼잡 발생 전 사전 대응을 가능하게 하는 고속 집약 프로토콜.
- UFM (Unified Fabric Manager): 네트워크 전체의 상태를 실시간으로 모니터링하고 예측 분석 및 경고를 통해 최적의 경로 제어와 운영 관리를 지원하는 InfiniBand 전용 관리 플랫폼.
8. 기대 효과
| 항목 | 효과 |
|---|---|
| Throughput | 전체 네트워크 대역폭을 고르게 사용하여 처리량 향상 |
| Latency | 병목 회피를 통해 지연 시간 최소화 |
| Fault Tolerance | 일부 링크에 문제가 생겨도 경로 우회 가능 |
| Load Balancing | 트래픽이 균등하게 분산되어 네트워크 안정성 증가 |
댓글남기기