DeepSeek의 mHC 논문을 읽고

오늘 아침 페이스북에 하정우 AI미래기획수석이 DeepSeek에서 나온 mHC 논문을 올려서 나도 한번 논문을 읽어 보고 분석해 보았다. 올린 포스팅의 댓글 중에 우스개 소리로 이 논문을 분석하는 것이 공직자의 언어가 아니다(?)라는 댓글도 재미있었다. 안 그래도 이 논문은 중국 쪽 소셜 미디어에서 엄청나다고 해서 실제로 그런지 확인할 겸 이번 주에 읽어볼까 하던 참이었다. 글이 길어서 부분을 나누어 내가 이해하는 만큼 한번 정리해 보았다.

먼저 나의 브런치 글을 읽기 전에 DeepSeek에서 나온 최신 논문부터 읽어보고, 나의 후기를 읽어보았으면 하는 바람이다. 물론 LLM 전문가이거나 DeepSeek의 아키텍처를 잘 알고 있는 사람이라면 상관없겠지만, 처음 접하는 사람들은 이게 도대체 무슨 소리인가 싶을 정도로 처음 들어보는 용어와 개념들이 많이 포함되어 있기 때문이다. 그리고 이 논문 이전의 논문도 함께 읽어 보면 솔루션 변화의 추이를 이해하는 데 큰 도움이 된다.

이 논문을 접하고 처음 든 생각은 작년 DeepSeek이 발표한 이후, mHC(Manifold-Constrained Hyper-Connections) 아키텍처가 과연 무엇이 달라졌는가라는 점이었다. 따라서 mHC 구조는 완전히 새로운 모델 아키텍처라기보다는 기존 트랜스포머의 잔차 연결(Residual Connection) 방식이 가진 한계를 극복하기 위해 병렬적인 정보 흐름을 허용하는 Hyper-Connections(HC)를 도입하고, 그 불안정성을 수학적인 매니폴드 제약(Manifold Constraint)으로 해결한 구조라고 볼 수 있다.

기존 HC는 잔차 스트림을 확장해 성능을 높였지만, 연결 방식이 무분별해지면서 신호가 폭발하거나 소실되는 부작용이 발생했다. 이를 해결하기 위해 싱크혼-크놉(Sinkhorn-Knopp) 알고리즘을 도입하여 잔차 연결 행렬을 이중 확률 행렬 매니폴드 내로 제한하고, 시스템의 안정적인 항등 매핑 속성을 유지하도록 했다.

그런데 mHC가 흥미로운 점은 밀집성(dense connectivity)으로 인해 증가하는 메모리와 통신 오버헤드를 “구조적 제약 + 시스템 레벨 최적화”의 조합으로 제어했다는 점이다.

그 해결책으로 싱크혼-크놉 알고리즘 기반의 구조적 제약을 적용하여 폭주하는 상태를 방지했고, 여러 개의 커널을 하나로 묶는 GPU 커널 레벨 최적화인 커널 퓨전(Kernel Fusion), DualPipe 최적화, 선택적 재계산(Selective Recomputation) 방법 등을 통해 시스템 레벨에서 계산 시간 오버헤드를 약 6.7% 수준으로 억제했다고 논문에서 주장했다.

즉, 인프라 최적화를 통해 하드웨어 오버헤드를 최소화하면서 대규모 모델 학습의 효율성을 확보했다. 이러한 결과로 논문의 실험에서는 27B 규모의 모델에서도 뛰어난 수렴성과 성능을 입증했으며, 기초 모델 설계를 위한 실용적인 대안을 제시했다.

결과적으로 이 프레임워크는 복잡한 위상 구조에서도 수치적 안정성을 유지하며 언어 모델의 추론 능력을 향상시켰다. DeepSeek 팀이 놀라운 점은 하드웨어와 소프트웨어를 전문가 수준으로 세세하게 다룬다는 점이다. 그래서 많은 논문 리뷰어들이 이 논문에 대해 뛰어난 점들을 앞다투어 소개하고 있는 것 같다. 그렇다면 좀 더 구체적으로 논문에 대해 살펴보도록 하겠다.

1. 배경: 기존 DeepSeek 아키텍처의 선택

작년에 발표된 DeepSeek의 기존 모델 계열은 전통적인 트랜스포머 구조에 매우 충실했다. Attention과 FFN, 그리고 그 사이를 연결하는 잔차 연결(residual connection)이라는 검증된 구성 요소를 유지하면서, 모델을 키우는 방향 역시 비교적 보수적으로 선택했다.

DeepSeek이 집중한 부분은 새로운 연산 블록을 도입하는 것이 아니라, 이미 검증된 구조를 얼마나 효율적으로, 그리고 얼마나 안정적으로 확장할 수 있는가였다. 이를 위해 MoE, 파라미터 효율화, 그리고 파라미터는 존재하지만 그중 일부만 실제 계산에 참여하는 희소 계산(sparse computation) 기반의 계층 설계와 같은 전략을 활용했다.

이 접근 방식의 장점은 분명했다. 구현이 단순하고, 분산 학습에 유리하며, 학습 안정성도 비교적 예측 가능했다. 하지만 동시에 한계도 분명했다. 모델을 깊게 만드는 데에는 구조적인 제약이 존재했다.

2. 문제점: 병목은 QKV도, FFN도 아닌 잔차 연결

기존 DeepSeek 아키텍처의 핵심 병목은 QKV나 FFN의 용량 문제가 아니었다. 옵티마이저나 학습 스케줄의 문제도 아니었다. 문제의 핵심은 잔차 연결(residual connection) 자체였다.

잔차 연결은 얕거나 중간 깊이의 모델에서는 매우 효과적이지만, 깊은 신경망(deep neural network)이 지나치게 깊어질 경우 각 층에서 누적되는 정보들이 서로 얽히기 시작한다.

그동안 DeepSeek은 MoE를 통해 “옆으로(Width)” 모델을 키우는 데 집중했다. 하지만 모델이 깊어질수록 정보가 층을 지나면서 뭉개지고, 이른바 항등 매핑(identity mapping)이 깨지는 문제가 발생했다. 쉽게 말하면 층을 200층 쌓아도 뒤로 갈수록 “내가 앞에서 무슨 생각을 했더라?”라고 하면서 논리를 잃어버리는 것과 같다.

참고로 잔차 연결에서 항등 매핑이란 입력이 다음 층으로 거의 그대로 전달될 수 있는 구조적 성질이다. 한 층이 반드시 새로운 변환을 수행하지 않아도 되는 선택권을 가지는 것을 의미한다. 즉, 학습은 가능하지만 깊이를 늘릴수록 안정성은 급격히 떨어진다. 이 때문에 기존 DeepSeek은 깊이(depth)를 늘리기보다는 폭(width)을 키우거나 MoE를 통해 효율적으로 모델 용량을 확장하는 전략을 선택했다.

3. 해결책: mHC로 잔차 연결 방식을 바꿈

mHC는 트랜스포머의 연산 블록 자체를 거의 변경하지 않았다. Attention도, FFN도 그대로 유지했다. 변경된 부분은 단 하나, 계층 간 정보를 연결하는 방식인 잔차 연결 방식이다. 기존 DeepSeek 구조에서는 각 층이 하나의 잔차 상태를 다음 층으로 전달한다. 반면 mHC에서는 여러 개의 잔차 상태를 동시에 유지한다. 중요한 점은 잔차 상태의 개수를 늘렸다는 사실 자체가 아니다. 핵심은 이러한 잔차들이 결합되는 방식에 엄격한 구조적 제약을 적용했다는 점이다.

4. 해결 방법 1: 싱크혼-크놉(Sinkhorn–Knopp)과 이중 확률 행렬 매니폴드

mHC는 앞에서 설명한 문제를 싱크혼-크놉 알고리즘이라는 수학적인 장치를 통해 해결했다. 계층 간 연결을 “이중 확률 행렬”이라는 틀 안에 제한함으로써 정보가 폭주하거나 소실되지 않도록 제어했다.

다시 말하면, 다중 잔차를 결합하는 연결 행렬을 이중 확률 행렬(Doubly Stochastic Matrix) 매니폴드 위로 투영하여 잔차 결합이 항등 매핑 성질을 자연스럽게 유지하도록 만든 것이다. 이중 확률 행렬은 모든 원소가 0 이상이고, 각 행과 열의 합이 모두 1인 행렬이다. 이 제약은 잔차 결합 과정에서 특정 잔차가 과도하게 증폭되거나, 반대로 완전히 사라지는 현상을 방지한다. 그 결과 잔차 결합은 보존적이고 균형 잡힌 형태를 유지한다.

싱크혼-크놉 알고리즘은 학습 과정에서 생성되는 임의의 연결 행렬을 반복적으로 정규화하여 항상 이중 확률 행렬 매니폴드 위에 존재하도록 만든다. 이를 통해 mHC에서는 항등 매핑이 우연히 유지되는 것이 아니라 구조적으로 보장된다.

따라서 mHC가 가져온 가장 중요한 변화는 깊이(depth)가 다시 유효한 스케일링 축이 되었다는 점이다. 기존 DeepSeek 구조에서는 모델을 깊게 만들수록 학습 불안정성이 빠르게 증가했지만, mHC가 적용된 구조에서는 깊이가 증가해도 기울기 흐름이 비교적 안정적으로 유지된다.

이는 단순히 성능 수치의 문제가 아니다. 모델을 설계하고 학습하는 과정 전체에 실질적인 변화를 가져온다. 그 결과 모델 확장의 방향이 “더 넓게”에서 “더 깊게 생각하는 방향”으로 다시 열리게 되었다고 볼 수 있다.

여기서 중요한 점은 수치로 증명된 “사고의 깊이”이다. 단순히 학습 안정성이 좋아진 것을 넘어 복합적인 추론 능력이 향상되었다. 논문에서는 27B 모델 기준으로 기존 방식 대비 다음과 같은 성능 향상을 보여주었다.

• 수학 추론(GSM8K): 7.1%p 향상
• 논리 추론(BBH): 7.2%p 향상

특히 MMLU와 같은 지식 기반 평가보다 GSM8K, BBH처럼 논리적 사고와 추론 과정이 필요한 영역에서 더 큰 개선 효과가 나타났다. 이는 mHC가 단순히 지식을 저장하는 능력을 높인 것이 아니라, 여러 단계의 정보를 유지하고 연결하는 능력에 영향을 주었다는 것을 의미한다.

5. 해결 방법 2: 커널 퓨전과 선택적 재계산

물론 이러한 구조적 변화가 아무런 비용 없이 적용되는 것은 아니다.

여러 개의 잔차 상태를 유지하고 결합하는 과정에서는 추가적인 계산량과 메모리 사용량이 발생한다.

mHC 논문이 흥미로운 이유는 이 문제를 알고리즘 수준에서만 해결하지 않고 시스템 레벨에서 함께 해결했다는 점이다.

먼저 커널 퓨전(Kernel Fusion)을 적용했다.

잔차 결합, 정규화, 가중치 적용 과정을 여러 개의 GPU 커널로 나누지 않고 하나의 GPU 커널로 통합했다.

이를 통해 GPU 커널 실행 횟수를 줄이고, 메모리 접근 비용을 최소화했다.

결과적으로 이론적으로 추가된 연산량이 실제 학습 시간에서는 크게 증가하지 않도록 만들었다.

또한 선택적 재계산(Selective Recomputation) 전략을 사용했다.

일반적인 대규모 모델 학습에서는 역전파를 위해 모든 중간 활성화 값(activation)을 저장해야 한다.

하지만 mHC에서는 모든 활성화 값을 저장하지 않고, 역전파 시 필요한 부분만 선택적으로 다시 계산한다.

이는 계산량을 조금 증가시키는 대신 메모리 사용량을 줄이는 방식이다.

대규모 모델 학습에서는 GPU 메모리가 가장 중요한 병목 중 하나이기 때문에 이러한 방식은 매우 효과적이다.

결국 커널 퓨전과 선택적 재계산이 결합되면서 mHC는 이론적인 구조가 아니라 실제 대규모 LLM 학습 환경에서도 적용 가능한 구조가 되었다.

6. MoE와 닮았지만, mHC의 본질은 다르다

학습 과정에서도 변화는 분명하게 나타난다.

기존 구조에서는 학습 후반부로 갈수록 loss 곡선이 흔들리거나 특정 층에서 기울기가 급격히 증가하는 현상이 발생했다.

초기화 방식이나 하이퍼파라미터 설정에 대한 민감도도 높았다.

논문에서는 mHC 적용 이후 이러한 현상이 완화되었다고 설명한다.

손실 함수 값(loss) 곡선은 더 안정적으로 변화하고, 기울기 놈(gradient norm) 역시 전체 층에서 균형 있게 유지된다.

이는 단순한 모델 성능 향상을 넘어 학습 자체가 쉬워졌다는 의미를 가진다.

대규모 모델을 실제로 개발하고 운영하는 입장에서는 매우 중요한 변화이다.

물론 mHC가 모든 측면에서 장점만 제공하는 것은 아니다.

여러 잔차 상태를 동시에 유지해야 하기 때문에 활성화(activation) 메모리 사용량은 증가한다.

계산량보다는 메모리 부담이 커지는 구조이며, 특히 매우 긴 컨텍스트를 처리하는 환경에서는 추가적인 부담이 발생할 수 있다.

즉, mHC는 계산 효율을 최대화하는 구조라기보다는 안정적인 깊이를 확보하기 위해 메모리 비용을 투자하는 방식에 가깝다.

7. MoE와 닮았지만, mHC의 본질은 다르다

이 변화가 흥미로운 이유는 mHC가 DeepSeek의 기존 철학과 크게 어긋나지 않는다는 점이다.

DeepSeek은 트랜스포머 구조 자체를 부정하지 않았고, MoE를 대체하려고 하지도 않았다.

멀티 잔차를 유지하고 연결하는 mHC 구조는 표면적으로 보면 MoE의 Router–Experts–Dispatch/Combine 구조와 유사하게 보일 수 있다.

하지만 실제 구조는 다르다.

mHC에는 Router가 존재하지 않으며, 토큰을 특정 Expert로 보내는 방식도 아니다.

MoE에서는 입력 토큰마다 일부 Expert만 선택적으로 활성화하는 희소 라우팅(sparse routing)을 사용한다.

반면 mHC는 모든 잔차 상태를 항상 계산에 포함하고, 이들을 가중 결합하여 전체 잔차 흐름에서 항등 매핑 성질을 유지하는 방식이다.

따라서 mHC는 희소 라우팅 기반의 MoE와는 반대로 밀집 연속적(dense connectivity) 구조에 가깝다.

결국 mHC는 새로운 패러다임을 선언하기보다는, 이미 검증된 DeepSeek 구조를 더 깊고 안정적으로 확장하기 위한 방향이라고 볼 수 있다.

8. 학습과 추론 단계에서 어떤 영향을 미치는가?

지금까지 mHC의 알고리즘과 아키텍처 관점에서 살펴보았다면, 이제 학습(training)과 추론(inference) 관점에서 다시 정리할 필요가 있다.

mHC의 효과를 이해할 때 중요한 점은 이 구조가 학습과 추론에 동일한 방식으로 영향을 주지 않는다는 점이다.

논문에서 확인할 수 있는 실험 결과를 기준으로 보면, mHC의 가장 큰 효과는 학습 안정성에 있다.

추론 단계에서는 학습 과정에서 확보된 안정적인 모델 표현이 최종 성능 향상으로 나타나는 형태에 가깝다.

논문에서는 mHC 구조가 실제 학습 과정에서 다음과 같은 효과를 보여준다고 설명한다.

첫째, loss 곡선의 변동성이 감소하고 모델 수렴 과정이 더욱 안정적으로 진행된다.

둘째, 여러 계층에 걸쳐 gradient norm이 안정적으로 유지된다.

셋째, 동일한 컴퓨트 예산에서도 최종 수렴 loss가 기존 구조 대비 개선된다.

넷째, 모델 크기와 학습 토큰 수가 증가해도 이러한 안정성이 유지된다.

반면 추론 단계에서 mHC의 영향은 학습 단계만큼 직접적이지 않다.

mHC는 MoE처럼 토큰 단위로 계산량을 줄이는 구조가 아니다.

오히려 여러 잔차 상태를 유지하고 결합하는 과정이 포함되기 때문에 추론 지연(latency)이나 처리량(throughput)이 직접적으로 개선된다고 보기는 어렵다.

논문에서도 시스템 최적화는 주로 학습 단계에서 발생하는 오버헤드를 줄이는 데 초점을 맞추고 있다.

추론 단계에서 mHC의 효과는 깊은 계층까지 학습된 표현이 안정적으로 유지되고, 복합적인 reasoning이 필요한 벤치마크에서 성능 개선으로 나타난다.

또한 출력 결과의 변동성이 감소하고, 여러 단계의 논리적 연결이 필요한 작업에서 더 안정적인 결과를 제공한다.

따라서 mHC는 추론 과정 자체를 빠르게 만드는 구조라기보다는, 학습 단계에서 확보한 안정성이 추론 결과의 품질로 이어지도록 하는 구조라고 볼 수 있다.

9. Reasoning 모델의 비즈니스 통찰점

이 논문을 읽고 난 후, DeepSeek의 mHC(Manifold-Constrained Hyper-Connections) 기술은 단순히 성능이 좋은 모델을 만드는 차원을 넘어, OpenAI의 o1(Strawberry)이 주도하고 있는 Reasoning 모델 경쟁에서 중요한 의미를 가진다고 생각한다.

비즈니스 및 전략적 관점에서 mHC가 중요한 이유를 세 가지로 정리하면 다음과 같다.

9-1 “생각의 깊이”를 위한 하드웨어적 한계 돌파

OpenAI o1의 핵심은 추론 과정에서 더 많은 시간을 사용하여 단계적으로 사고하는(System 2 thinking) 방식이다.

하지만 이러한 사고 과정을 담아낼 수 있는 Base Model 자체가 충분히 안정적이지 않다면, 아무리 추론 시간을 늘려도 성능 향상에는 한계가 존재한다.

기존 모델은 층을 깊게 만들수록 정보가 손실되는 “깊이의 장벽”에 부딪혔다.

mHC는 싱크혼 제약을 통해 이러한 장벽을 완화하고, 더욱 깊은 모델(Ultra-deep model)을 안정적으로 학습할 수 있는 기반을 제공한다.

따라서 o1처럼 복잡한 논리 연결이 필요한 모델에서 mHC는 더 긴 사고 흐름을 유지할 수 있는 신경망 구조를 제공한다.

OpenAI가 소프트웨어 측면에서 RL과 CoT(Chain of Thought)를 활용하여 추론 능력을 강화했다면, DeepSeek은 모델 아키텍처 단계에서 추론의 기초 구조를 개선한 것이다.

즉, OpenAI가 “어떻게 생각하게 만들 것인가(Process)”에 집중했다면, DeepSeek은 “어떤 구조가 생각하기에 적합한가(Structure)”라는 질문에 접근했다고 볼 수 있다.

9-2 “가성비 추론”의 새로운 기준 제시

DeepSeek의 강점은 항상 높은 성능 대비 낮은 비용이었다.

mHC 역시 이러한 방향성을 유지한다.

OpenAI o1과 같은 추론 중심 모델은 높은 성능을 제공하지만, 높은 추론 비용과 긴 처리 시간이라는 부담이 존재한다.

기업 환경에서는 단순히 똑똑한 모델보다 경제적으로 운영 가능한 모델이 더욱 중요하다.

mHC는 학습 과정에서 발생하는 추가 오버헤드를 약 6.7% 수준으로 억제하면서도 GSM8K, BBH와 같은 추론 중심 벤치마크에서 성능 향상을 보여주었다.

이는 동일한 성능을 더 낮은 컴퓨팅 비용으로 제공할 가능성을 의미한다.

특히 엔터프라이즈 시장에서는 모델 자체의 지능뿐 아니라 운영 비용과 확장성이 중요한 경쟁 요소이다.

mHC 기반 모델은 이러한 측면에서 API 비용 경쟁력과 AI 서비스 확장성 측면에서 의미 있는 가능성을 보여준다.

9-3 MoE를 넘어 “Dense의 귀환”

그동안 AI 업계에서는 파라미터 효율성을 높일 수 있는 희소 모델(Sparse Model)인 MoE가 차세대 대규모 모델의 정답으로 여겨졌다.

MoE는 많은 Expert를 구성하고, 입력 토큰마다 필요한 Expert만 선택적으로 활성화하여 계산량을 줄이면서 모델 용량을 확장하는 방식이다.

하지만 MoE는 지식의 양을 확장하는 데에는 효과적이지만, 여러 단계의 논리적 사고와 일관성을 유지하는 데에는 한계가 있다는 지적도 있었다.

mHC는 이러한 관점에서 중요한 의미를 가진다.

mHC는 밀집형(Dense) 모델도 적절한 연결 구조를 설계하면 충분히 깊고 정교한 Reasoning 능력을 확보할 수 있다는 가능성을 보여주었다.

이는 DeepSeek이 MoE와 Dense라는 두 가지 방향의 아키텍처 선택지를 모두 확보했다는 의미로 해석할 수 있다.

MoE가 여러 Expert를 활용해 “누가 이 문제를 잘 알고 있는가?”를 선택하는 방식이라면, mHC는 하나의 정보 흐름을 더 깊게 유지하면서 “더 깊게 고민하는 구조”를 만드는 방식이다.

즉, MoE가 폭(width)의 확장이라면, mHC는 깊이(depth)의 확장에 해당한다.

10. 마무리

정리하면, 기존 DeepSeek이 “효율적으로 큰 모델”을 만드는 데 집중했다면, mHC를 적용한 DeepSeek은 “안정적으로 깊은 모델”을 만들 수 있는 구조적 기반을 확보했다고 볼 수 있다.

mHC는 트랜스포머 이후 완전히 새로운 모델 아키텍처라기보다는, 기존 트랜스포머 구조가 Agentic AI와 Reasoning 모델에 더 적합하도록 발전하는 과정에서 등장한 연결 구조의 진화라고 볼 수 있다.

논문에서는 “Topology Design”의 중요성을 강조한다.

단순히 파라미터 개수를 증가시키는 것이 아니라, 정보가 흐르는 경로 자체의 구조를 개선하는 것이 차세대 모델 설계에서 중요한 요소라는 의미이다.

싱크혼-크놉(Sinkhorn–Knopp) 알고리즘의 수식 자체보다 중요한 것은 왜 이러한 수학적 제약이 필요한지, 그리고 어떻게 모델의 안정성을 확보하는지 이해하는 것이다.

그동안 AI 업계에서는 MoE와 같은 희소(Sparse) 모델이 스케일링의 정답이라고 생각해왔다.

하지만 mHC는 “밀집(Dense) 모델도 연결 구조를 잘 설계하면 훨씬 더 깊고 정교한 Reasoning이 가능하다”는 가능성을 보여주었다.

MoE가 여러 Expert를 구성하고 “누가 가장 잘 아는가?”를 판단하는 방식이라면, mHC는 하나의 모델이 여러 층을 거치면서 “더 깊게 고민하도록 만드는 구조”라고 볼 수 있다.

특히 이러한 깊은 사고 능력을 확보하는 과정에서 비용 증가를 최소화했다는 점이 중요하다.

커널 퓨전과 선택적 재계산이라는 시스템 최적화를 통해 학습 오버헤드를 약 6.7% 수준으로 제한했다.

이는 DeepSeek이 단순히 새로운 알고리즘을 제안한 것이 아니라, 실제 대규모 학습 환경에서 동작할 수 있도록 하드웨어와 소프트웨어를 함께 최적화했다는 것을 보여준다.

이번 논문을 통해 기존의 생각도 바뀌었다.

“무조건 MoE가 효율적인 구조다”라는 생각에서 벗어나, “안정적인 연결 구조가 뒷받침된다면 Dense 모델 역시 매우 강력한 잠재력을 가진다”는 점을 확인할 수 있었다.

DeepSeek 팀의 강점은 모델 구조만 연구하는 것이 아니라, 학습 시스템과 GPU 커널, 분산 학습 환경까지 전체 스택을 함께 최적화한다는 점이다.

그래서 mHC 논문이 주목받는 이유도 단순히 새로운 신경망 구조를 제안했기 때문만은 아니다.

모델 아키텍처, 수학적 안정화 기법, GPU 시스템 최적화를 하나의 문제로 보고 해결했다는 점에서 의미가 있다.

앞으로의 파운데이션 모델 경쟁은 단순히 더 많은 파라미터를 확보하는 경쟁이 아니라, 더 효율적으로 깊은 사고를 가능하게 만드는 구조 경쟁으로 이동할 가능성이 높다.

mHC는 이러한 변화의 방향성을 보여주는 중요한 연구라고 볼 수 있다.

결국 DeepSeek의 mHC는 “더 큰 모델”이라는 기존의 스케일링 방향에서 “더 깊게 사고할 수 있는 모델 구조”라는 새로운 확장 방향을 제시했다.

향후 Reasoning 모델과 Agentic AI 시대에서는 모델의 크기뿐 아니라 정보가 흐르는 경로와 구조를 어떻게 설계하는지가 더욱 중요한 경쟁 요소가 될 것이다.

참고로 이 글은 mHC 논문을 처음 접하는 개발자와 AI 인프라 엔지니어가 이해할 수 있도록 정리한 것이며, 논문의 핵심은 단순히 하나의 새로운 레이어를 추가했다는 점이 아니라 대규모 AI 모델의 깊이 확장을 가능하게 만드는 안정적인 정보 흐름 구조를 설계했다는 점에 있다.

• 참고 논문: mHC: Manifold-Constrained Hyper-Connections
• 참고 논문: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning