서진호

6 분 소요

올 초 오픈AI와 Cerebras는 750메가와트(MW) 규모의 웨이퍼 스케일 시스템 구축을 위한 다년 파트너십을 공식 발표했다. 그러한 실험의 첫 무대가 이번주 각사의 블로그에 공동 소개 되었다.

셀레브레스(Cerebras)와 오픈AI(OpenAI)는 셀레브레스가 구동하는 새로운 서비스 티어인 Ultrafast Mode를 먼저 공개한다. Ultrafast는 우선 OpenAI API에서 제공되며, 초기에는 일부 고객에게만 제공된 뒤 점차 접근 범위가 확대될 예정이다.

Cerebras는 Ultrafast 모드에서 GPT-5.6 Sol을 구동하며, 품질 저하 없이 초당 최대 750개의 출력 토큰(output tokens per second)을 제공한다. 이를 통해 Sol Ultrafast는 시간에 민감한 업무나 미션 크리티컬한 작업을 크게 가속할 수 있다.

1. 전례 없는 속도의 프런티어 인텔리전스

AI 개발자는 오랫동안 속도와 지능 사이에서 선택해야 했다.모델의 크기와 지능 수준이 높아질수록 더 많은 연산과 데이터 이동이 필요하기 때문에 응답 속도는 느려진다. 사용자는 높은 품질의 결과를 얻기 위해 오래 기다리거나, 빠른 결과를 얻기 위해 상대적으로 낮은 품질을 받아들여야 하는 경우가 많았다.

GPT-5.6 Sol Ultrafast는 이러한 트레이드오프를 해소하는 것을 목표로 한다. 매초가 중요한 제품과 워크플로에서도 프런티어 수준의 지능을 사용할 수 있도록 만든다. Artificial Analysis가 공개한 출력 속도와 비교하면 Ultrafast 모드의 GPT-5.6 Sol은 다음과 같은 성능을 보였다.

  • Fable 5보다 약 11배 빠르다.
  • Fast 모드의 Opus 4.8보다 약 5배 빠르다.

ultrafast-01

2. 고난도 AI 벤치마크 평가 : Humanity’s Last Exam

셀레브레스는 울트라패스트의 성능을 확인하기 위해 여러 주요 모델과 함께 Humanity’s Last Exam(HLE) 벤치마크를 수행했다. HLE는 화학, 경제학, 문학 등 다양한 분야에서 박사급 전문 지식이 있어야 답할 수 있는 수준의 문제를 포함한 고난도 AI 벤치마크다. 총 2,500개의 질문으로 구성되어 있다.

ultrafast-02

셀레브레스의 평가 결과, 울트라패스트 모드의 GPT-5.6 Sol은 전체 2,500개 문제를 처리하는 데 11시간 11분이 걸렸다. 반면 Claude Fable 5는 동일한 문제를 처리하는 데 78시간 27분이 필요했다. 이는 3일이 넘는 연속적인 연산 시간에 해당한다. 즉 울트라패스트는 비슷한 정확도를 유지하면서 전체 벤치마크를 약 7배 빠르게 처리했다. 셀레브레스는 이를 두고 인간 지식의 최전선에 해당하는 문제들을 사실상 하나의 근무일 안에 처리한 것이라고 설명한다.

이 벤치마크는 셀레브레스가 수행했다. GPT-5.6 Sol Ultrafast는 Codex와 xhigh reasoning 설정을 사용해 테스트했으며, Claude Fable 5는 Claude Code와 xhigh reasoning 설정으로 둘 다 지난달에 테스트했다.

3. 빠른 추론이 가능한 업무 영역의 확대

모델의 능력이 계속 향상되면서 빠른 추론이 활용될 수 있는 영역도 확대되고 있다. 셀레브레스는 GPT-5.6 Sol이 OpenAI가 지금까지 공개한 모델 가운데 다음과 같은 전문 지식 업무에서 특히 뛰어난 모델이라고 설명한다.

  • 법률 문서 작성
  • 금융 모델링
  • 엔지니어링 보고서 작성

경제적 가치가 높은 지식 노동 업무를 평가하는 GDP-Val 벤치마크에서도 Ultrafast는 품질 저하 없이 전체 처리 시간을 5.6배 단축했다. 이는 추론 속도를 높이면 경제적 가치가 높은 실제 업무의 처리 시간도 크게 단축할 수 있다는 것을 보여준다.

해당 테스트는 Cerebras가 2026년 7월 31일 수행했으며, Codex에서 GPT-5.6 Sol과 GPT-5.6 Sol Ultrafast를 medium reasoning 설정으로 비교했다.

4. 초고속 지능이 중요한 업무를 변화시킨다

AI의 응답 속도가 빨라지면 개인과 기업이 AI를 활용하는 방식 자체가 달라질 수 있다. Ultrafast를 사용하면 매초가 중요한 문제의 핵심 경로(critical path)에 AI 에이전트를 직접 배치할 수 있다.

OpenAI의 제품 담당자인 Rohan Varma는 GPT-5.6 Sol Ultrafast에 대해 Cerebras의 기술을 통해 AI가 사람이 생각하고 코딩하고 협업하는 속도를 따라갈 수 있게 되며, Ultrafast 추론이 다양한 워크플로와 애플리케이션을 변화시킬 것으로 기대한다고 설명했다.

Ultrafast는 새로운 정보에 빠르게 대응해야 하는 조직에 지속적인 경쟁 우위를 제공할 수 있다. 예를 들어, 웹 서비스를 운영하는 기업은 Ultrafast를 활용해 프로덕션 장애의 근본 원인을 빠르게 분석하고 대응할 수 있다.

이를 통해 다음과 같은 효과를 기대할 수 있다.

  • 고객 신뢰 유지
  • 장애로 인한 매출 손실 방지
  • SLA(Service Level Agreement)에서 허용하는 다운타임 감소

보안 영역에서도 활용 가능성이 크다. 적대적인 공격이나 고위험 사이버 공격이 발생했을 때 보안 팀은 공격자를 빠르게 탐지하고 대응해야 한다. 대응 시간이 길어질수록 피해 규모가 커질 수 있기 때문이다. Ultrafast는 이러한 상황에서 보안 팀이 공격을 빠르게 분석하고 대응하도록 지원하는 도구가 될 수 있다.

4-1. 에이전트 사용 방식의 변화

Ultrafast는 AI 에이전트를 사용하는 새로운 작업 방식도 가능하게 한다. 에이전트가 실시간에 가까운 속도로 분석 결과와 업데이트를 제공할 수 있기 때문에, 사용자가 여러 개의 병렬 에이전트 세션을 실행해 놓고 각각의 작업이 완료될 때까지 다른 업무로 전환하는 방식이 줄어들 수 있다.

OpenAI 연구원 Jeffrey Wang은 기존에는 하나의 작업이 완료되기까지 몇 분 정도 기다려야 하는 경우가 있었지만, Ultrafast에서는 다른 업무로 컨텍스트를 전환하기도 전에 작업이 끝나는 경우가 있으며 이러한 특성이 생산성을 크게 높여준다고 설명했다. Ultrafast를 사용하면 연구자와 엔지니어는 중요한 문제를 깊게 탐구하는 데 집중할 수 있다.

반면 일반적인 반복 작업이나 병렬 처리에 적합한 업무에는 기존 Standard processing을 계속 사용할 수 있다. 다시 말해, 업무 특성에 따라 Standard와 Ultrafast를 적절하게 나누어 사용하는 방식이 가능하다. Cerebras는 이러한 빠른 AI 추론이 개인과 조직이 AI를 통해 수행할 수 있는 작업의 범위를 더욱 확대할 것으로 보고 있다.

5. 초고속 추론을 가능하게 하는 기술

Ultrafast 모드에서 GPT-5.6 Sol을 구동하는 핵심 기술은 Cerebras의 Wafer-Scale Engine(WSE) 아키텍처다. 이 아키텍처는 프런티어 AI 워크로드를 처리하기 위해 설계되었다. Cerebras는 빠른 프런티어 모델 추론의 핵심 문제가 단순한 연산량이 아니라 데이터 이동(data movement)이라고 설명한다.

ultrafast-03

GPU에서 대형 모델을 추론할 때 성능을 제한하는 주요 요소 중 하나가 메모리 대역폭(memory bandwidth)이다. LLM이 다음 토큰을 생성할 때마다 모델 가중치를 칩 내부 메모리와 외부 메모리 사이에서 반복적으로 이동해야 하기 때문이다. 이러한 데이터 이동에는 상당한 시간이 필요하다.

5.1 44GB SRAM을 웨이퍼에 탑재

Cerebras는 이러한 비효율적인 데이터 이동 문제를 해결하기 위해 기존 GPU와 다른 접근 방식을 사용한다. 각 웨이퍼 크기의 칩에 44GB의 SRAM을 탑재한다.모델 가중치를 칩 내부에 유지할 수 있기 때문에 외부 메모리에서 반복적으로 데이터를 가져오는 작업을 줄일 수 있다. 모델의 토큰은 여러 웨이퍼에 걸쳐 파이프라인 형태로 배치된 모델 레이어를 따라 지속적으로 이동한다.

그래서 구조를 단순화하면 다음과 같다.

GPU 기반 추론:

외부 메모리 → 모델 가중치 이동 → 연산 → 다시 데이터 이동 → 다음 토큰

Cerebras 방식:

가중치를 칩 내부에 유지 → 토큰이 모델 레이어를 연속적으로 통과

Cerebras는 이러한 접근 방식이 모델 크기가 증가해도 비교적 자연스럽게 확장될 수 있으며, 향후 더 큰 프런티어 모델에서도 높은 추론 속도를 유지할 수 있는 기반이 된다고 설명한다.

6. 비즈니스 사례

6.1 금융 리서치와 보안

Ultrafast가 활용될 수 있는 또 다른 분야는 금융 리서치와 보안이다. 금융 시장은 실시간으로 변화한다. 따라서 시장 데이터가 변한 뒤 몇 분 또는 몇 시간이 지나 분석 결과를 제공하는 것과 시장이 움직이는 동안 결과를 제공하는 것은 매우 다른 가치를 가진다.

Ultrafast는 다음과 같은 작업에 활용할 수 있다.

  • 시장 신호 분석
  • 거래 평가
  • 이상 거래 탐지
  • 의심스러운 활동 분석

OpenAI의 초기 고객 중 하나인 금융 AI 기업 Rogo는 Ultrafast를 사용하면 복잡한 금융 리서치가 기존의 오래 걸리는 분석 작업보다 실시간 상호작용에 가까운 경험으로 바뀔 수 있다고 평가했다. 그러므로 속도는 단순히 사용자 경험을 조금 더 빠르게 만드는 요소가 아니라 어떤 종류의 작업을 AI로 처리할 수 있는지를 바꾸는 요소가 될 수 있다.

6-2. 음성AI 고객 지원

Voice AI에서는 지연시간이 더욱 중요하다. 텍스트 기반 AI에서는 몇 초 정도의 지연이 허용될 수 있지만 전화나 음성 인터페이스에서는 짧은 지연도 사용자가 쉽게 인식한다.

특히 고객의 질문에 답하기 위해 여러 시스템을 조회해야 하는 경우 문제가 더 커진다.

예를 들어, AI가 다음과 같은 과정을 수행한다고 생각할 수 있다.

사용자 질문
↓
고객 정보 확인
↓
주문 데이터 조회
↓
정책 검색
↓
답변 생성

각 단계에서 모델 호출과 시스템 조회가 반복되면 전체 응답 시간이 길어진다. OpenAI는 Ultrafast를 사용하면 여러 단계와 여러 시스템을 거쳐야 하는 복잡한 문제에서도 대화를 끊지 않고 실시간에 가까운 지원 경험을 만들 수 있다. 예를 들어, 초기 고객 Podium 역시 Ultrafast를 Voice AI 환경에서 테스트하고 있다. Podium은 복잡한 작업에서 속도 향상이 전체 통화 경험을 크게 바꾼다고 평가했다.

6-3. 커머스

온라인 쇼핑에서도 AI의 응답 속도는 구매 경험에 직접적인 영향을 줄 수 있다. 쇼핑 과정에서 사용자는 여러 질문을 한다.

이 제품의 차이는 무엇인가?
재고가 있는가?
내게 맞는 제품은 무엇인가?
배송은 언제 가능한가?
결제 문제가 발생한 이유는 무엇인가?

Ultrafast는 사용자가 아직 구매 결정을 내리고 있는 동안 이러한 질문에 답하고, 재고를 확인하고, 개인화된 제품을 추천하고, 결제 문제를 해결하는 데 활용될 수 있다.

OpenAI가 강조하는 부분은 고객이 구매를 포기하기 전에 대응하는 것이다. 몇 초의 차이가 단순한 성능 차이가 아니라 구매 전환율과 직접 연결될 가능성이 있는 영역이다.

7. Ultrafast는 현재 제한적 프리뷰 단계

현재 GPT-5.6 Sol Ultrafast Mode는 제한적 프리뷰 형태로 일부 고객에게 제공되고 있다. 초기에는 선택된 고객만 사용할 수 있으며, Cerebras와 OpenAI는 시스템 용량이 증가함에 따라 접근 가능 고객을 점차 확대할 계획이다.

8. 기술적으로 주목할 점

이 글에서 기술적으로 가장 중요한 대목은 750 tokens/sec 자체보다 Cerebras가 이를 어떻게 구현했느냐에 있다. 기존 GPU 기반 LLM 추론이 HBM 대역폭 → weight 이동 → token generation이라는 memory-bandwidth-bound 문제를 안고 있는 데 비해, Cerebras는 대규모 SRAM에 가중치를 가능한 한 칩 가까이에 유지하고 여러 WSE를 파이프라인으로 연결하는 방식으로 이 병목을 공격하고 있다.

결국 Ultrafast의 핵심은 GPU보다 단순히 연산량이 많다는 이야기가 아니라, LLM 추론을 데이터 이동 문제로 보고 아키텍처 자체를 바꿨다는 점이라고 볼 수 있다.

9. 참고 자료

댓글남기기