오픈AI, GPT-5.6 가격 20%~80% 인하

오픈AI가 GPT-5.6 가격 20%~80% 인하했다. GPT-5.4 수준 지능 비용이 GPT-5.6의 재귀적 자기 최적화(recursive self-optimization)로 인해 4개월 동안 13배 감소했다. 참고로 재귀적 자기 최적화는 AI 시스템이 자신의 성능을 분석하고, 개선 방법을 찾아, 스스로 수정·최적화하는 과정을 반복하는 것이다.

1. 배경

1년 전 우리가 공개했던 주요 “히어로 차트” 중 하나는 놀라운 사실을 보여주었다. LMSys Elo 점수를 동일하게 유지했을 때 GPT-4 수준의 지능 비용은 18개월 동안 1, 000배 감소했다.

당시에는 이것이 단순히 “초보자 효과(noob gains)”인지 명확하지 않았다. 즉 최적화되지 않은 상태에서 최적화된 상태로 발전한 것인지, 단순 완성(completion) 방식에서 사고 (reasoning) 방식으로 발전한 것인지, Dense 모델에서 MoE 모델로 발전한 것인지, 그리고 쉽게 얻을 수 있는 최적화 요소들이 모두 사라진 것인지 알 수 없었다.

그러나 또 다른 18개월이 지난 지금, 동일한 수준의 지능을 유지하는 비용은 계속해서 급격하게 낮아지고 있다. 어제 OpenAI는 GPT-5.6이 자체 서빙 시스템을 어떻게 최적화했는지에 대한 결과를 공개했다.

2. 자기 최적화(Self-Optimization)

GPT-5.6 Sol은 실제 운영 트래픽을 분석하고, 드 밸런싱을 조정하며, OpenAI 자체 Triton 및 Gluon 언어로 운영 커널을 자율적으로 재작성하는 작업에 적극적으로 활용되었다. 이러한 자율 커널 최적화를 통해 전체 서빙 비용이 20% 감소했다.

• 추측 디코딩(Speculative Decoding): 자체 초안 모델(draft model)을 개선했다. 이를 위해 모델 구조에 대해 수백 개의 실험을 설계하고 실행했으며, 모델 크기·구조·기능 변경을 테스트했다. 또한 추측 모델 학습 과정을 모니터링하고 하드웨어 장애와 학습 불안정성 문제가 발생했을 때 자율적으로 개입했다. 그 결과 토큰 생성 효율이 15% 이상 증가했다.
• KV 캐싱: 다양한 워크로드인 Codex에서 Sol을 사용하는 환경에 맞춰 배치 처리, 샤딩, 캐시 관리 방식을 최적화했다. 이를 통해 기존 하드웨어에서 더 많은 추론 처리를 수행할 수 있도록 했다.

3. 에이전트 하네스 개선

Codex와 ChatGPT Work 같은 도구에서 발생하는 복잡한 다단계 작업을 효율화하기 위해 OpenAI는 Rust 기반 오케스트레이션 계층을 최적화하여 반복적인 계산 비용을 줄였다.

• 컨텍스트 비대화 방지: 도구, 스킬, 플러그인은 필요할 때만 표시된다(지연 탐색, deferred discovery). 또한 컨텍스트 윈도우가 불필요하게 증가하는 것을 방지하기 위해 도구 출력은 기본적으로 최대 10,000 토큰으로 제한된다.
• 3-2. 프롬프트 캐싱: 동일한 지시사항과 대화 기록을 반복적으로 다시 처리하지 않기 위해 하네스는 모델이 보는 모든 기록을 추가 전용(append-only) 방식으로 처리한다. 이를 통해 프롬프트 접두사(prefix)를 유지하고, 이전에 계산된 데이터를 재사용할 수 있도록 하여 높은 캐시 적중률을 유지한다.

그러나 OpenAI는 이것이 단순한 이론이 아니었음을 증명했다. 더 작은 모델에 대한 대규모 가격 인하와 함께 Sol의 새로운 2.5배 빠른 모드를 발표했다. 다만 7월에 언급되었던 셀레브레스(Cerebras) 기반 10배 고속 모드는 아직 공개되지 않았다.

4. 대규모 가격 인하

샘 알트먼은 오늘 대규모 가격 인하를 발표했다.

• GPT-5.6 Luna: 가격 80% 인하

  • 입력 토큰 100만 개당 0.20달러
  • 출력 토큰 100만 개당 1.20달러

• GPT-5.6 Terra: 가격 20% 인하

  • 입력/출력 기준 2달러/12달러

• GPT-5.6 Sol:

  • API에서 Fast 모드 제공
  • 동일한 지능 수준 유지
  • 속도 최대 2.5배 향상
  • 가격은 2배

이는 매우 아름다운 파레토 곡선이다. 만약 AA(Artificial Analysis)의 작업당 비용(Task Cost)이 실제 환경을 반영한다면 OpenAI는 DeepSeek, GLM, MiniMax 같은 오픈 모델뿐 아니라 Gemini Flash-Lite 같은 저비용 고성능 모델까지 넘어섰다.

그러나 진정으로 놀라운 점은 Nicdunz의 분석이다. GPT-5.4 Full 모델은 xhigh 설정에서 51점을 기록했으며, 이는 현재 Luna Max가 기록하는 수준과 동일하다. GPT-5.4의 가격은 입력/출력 기준 2.50달러/15달러였다. 반면 현재 Luna의 가격은 0.20달러/1.20달러이다.

따라서, 약 4개월 만에 OpenAI는 3월 당시의 최고 수준 지능 모델을 약 13분의 1 가격으로 판매하고 있다. 이는 연간 환산 기준 약 2000배 수준의 변화율이다. 다만 이 수치는 신중하게 해석해야 한다. Artificial Analysis 같은 공개 벤치마크는 어느 정도 학습 대상이 될 수 있지만, Elo 점수는 직접적으로 최적화하기 어렵기 때문이다.

풀사이드(Poolside)의 라구나(Laguna)와 Thinking Machines의 Inkling 같은 선도적인 중국 및 미국 오픈 모델은 완전한 제어권과 데이터 주권을 제공한다. 하지만 미세 조정(fine-tuning) 없이 비용 효율적인 지능만을 목표로 한다면, 현재 OpenAI를 능가하기는 매우 어렵다.