오픈AI와 브로드컴 합작 추론칩, 할라피뇨 개발

오픈AI와 브로드컴의 합작인 할라피뇨 칩을 개발했네요ㅎㅎ 얼마나 매운 맛을 보여 줄 지 주요 내용을 정리하자면 다음과 같습니다.

오픈AI와 브로드컴은 LLM 추론 전용으로 설계된 AI 가속기 할라피뇨(Jalapeño)를 발표했다. 이 칩은 ChatGPT, Codex, API, 향후 에이전트형 AI 제품처럼 대규모 언어모델을 실제로 실행하고 응답을 생성하는 추론 작업에 맞춰 설계됐다. OpenAI는 이 칩을 자사 최초의 Intelligence Processor라고 설명하며, 제품과 모델뿐 아니라 칩까지 직접 설계하는 풀스택 AI 인프라 전략의 일부로 보고 있다.

첫째, 할라피뇨는 범용 GPU가 아니라 LLM 추론 워크로드에 맞춘 맞춤형 ASIC이라는 점이다. 둘째, 설계부터 테이프아웃까지 9개월밖에 걸리지 않았고, 이 속도를 OpenAI는 자사 AI 모델이 설계 및 최적화 과정을 도운 결과라고 설명한다. OpenAI는 이를 “AI가 미래 AI를 실행할 인프라를 더 빠르게 설계하는 순환 구조”로 보고 있다.

다만 아직 세부 성능 수치나 독립 벤치마크가 공개된 것은 아니다. OpenAI와 Broadcom은 초기 테스트 기준으로 할아피뇨의 전력당 성능(performance per watt)이 현재 최첨단 칩보다 상당히 좋을 것이라고 주장하고 있다. 양사는 이 칩을 시작으로 여러 세대에 걸친 컴퓨팅 플랫폼을 구축하고, 2026년 말부터 데이터센터 파트너들과 기가와트 규모로 배치할 계획이라고 밝혔다.

• 참고: OpenAI와 Broadcom, LLM 최적화 추론 칩 공개