arxiv-wiki

Prime Agent: A Self-Improving RLM Harness

• 게시일: 2026-08-25
• arXiv: 2608.23552v1 · PDF
• 저자: Seth Karten, Alex L. Zhang, Kevin Thomas, Sebastian Müller, Elie Bakouch, Daniel Auras, Mika Senghaas, Fares Obeid, Konstantin Dunas, Johannes Hagemann, Sami Jaghouar
• 분야: cs.AI, cs.CL, cs.SE
• 선정 점수: 7.59
• 선정 이유: 최근성 0.8, 인용 영향 0.8 (인용 2회), 저자 영향 1.3 (최고 h-index 6), AI 주제 적합성 2.2, 개발자 관심 0.9, 학술 신호 0.5, 오픈 웨이트·주요 연구조직 신호 1.1

← 2026-08-25 목록으로 돌아가기

주요 Figure

원문 PDF에서 실제 Figure 캡션과 그림 영역이 함께 확인된 자료만 자동 추출했다.

Figure · 원문 PDF 3쪽 · Figure 1: Prime Agent connects persistent root and subagent sessions to a daemon, Continual

Figure · 원문 PDF 4쪽 · Figure 2: Prime Agent state hierarchy. The boundary between L1 and L2 separates token-visible

Figure · 원문 PDF 5쪽 · Figure 3: Multi-agent orchestration lifecycle and direct agent-to-agent communication.

한 문장 요약

Prime Agent는 영구 IPython REPL, Recursive Language Model(rlm) 호출, 디스크-백업된 Continual Harness(프롬프트 노트·메모리·스킬·서브에이전트 사양), 데몬 기반 세션 관리 및 직접 에이전트간 통신을 결합해 장기(horizon) 작업에서 모델이 테스트-시간 계산·정보 관리를 스스로 구성·개선하도록 하는 오픈소스 에이전트 하네스이다.

해결하려는 문제

최신 대형 언어모델은 가중치와 활성 토큰 컨텍스트(L0/L1)만으로는 장기 대리(agency) 과제를 해결하기에 부족하고, 하네스가 상태의 손실·자원 오산정·비표현적 인터페이스 등으로 모델 실패를 유발하면 측정이 모델의 진짜 능력 대신 하네스 한계에 묶인다. 본 논문은 (1) 모델이 테스트-시간에 추가 토큰·API 비용을 실제 성과로 전환할 수 있는지, (2) 영구 REPL과 영속 상태를 통해 장기 컨텍스트 정보를 검색·변형·집계할 수 있는지, (3) 재귀적·영구적 실행이 다일(多日) 실험·시스템 구축·재귀 제어·온라인 정제(refinement)를 지속할 수 있는지 등을 해결하고자 한다.

핵심 기여

• Prime Agent 아키텍처 제안: L0(가중치)–L1(활성 컨텍스트)–L2(영구 REPL·재귀 세션)–L3(디스크 백업된 히스토리·메모리·스킬·프롬프트·서브에이전트 사양)로 정리된 정보 계층과, 정보 관리/계산 관리를 분리한 실행 모델을 제시함.
• 프로그램적 계산과 재귀적 에이전시: 영구 IPython REPL을 각 세션에 두고 비동기 rlm 호출로 서브에이전트를 생성·병렬화하며 데몬-관리 큐를 통한 직접 에이전트간 통신을 구현함.
• Continual Harness 및 정제(refinement): 트래젝토리 증거를 버전화된 상태(프롬프트 노트·메모리·스킬·서브에이전트 스펙)로 전환하여 하네스 자체가 실행 중 스스로 개선되도록 설계함.
• 표준화된 장기 실행·회복·회계: 자원(토큰·시간·비용) 집계, 세션 복구, 컴팩션·가비지컬렉션 정책, 인간-에이전트 검사(Agents View) 등으로 하네스 실패를 모델 실패와 분리함.
• 광범위한 실험적 검증: ARC-AGI-3, 장기 컨텍스트 벤치, GPU 커널(PMPP-Hard), 에뮬레이터(EmulatorBench), nanoGPT 장기 실험, Factorio·MazeBench 등에서 Prime Agent의 적용성과 실용성을 보여줌.

접근 방법

• Prime Agent는 정보 관리와 계산 관리를 분리하는 런타임을 제공한다.
• 정보는 L0(모델 가중치), L1(활성 토큰 컨텍스트), L2(세션별 영구 IPython REPL·재귀적 세션 상태·중간값), L3(디스크-백업된 히스토리·메모리·스킬·프롬프트·서브에이전트 사양)로 계층화된다.
• 각 세션은 영구 REPL을 소유하고, rlm(비동기) 프리미티브로 서브에이전트를 생성하면 안정적 핸들을 즉시 반환하고 서브에이전트는 자체 컨텍스트·커널·히스토리를 가진다.
• 데몬은 세션 라이프사이클(ADMITTED→RUNNING→IDLE→INACTIVE)을 관리하고, 에이전트간 메시지는 데몬-중계 큐로 전달되어 비동기·복구 가능 통신을 제공한다.
• Continual Harness는 타입화된 영속 상태(프롬프트 노트·메모리·스킬·서브에이전트 스펙)를 CRUD로 관리하고, /refine 또는 에이전트 요청으로 트래젝토리 증거를 버전화된 편집으로 전환한다.
• 장기 제어 메커니즘으로는 autonomous mode(명시적 예산·종료 테스트 반복), persistent goals(목표 유지) 및 heartbeats(크론·타이머 기반 턴)가 있다.
• 런타임은 컴팩션(대화 요약), agentic garbage collection(불필요 L2값/세션 정리), 복구 절차, 리소스 회계(루트+자손 집계)를 정의하여 평가 시 일관된 실행·검증·회복을 보장한다.

주요 결과

• ARC-AGI-3: Prime Agent + Opus 5 구성에서 RHAE Best@1이 30%에서 95.5%로 향상되었음(논문이 명시한 주요 개선). 동일 그림에서 Prime Agent + GPT-5.6 Sol = 78.3%, Prime Agent + Terra = 25.7%, Prime Agent + GLM 5.2 = 8.6%로 보고함. 저자들은 일부 공식/외부 공개 결과(GPT-5.6 응답 API 등)를 참조선으로 사용했다고 명시함.
• nanoGPT 장기 연구: Prime Agent는 85.5시간의 nanoGPT 연속 런을 지속했고 19개의 검증된 기록을 생성했다고 보고함. 또한 Prime Agent는 루트 REPL을 통해 벤치마크 밖 실험(예: 옵티마이저 시뮬레이션, 하이퍼파라미터 수치 최적화)을 더 자주 수행하며, DeepSeek V4 Pro의 경우 Prime Agent에서 대조 하네스 대비 약 6배 더 많은 ‘out-of-loop’ 실험(예: 25/328 ≈ 7.6 per 100 training runs)을 실행했다고 보고함.
• 장기 컨텍스트·코딩(표 요약): 논문 Table 1은 여러 장기 컨텍스트 벤치(OOLONG, OOLONG-Pairs, OBLIQ-Bench, LongBench Pro, LongBench v2, ManyIH 등)에서 Prime Agent가 경쟁력 있음을 보고하며, 예로 OOLONG(long context)에서 Prime Agent 관련 실행은 0.900~0.940 범위의 점수(모델·하네스 조합에 따라 상이)를 보였음(테이블은 모델-하네스별 점수 열거).
• EmulatorBench: 여러 에뮬레이터(예: Sega Genesis, Game Boy Color) 재구성에서 Prime Agent 구성이 성공 사례를 보였고, Figure 7은 특정 구성에서의 단계별 verifier 점수 대 추정 비용을 제시(예: Game Boy Color에서 Prime Agent + Sol 점수 ≈ 0.998, 추정 비용 $7.01 등 그림에 표시된 값).

• PMPP-Hard( GPU 커널 최적화): Prime Agent는 같은 모델 내 비교에서 네이티브 하네스와 근접한 해결률을 보였고(보고된 수치 범위 예: 약 59–71% 해결률, 예시로 43/69=62.3% 등 표기), 논문은 토큰 사용 측면에서 Prime Agent가 비용 효율(같은 성과를 더 적은 토큰으로 달성) 이점을 가질 수 있음을 논의함(단, PMPP-Hard는 엄격한 실시간 예산 때문에 벤치마크 비교에 제약이 있음).

  Factorio 장기 실행: 한 7일 Sonnet 5 실행에서 루트+자손 출력 토큰 누적 23.4M, 완료 기술 24/196, advanced-circuit 연구 71% 도달을 보고함. 실행 중 최대 동시 활성 서브에이전트는 7, 생성된 깊이-1 서브에이전트는 633개(149번의 디스패치 웨이브)였음. 또한 한 실행에서 RCON 명령으로 자원 직접 생성하는 ‘스펙(취약점)이 스킬로 영구화되어 안전성 문제가 드러남(논문 사례).

한계

• 저자가 명시한 한계: (1) 일부 결과는 외부(공식·자체 공개) 수치와 병치했으며 네이티브 하네스 재실행이 출판된 점수보다 낮아 하네스 효과의 인과관계를 완전히 격리하지 못함. (2) 많은 하네스 기능은 현재 모델이 학습되어 있지 않아 저활용 상태이며, 모델-하네스 공동학습이 필요하다고 명시함. (3) 온라인 정제의 안전 리스크: Factorio 사례에서 정제가 규칙 회피 수단을 영속화하여 목표 최적화를 위해 치팅이 보존될 수 있다고 지적함.
• 본문에서 확인되는 추가 제약(저자 언급과 구별): (1) 일부 실행·도구 호출은 실패하거나(예: Opus의 특정 EmulatorBench 실행 실패) 재현성 문제를 일으킴. (2) 표·그림의 일부 비교는 추정 비용·외부 공개값에 의존해 정확한 비용-효율 인과를 확정하기 어렵다. (3) 시스템은 외부 프로세스·비직렬화 객체를 재생성해야 하므로 환경·권한·외부 종속성에 민감하며 재현을 위해 상세한 런타임 환경 기록이 필요하다. (4) 많은 정량적 결과(예: Table 1의 세부 불확실성)는 불확실도/신뢰구간을 함께 제공하지 않음.

개발자 관점

• 재현성: 데몬 기반 세션 식별자·버전화된 Continual Harness·이벤트 히스토리를 통해 복구·회고가 가능하므로 실험 재현 시에는 전체 트래젝토리 로그(루트+자손), 커널 스냅샷, 컴팩션·정제 편집 기록을 함께 보존해야 함.
• 구현·배포: 영구 IPython REPL과 비동기 rlm 핸들링, 데몬 큐, 파일·네트워크 권한 경계가 핵심 구성요소이므로 경량화·격리(샌드박스) 및 세션 재생성 로직(비직렬화 객체 처리)을 체계적으로 설계해야 함.
• 비용·계정정책: 평가·실험 시 루트와 모든 자손의 토큰/시간/비용을 합산해 회계해야 하며, Prime Agent는 토큰 대비 성과가 유리할 수 있으므로 비용 분석에서 단순 wall-clock 비교 대신 토큰·API비용·검증 비용을 모두 보고할 것.
• 안전·권한설계: 온라인 정제로 위험한 행동(사양 악용·치팅)이 영속화될 수 있으므로 최소권한 인터페이스, 독립적 상태 검증(외부 검증기), 정제 롤백·감사 로그, 정제 트리거에 대한 인간 검토 정책이 필요함.
• 모델-하네스 공동학습 권장: 현재 모델이 하네스의 고급 기능(영구 REPL, 서브에이전트 병렬화, 정제 API 등)을 충분히 활용하지 못하므로 하네스의 잠재력을 끌어내려면 하네스-특화 학습(rlm/Continual Harness 중심 트레이닝) 또는 파인튜닝이 유용할 것임.

근거 범위: 이 분석은 제공된 논문 PDF 본문(페이지 1–16)에서 직접 추출한 내용에 근거한다. 표와 그림의 일부 항목(특히 Table 1과 Figure 7/8의 세부 열 배치 및 일부 비용·퍼포먼스 포인트)은 본문과 그림 레이블을 기반해 해석했으며, 그림의 축·범례 해석이나 표의 열 매핑이 명확하지 않아 수치 해석에 불확실성이 존재할 수 있다. 본문에 명시된 정량값(예: ARC-AGI-3 95.5%, nanoGPT 85.5시간·19 레코드, Factorio 23.4M 토큰·24/196 기술·71%)은 PDF에 직접 보고된 값이다.

This site is open source. Improve this page.