Coding Agents for Generalized Task and Motion Planning Problems
- 게시일: 2026-09-26
- arXiv: 2609.30233v1 · PDF
- 저자: Matteo Merler, Bowen Li, Josh Roy, Yichao Liang, Qianwei Wang, Yixuan Huang, Tom Silver
- 분야: cs.RO, cs.AI
- 선정 점수: 6.40
- 선정 이유: 최근성 0.8, 인용 영향 0.0 (인용 0회), 저자 영향 1.1 (최고 h-index 4), AI 주제 적합성 3.0, 개발자 관심 0.5, 학술 신호 1.0, 오픈 웨이트·주요 연구조직 신호 0.0
← 2026-09-26 목록으로 돌아가기
한 문장 요약
시뮬레이터 접근권과 제한된 모델 예산을 가진 코딩 에이전트가 환경과 상호작용하며 범용적인 정책 프로그램을 합성하여 여러 TAMP(작업·운동 계획) 인스턴스에 일반화된 해결책을 자동으로 찾아내는지를 대규모로 평가한 연구이다.
해결하려는 문제
TAMP 문제는 이산 선택과 기하학·운동학·동역학 제약이 밀접하게 결합되어 있어 어려운데, 기존의 generalized TAMP 방법은 환경별로 설계된 샘플러·판단기·휴리스틱 등 많은 TAMP 특화 공학적 구성요소를 필요로 한다. 본문은 코딩 에이전트가 환경에 접근해 프로그램을 합성(interactive program synthesis)함으로써 이러한 수공학적 설계를 줄이고 여러 인스턴스에 일반화되는 재사용 가능한 정책을 자동으로 발견할 수 있는지(그리고 어떻게 발견하는지)를 묻는다.
핵심 기여
- AgenticGenPlan: 시뮬레이터 접근권과 파일 시스템 내 코드 실행을 통해 에이전트가 테스트를 설계·실행하고 반복적으로 프로그램을 수정해 하나의 범용 policy 프로그램을 합성하는 실험적 프레임워크를 제시하고 구현함.
- 대규모 실험: KinDER와 PDDLStream의 28개 환경(객체 수 확장 포함)에서 Claude Code(Opus 5)와 Codex(GPT-5.6 Sol, GPT-6 Astra)를 사용해 7가지 합성 설정, 환경별 5회 독립 실행, 합성된 프로그램 총 980개를 각각 100개의 홀드아웃 인스턴스로 평가(총 98,000 평가 에피소드)를 수행하여 통계적 근거를 제시함.
- 성능 비교: 합성된 프로그램들이 16개 환경에서 제공된 손수 설계된 TAMP 플래너보다 평균 성공률이 높고(예: Claude Code 평균 82% vs 플래너 47%), LLMGenPlan(정적 LLM 기반 합성) 및 one-shot 생성보다 우수하다는 실증 결과를 보임.
- 행동 분석: 에이전트들이 환경 탐색을 통해 물리 모델을 보정(calibration), 엣지케이스 테스트, 전략 정교화 등을 수행하고, 기존 문헌에 드물거나 이전에 보고되지 않았던 비전형적 조작 전략(예: 비쥬개적 푸시, 도구 재그립 등)을 발견했음을 질적으로 분석함.
- 소스 코드 접근 영향 평가: 환경 소스 코드(+source) 제공이 평균 성공률을 높였고(예: Opus 74%→84%, Astra 86%→95%), 그러나 소스 접근이 평가 시 프로그램을 느리게 만들기도 함을 정량적으로 보고함.
접근 방법
- AgenticGenPlan은 샌드박스된 컨테이너에서 작동하는 코딩 에이전트(Claude Code: Opus 5, Codex: GPT-5.6 Sol / GPT-6 Astra)를 사용한다.
- 각 런은 환경의 작업 설명(task description)과 시뮬레이터 클라이언트(reset, step, 렌더 등)를 받으며, 에이전트는 주어진 모델 예산(각 합성 실행당 $20 모델 사용량) 내에서 임의의 코드와 테스트 스크립트를 작성·실행해 프로그램을 개발한다.
- 에이전트는 최종적으로 reset 및 get_action 메서드를 가지는 클래스 형태의 정책 프로그램을 반환하고, 이 프로그램은 고정(frozen)되어 테스트 시간에는 더 이상 LLM을 호출하지 않는다.
- 평가 프로토콜은 환경별로 합성된 프로그램을 100개의 홀드아웃 인스턴스(시드)를 사용해 시뮬레이션하고, 각 인스턴스당 최대 60초(τ) 타임아웃과 에피소드 내 wall-clock 제약을 적용한다.
- 비교 대상으로는 (1) KinDER/PDDLStream이 제공하는 손수 설계된 TAMP 플래너(상징적 서치+샘플링 통합), (2) LLMGenPlan(소스 코드 제공 받는 정적 LLM 합성 파이프라인), (3) One-shot 생성(LLM의 첫 출력) 등이 포함된다.
- 추가로 +source 설정에서는 에이전트가 환경 소스 코드에 접근해 내부 함수·목표 판정·충돌 검사 등을 재사용할 수 있게 하여 소스 접근의 영향을 측정했다.
주요 결과
- 평가 규모: 총 980개의 합성된 프로그램에 대해 각 프로그램을 100개 홀드아웃 인스턴스로 평가하여 총 98,000개의 에피소드를 실행함(본문·초록 명시).
- 주요 정량 결과(플래너가 제공된 16개 환경 기준): Claude Code(=Opus) 평균 성공률 82%로 플래너 평균 47%의 1.7배를 기록. Codex는 GPT-6 Astra 평균 95%, GPT-5.6 Sol 평균 56%를 기록(본문).
- 환경 군별 성능(Astra 기준): Kinematic2D 99%, Dynamic2D 97%, Kinematic3D 93%, Dynamic3D 65%, PDDLStream 거의 100% 수준(본문에서 보고된 평균치들).
- 정책 계산 비용: Table III 기준, 정책 계산(결정) 시간/액션 평균값은 Opus(main) 11.741 ms [환경별 평균 범위 0.041–109.403 ms], Opus+source 42.480 ms [0.056–381.509 ms], Astra(main) 1.299 ms [0.033–6.047 ms], Astra+source 50.392 ms [0.053–477.045 ms].
- 인스턴스당 평균 전체 계획 시간: 선택된 14개 환경(플래너 사용 가능, 여러 객체 수)에 대해 Opus·Astra 프로그램은 인스턴스당 각각 평균 약 2.1 s 및 0.5 s를 소모한 반면, 손수 설계된 플래너는 평균 약 29 s를 소모해 프로그램이 평균적으로 플래너보다 훨씬 빠름(본문).
한계
- 저자 언급: 본 연구는 완전 관찰(object-centric full observability)과 시뮬레이터 접근을 전제로 함으로써 실세계의 인식 불확실성(perception noise) 상황에서는 성능을 보장하지 않음.
- 저자 언급: 모델의 사전학습 데이터가 공개되지 않아 벤치마크 코드에 대한 사전 노출(pretraining exposure)이 배제되지 않음. 다만 합성 로그에서 탐색적 실험 및 재작성 과정이 관찰되어 단순 암기가 전부는 아님을 주장함.
- 실험 관찰(본문 기반): 동적 3D 환경 중 많이 접촉·흐름을 요구하는 작업(예: 많은 작은 물체의 스윕/퍼팅)은 메인 설정에서 여전히 낮은 성공률을 보였음(예: 일부 Dynamic3D 환경이 주로 미해결).
- 실험 관찰: +source(소스 코드 접근)는 평균 성공률을 올리지만, 많은 +source 프로그램이 평가 시간에 환경 내부 구현을 직접 호출함으로써 실행 시 느려지는 경향(정책 계산 비용 증가)이 있음.
개발자 관점
- 재현성: 논문은 코드와 에이전트에 제공한 전체 프롬프트를 공개하므로 동일한 샌드박스·시뮬레이터 인터페이스(reset/step 등)와 모델 예산을 맞추면 재현 가능성이 높음(본문).
- 시스템 설계: 에이전트는 외부 네트워크 없이 격리된 컨테이너에서 파일 읽기/쓰기·코드 실행 권한만 주어지는 방식으로 안전하게 운용해야 하며, 악의적 접근을 막기 위한 레드팀 검증이 필요함(본문의 샌드박스·레드팀 언급).
- API 및 프로그램 규격: 합성된 정책은 reset와 get_action 메서드를 가진 클래스 형태로 표준화되어야 하며, 학습 시 로그·커밋(깃 기록)을 남겨 개발자 수준의 디버깅·회귀검증이 가능하도록 하는 것이 유용함(본문에서 에이전트에게 git commit을 요구한 점).
- 실행 효율화: 합성 과정에서 환경 내부 구현을 직접 재사용하면 개발 속도와 성공률은 오를 수 있으나 평가 시 속도가 느려질 수 있음. 따라서 배포용 정책은 소스 의존성을 줄여 자체 포함된(standalone) 코드로 증류하는 것이 바람직함(본문의 정책 계산 시간 비교).
- 비용·예산 고려: 합성 단계에서 LLM API 사용 예산(논문에서는 run당 $20 모델 사용량)을 설정해 실험 단위 비용을 통제할 수 있으나 예산·모델 선택에 따라 성능(일관성)이 크게 달라짐(Astra가 더 일관되나 비용·접근성 문제 존재).
근거 범위: 논문 PDF 본문(제공된 텍스트)을 근거로 분석을 작성함. 표와 그림의 일부 수치는 본문과 표(Table I–III)에 명시된 값들을 그대로 인용했으며, PDF 추출 과정에서 도표의 레이아웃이나 일부 숫자 표기(예: 범위 표기)가 텍스트로 변환되는 과정에서 원문 서식과 다소 차이가 있을 수 있으니 정밀 재검토가 필요할 경우 원문 PDF의 표·그림을 직접 확인하기 바람.