- 게시일: 2026-10-28
- arXiv: 2610.37648v1 · PDF
- 저자: Andrew Szot, Samira Abnar, Omar Attia, Abbas Kazerouni, Michael Kirchhof, Cheng-Yu Hsieh, Raviteja Vemulapalli, Alexander Toshev
- 분야: cs.LG
- 선정 점수: 5.34
- 선정 이유: 최근성 1.4, 인용 영향 0.0 (인용 0회), 저자 영향 0.0 (최고 h-index 0), AI 주제 적합성 2.9, 개발자 관심 0.6, 학술 신호 0.5, 오픈 웨이트·주요 연구조직 신호 0.0
← 2026-10-28 목록으로 돌아가기
한 문장 요약
LLM으로 생성한 실행 가능한 앱·데이터·검증기( SynthAPI )를 통해 도구 사용 에이전트용 합성 환경의 구성(A, T, S, D)이 downstream 일반화에 미치는 영향을 체계적으로 분석하고, 데이터 구성에 의존하는 스케일링 법칙을 제시해 최적의 데이터 배분 레시피를 제안한다.
해결하려는 문제
도구 사용 에이전트를 학습시키려면 상태 변화와 다단계 도구 조합을 포함한 현실적인 상호작용 데이터가 필요하나, 인터넷 텍스트에는 이러한 장기 상태ful 상호작용이 드물고 기존 합성 방법들은 데이터의 양만 늘리는 데 치중해 어떤 데이터 속성이 실제로 일반화 성능을 향상시키는지 불명확하다. 본 연구는 합성 환경에서 ‘도구(앱) 다양성’, ‘앱당 작업 수(태스크)’, ‘작업별 초기 데이터 프로파일(데이터베이스 인스턴스) 수’, ‘데이터 복잡도(산만한 데이터 수)’ 같은 생성 제어가 downstream 성능에 어떤 영향을 주는지를 규명하려고 한다.
핵심 기여
- SynthAPI라는 제어 가능한 실행 가능한 합성 환경 파이프라인을 제안하여 앱(도구), 태스크, 초기 데이터 프로파일, 검증기(verifier)와 오라클 솔버를 자동 생성하고 구성 축(A, T, S, D)을 명시적으로 제어할 수 있게 함.
- 458,752개의 합성 태스크(64개 앱, 10,472 APIs)를 생성하고 GLM-5.2를 전문가(빌더/데이터 수집자)로 사용해 849개의 학생 모델(2B/4B/9B/27B)에 대해 광범위한 데이터 구성 실험을 수행함.
- 데이터 구성 인자를 포함하는 합성 데이터 의존 스케일링 법칙(식 4.2)을 도입해 모델 FLOPs와 데이터 구성(A, T, S, D)으로 downstream 일반화를 예측하고, 단순 데이터량 기반 법칙보다 훨씬 낮은 외삽 오차(MAE 0.0285 vs 0.1706)를 보고함.
- 고정 태스크 예산 하에서 예산 규모에 따라 최적의 데이터 배분이 바뀐다는 실증적 교훈을 도출함(예: 예산 증가 시 태스크 수 증가보다 앱(도구) 다양성 및 데이터 프로파일 폭(S)·복잡성(D) 확장이 더 효과적임).
- 스케일링 법칙으로 찾은 최적 레시피로 훈련한 모델들이 Nemotron 등 기존 대규모 합성 데이터 기반 모델과 여러 벤치마크(AppWorld, BFCL, ASTRA-Bench, SynthAPI-Holdout)에서 일관되게 우수함을 보임.
접근 방법
- SynthAPI 파이프라인은 두 단계로 동작한다.
- (1) 빌더 LLM(Gemini-3.1 Pro, 인터넷 비활성화)을 이용해 앱 메타데이터(카테고리·기능 목록), 데이터베이스 스키마(db.py의 dataclass), API 구현(apis.py)을 Python으로 생성해 실행 가능한 앱을 만든다.
- 각 앱은 여러 public API(도구)를 노출한다.
- (2) 동일 빌더 LLM로 앱의 기능을 조합해 명확한 작업 명령(x), 실행 가능 초기 DB 상태(Db0; core + D-1개의 distractor 배치), 오라클 솔버(π*), 그리고 완료 여부를 판정하는 verifier(v)를 생성한다.
- 각 태스크는 Gymnasium 환경으로 구현되고 에이전트는 파이썬 코드 블록을 사용해 도구를 호출한다.
- 합성 데이터의 구성 제어 변수는 A(앱 수, 도구 다양성), T(앱당 태스크 수), S(태스크별 초기 DB 인스턴스 수, 즉 데이터 프로파일 폭), D(각 DB 인스턴스의 distractor 배치 수, 즉 데이터 복잡도)이다.
- 데이터 수집은 GLM-5.2 전문가를 최대 4번 시도하게 하여 첫 성공 궤적을 저장하고, 이를 학생 모델(Qwen3.5 계열)로 SFT(다음 토큰 예측, reasoning/action 토큰에만 손실 적용)로 증류해 학습한다.
- 실험은 총 849개의 훈련 런을 만들어 각 (A,T,S,D) 조합의 영향을 측정했고, FLOPs는 Chinchilla 근사(C≈6 M L)로 산정해 스케일링 법칙 피팅 및 외삽을 수행했다.
주요 결과
- 데이터 생성: 총 458,752개 태스크, 64개 앱, 10,472 APIs(쓰기 API 6,266개, 읽기 API 4,206개)를 생성함. 앱당 API 중앙값 144, 데이터 클래시스 중앙값 55, 기능 수 중앙값 81.
- 학습 데이터·훈련 규모: 합성 트래젝토리 데이터셋 총 5.9B 토큰, 그중 721M 토큰이 실제 에이전트 reasoning·action 감독 신호로 사용됨. 총 849개 모델 훈련.
- 데이터 구성 분석: 고정 총 태스크 개수 N= A×T에서 저예산 구간은 적은 앱(A)과 앱당 더 많은 태스크가 유리하지만, 예산이 커지면 앱 다양성(A)을 늘리는 것이 우수함(예: 9B 학생에서 A=8는 64–512 tasks에서 우수, A=64는 4096 이상에서 우수).
- 데이터 프로파일(S) 효과: 작은 예산(32–512)은 S=1이 좋고, 512–4096은 S=2, 4096 이상에서는 S=4가 더 좋음. 즉 예산이 클수록 동일 작업에 대해 다양한 DB 인스턴스를 만드는 것이 유리함.
- 데이터 복잡도(D) 효과: 높은 태스크 예산에서 D=4(많은 distractor)가 D=1/2보다 큰 이득을 줌. 특히 고예산에서 복잡한 DB가 downstream 향상에 기여함(그림 2c). 성능 민감도는 벤치마크 특성에 따라 달라질 수 있다고 명시함(정보 검색 중심 벤치마크는 다르게 행동할 수 있음).
한계
- 저자가 명시한 한계: SynthAPI는 사용자-대화자(사용자-in-the-loop)를 시뮬레이트하지 않아 에이전트가 명확화 질문이나 사용자 상호작용을 필요로 하는 현실적 시나리오를 다루지 못함.
- 저자가 명시한 한계: 긴 이메일이나 노트 같은 장문 문서 기반 정보검색(IR) 과제에 중점을 두지 않아 합성된 내용이 실제 사용자 문서가 갖는 의미적 깊이를 결여할 수 있음.
- 저자가 명시한 한계: 제시된 스케일링 법칙은 단일 합성 파이프라인(SynthAPI)에서 검증되었으며 다른 합성 파이프라인이나 훈련 설정에 일반화된다는 보장은 없음.
- 실험·범위에서 드러나는 제약: 수집은 GLM-5.2 전문가의 단일 성공 궤적만을 사용한 SFT로 진행되었고 (대부분의 분석에서) RL 루프를 사용하지 않았으므로 RL 기반 정책 학습의 효과는 분석에 포함되지 않음. 또한 모든 합성 태스크는 단일 앱 범위로 제한되어 다앱 조합 태스크는 별도로 생성하지 않았음.
개발자 관점
- 고정 데이터 예산을 늘릴 때 단순히 태스크 수(T)를 늘리기보다 도구·앱 다양성(A)과 동일 태스크에 대한 데이터 프로파일 폭(S)·복잡성(D)에 투자하는 것이 더 높은 일반화 성능을 가져온다. (작은 예산에서는 T 집중이 유리할 수 있음).
- 실행 가능한 데이터(데이터베이스 백엔드로 상태를 관리하고 검증기(v)로 성공을 판정하는 환경)를 사용하면 LLM으로 모든 도구 응답을 시뮬레이션하는 방식보다 복잡한 상태 전이를 더 신뢰성 있게 다룰 수 있다.
- 합성 데이터 파이프라인에 대해 제어 가능한 생성 축(A, T, S, D)을 도입하고 소규모 탐색 실험으로 스케일링 법칙을 피팅해 예산에 맞는 최적 데이터 조합을 자동으로 선택하면 성능을 개선할 수 있다.
- 재현·비용 측면: 빌더 LLM(해당 논문에서는 Gemini-3.1 Pro), 대형 전문가 모델(GLM-5.2), 다수의 학생 모델 훈련 및 대량 토큰(5.9B) 수집이 필요하므로 컴퓨트와 비용이 상당하다. 대체 빌더·전문가·학생 모델로 실험을 설계할 경우 비용·성능 트레이드오프를 고려해야 한다.
- 안전성·배포 시 유의점: 합성 데이터는 실제 사용자 데이터의 의미적 복잡성을 결여할 수 있어 배포용 에이전트에는 사용자-대화자 상호작용, 실제 문서·프라이버시 고려, 외부 API 신뢰성 등을 추가 검증해야 함.
근거 범위: 이 분석은 제공된 논문 PDF 본문 전체(주요 본문, 표, 그림, 부록의 프롬프트·훈련·평가 세부사항)를 기반으로 작성되었다. 숫자(예: 생성 태스크 수 458,752; API 수 10,472; 감독 토큰 721M; 학습 런 849; 스케일링 법칙 외삽 MAE 0.0285 등)와 구성·설정은 본문에 직접 기재된 값만 사용했다. 구현 세부사항(내부 코드, 저장소, 런타임 스크립트)은 PDF에 포함되지 않아 기술되지 않았으며, 다른 합성 파이프라인으로의 일반화는 논문이 명시적으로 보증하지 않으므로 주의가 필요하다.