Demystifying Agent Skills for Smart Contract Auditing: Design, Effectiveness, Behavioral Impact
- 게시일: 2026-09-25
- arXiv: 2609.29454v1 · PDF
- 저자: Cuifeng Gao, Juantao Zhong, Jiachi Chen, Shuai Wang, Daoyuan Wu
- 분야: cs.SE
- 선정 점수: 5.67
- 선정 이유: 최근성 1.2, 인용 영향 0.0 (인용 0회), 저자 영향 0.0 (최고 h-index 0), AI 주제 적합성 2.4, 개발자 관심 0.8, 학술 신호 0.3, 오픈 웨이트·주요 연구조직 신호 1.0
← 2026-09-25 목록으로 돌아가기
한 문장 요약
스마트 컨트랙트 보안감사 도메인에서 실제 수집한 83개의 ‘감사 스킬’을 설계·분류하고, EVMBench의 40개 감사 작업(120개 취약점)에서 7개 에이전트–모델 구성으로 평가하여 스킬의 설계 특성, 취약점 탐지 효과, 실행 궤적(행동)에 미치는 영향을 실증적으로 규명했다.
해결하려는 문제
LLM 에이전트에 패키지형 재사용 지식·워크플로·툴 사용법인 ‘스킬’이 등장했지만, 스마트 컨트랙트 감사처럼 도메인 특화된 작업에서 스킬이 어떻게 설계되는지·실제로 성능과 행동에 어떤 영향을 주는지에 대한 체계적 이해가 부족하다. 기존 연구는 주로 일반적·블랙박스 식 평가에 그쳤고, 스킬의 활성화(트리거링), 도구 의존성, 워크플로 반영 등 실행 수준의 메커니즘 분석이 미흡했다.
핵심 기여
- 현장(마켓플레이스·GitHub·기존 데이터셋)에서 수집·정제한 83개의 Solidity/EVM 특화 스마트 컨트랙트 감사 스킬 코퍼스를 구축하고 공개(중복 제거·임베딩 기반 유사도 분석 포함).
- 스킬 설계를 구조(크기·파일 구성), 지식 표현(15개 세부 표현·5개 상위 유형), 도구 의존성(정적분석·심볼릭 실행 등), 워크플로(중간 체크포인트 기반 구조) 및 취약점 커버리지(37개 원자 카테고리) 관점에서 정량·정성 분석하여 설계 특성 규명.
- EVMBench(40개 감사 작업, 120개 주석 취약점)에서 7개 에이전트–모델 구성(각각 기본 모델·약한 백엔드 실험 포함)으로 스킬 유무 비교 평가를 수행해 스킬의 탐지 효과가 주로 백엔드 모델 능력에 의해 결정됨을 실험적으로 입증.
- 스킬의 실행 궤적(세만틱·행동적 측면)을 분석하고, 스킬 트리거링이 주요 병목이며(대부분 설정에서 거의 활성화되지 않음), 스킬이 활성화되면 공통 6단계 감사 워크플로를 보존하면서 구성별로 다른 로딩 패턴과 하위 영향(지식 사용·툴 호출·워크플로 구조)을 야기함을 규명.
- 스킬 코퍼스·분석 산출물과 평가 스크립트를 공개해 후속 연구·재현을 지원.
접근 방법
- 세 단계 접근을 사용했다.
- (1) 스킬 수집·정제: AI 스킬 마켓플레이스(여러 플랫폼), GitHub 소규모 컬렉션, SkillsBench에서 ‘smart contract security audit’ 등 쿼리로 후보 획득 후 C1–C3(솔리디티 대상·감사 특화·SKILL.md 포함) 기준으로 필터링하고, URL 중복 제거·파일 콘텐츠 해시 기반 정적 중복 제거·수동 근접중복 판정을 거쳐 최종 83개 스킬을 확보.
- SKILL.md 임베딩(text-embedding-3-small)으로 유사도 분포 확인.
- (2) 설계 분석(RQ1): SKILL.md 규모(라인·토큰·파일·사이즈) 통계, AI(주로 GPT-5.4) 보조의 점진적 읽기·오픈코딩으로 15개의 세부 지식 표현(RF)과 5개 상위 지식 유형(KT) 유도, 툴 의존성(정적분석·심볼릭 실행·퍼징·형식증명) 식별, 워크플로(단계·결정지점·활성화·조정·검증·전달) 프로파일링, 취약점 항목(2,482개) 추출 후 37개 원자 카테고리로 분류.
- (3) 효과 평가(RQ2)·행동 분석(RQ3): EVMBench를 사용해 40개 감사 작업을 각 에이전트 CLI 최신 릴리스(2026년 4~5월 기준)와 페어링된 모델들(클라우드/플래그십 모델들 및 동일 백엔드 DeepSeek-V4-Pro)로 실행.
- 조건은 ‘스킬 없음’ 대 ‘스킬 전역 설치(발견 메타데이터만 초기 노출, 에이전트가 명시적으로 로드할 때 SKILL.md가 컨텍스트에 로드되는 방식)’로 비교.
- 주요 지표는 Detect Score(120개 그라운드 트루스 기준), Disclosure Precision, Detect Award(금전적 가치), 토큰·런타임 비용.
- 실행 궤적은 세만틱(임베딩 기반)과 행동(행동 유형 비율 벡터) 두 관점으로 Hotelling T^2와 사인-플립 퍼뮤테이션으로 유의성 검정, 세션 트레이스에서 스킬 로드 시점·툴 호출 타임라인을 추적해 활성화 패턴·단일/연쇄 사용 모드·워크플로 영향 분석.
주요 결과
- 코퍼스·설계 결과: 최종 83개 스킬의 SKILL.md 중앙값은 120라인·1,281토큰(평균 189라인·1,810토큰), 아티팩트 중앙값 파일 크기 25.43KB(평균 121KB), 평균 파일 수 16. 지원 리소스는 references(44개), templates(16), scripts(9) 순으로 빈도 높음. 스킬은 경량·지시 중심이며, 지식은 휴리스틱(KT02, 80개), 산출물/리포팅(KT05, 78개), 절차적(KT01, 77개) 등이 주를 이룸.
- 툴 의존성: 83개 중 73개(88.0%)가 툴을 보강으로 포함하지만, 실제 취약점 분석 도구는 19개 스킬(23%)만 포함. 정적분석 도구가 우세(모든 19개 스킬에 등장), Slither가 18개 스킬에서 가장 많이 사용되며 Mythril이 10개 스킬에 등장.
- 워크플로: 스킬당 중앙 워크플로 단계는 5단계, 중앙 결정지점 3개, 중앙 실행 스텝 6개로 4~6단계에 73개(88%) 집중. 활성화 방식은 프로토콜 특성 트리거(28개), 사용자 의도 트리거(17개), 항상 실행/미지정(잔여) 등이며, 대부분 단일 스레드 조정(62개)과 체크포인트 기반 검증(58개에 마일스톤 게이트) 형식.
- 취약점 커버리지: 스킬에서 추출한 2,482개 취약점 항목을 37개 원자 카테고리로 분류. 최다 커버리는 reentrancy(41개 스킬), arithmetic_precision(40), access_control(33) 등 고전적 위험에 편중되고 프로토콜/DeFi 특화 리스크는 롱테일로 분산됨. 스킬별 커버리지는 1~26개 카테고리(중앙값 9).
- EVMBench 평가(플래그십 모델 설정): 모든 플래그십 구성에서 스킬 활성화 시 Detect Score 개선이 관찰되나 차이가 큼. Codex/GPT-5.5은 Detect Score가 79/120(65.8%)에서 97/120(80.8%)로 +22.8%p(상대 증분 표기 논문은 상대 비율 표기로 제시) 개선되고 Detect Award도 108,241 → 154,983 USD로 +43.2% 개선. 기타: Claude/Opus-4.8 +3.2%p, Antigravity/Gemini-3.5-Flash +6.4%p, OpenCode/GLM-5.1 +13.9%p. Precision 변화는 대부분 소폭으로 제한됨(예: Codex +14.8% 상대). (표 VI 참고). Codex/GPT-5.5은 스킬 사용으로 토큰 비용 −5.24%·런타임 −3.64%로 비용·시간 면에서도 개선되는 파레토적 이득을 보였음; 반면 Antigravity는 토큰+11.90%·런타임+24.09%로 악영향 사례 존재(그림 8). (모든 수치는 논문 표·그림에 명시된 값임).
(참고) EVMBench 구성은 40개 작업·120개 주석 취약점으로 평가됨(본문).
같은 약한 백엔드(DeepSeek-V4-Pro)로 통제한 실험에서는 스킬 효과가 전반적으로 소실되거나 오히려 감소(-5.9% ~ -9.4% 범위), 즉 스킬 효과는 주로 백엔드 모델 능력에 의해 결정됨을 입증(표 VI). 토큰·런타임 오버헤드는 DeepSeek 설정에서 대체로 경미하거나 런타임 감소로 관측됨(그림 9).
행동 영향: 7개 구성 중 6개 구성에서 스킬 가용성이 세만틱 또는 행동적 뷰에서 통계적으로 유의한 궤적 변화(Hotelling T^2, 퍼뮤테이션) 유발(예: Codex/GPT-5.5 p=0.0002 두 뷰 모두). 스킬 트리거링은 주요 병목: Codex/GPT-5.5만 40/40 감사에서 스킬을 활성화(27개 스킬, 119번 읽음)했고, 다른 설정들은 드물거나 전혀 트리거하지 않음(Table VII). 스킬이 활성화되면 모든 설정에서 공통 6단계 감사 백본(지시 읽기→디렉토리 탐색→README 검사→코드 분석→grep/추적/테스트→리포트 생성)을 보존하되, 활성화 시점(초기 vs 후반)과 사용 패턴(단일 스킬 지속 vs 연쇄적 체인 로딩)에 차이가 있음(Fig.11). Codex/GPT-5.5의 경우 지식 표현(체크리스트·사례기반), 툴 호출(Slither·Aderyn 등) 및 워크플로(.vigilo 같은 단계화된 스캐폴딩)에서 뚜렷한 변화를 유도함(Table VIII).
한계
- 저자가 명시한 한계 — 내부 타당성: 대부분 단일 실행(single-run) 실험(비용 제약)으로 LLM의 확률적 변동성이 결과에 영향 줄 수 있으나 Codex/GPT-5.5 반복 실험에서 향방향(향상) 일관성 관찰로 일부 완화함.
- 저자가 명시한 한계 — 외부 타당성: EVMBench·선택된 모델·스킬 생태계의 시점적(snapshot) 특성으로 다른 벤치마크·모델·시간대의 스킬에는 일반화가 제한될 수 있음. 또한 EVMBench의 데이터 유출 우려가 존재할 수 있으나 본 연구는 상대적 효과 평가에 초점을 둠.
- 실험적 제약에서 드러나는 제약(분석적 관찰): 스킬 효과의 상당 부분이 ‘스킬이 실제로 로드되는가(트리거링)’에 의존하며, 많은 설정에서 스킬이 거의 활성화되지 않아 스킬 유용성 자체가 제대로 평가되지 못한 경우가 존재함(스킬 활용 불가능성은 결과 해석의 제약).
- 원인 귀속 한계: 본 연구는 전역 스킬 라이브러리를 제공하고 에이전트의 자율 선택에 맡겼기 때문에 개별 스킬의 인과효과(어떤 스킬이 어떤 취약점 발견에 직접적으로 기여했는지)의 정밀 인과추정는 수행되지 않음(저자도 후속 연구로 표준화된 per-skill 인과 추적 필요성 언급).
개발자 관점
- 백엔드 모델 능력이 가장 중요: 동일 에이전트 허니스라도 강력한 모델(GPT-5.5 등)일 때만 스킬을 일관되게 활성화하고 큰 성능 향상을 얻음. 따라서 스킬 개발·배포 시 허니스 설계뿐 아니라 사용될 모델의 지시수행·추론능력을 고려해 타깃화해야 함.
- 스킬 트리거링(발견·활성화) 개선이 핵심 시스템 개선점: 많은 환경에서 스킬은 메타데이터만 노출되고 로드되지 않으므로 스킬 디스커버리·매칭 로직(활성화 조건 명시, 프로토콜 특성·코드 기반 트리거 규칙)을 강화해야 실효성을 확보할 수 있음.
- 스킬은 경량·지시중심으로 설계하는 것이 현실적이고 효과적: 대부분 SKILL.md 중심의 소규모 아티팩트(중앙값 ~120라인, 25KB)로 충분히 활용되며, 레퍼런스·템플릿을 포함하는 식으로 유지하면 배포·버전 관리·검토가 용이함.
- 툴 통합은 신중하게 설계: 88%가 툴을 포함하지만 실제 취약점 분석 도구는 23%에 불과함. 스킬에 Slither·Mythril 등 분석기 의존을 포함하면 탐지 능력이 확대될 수 있으므로 (a) 실행 환경에 해당 툴의 설치·호환 보장, (b) 툴 출력의 증거-게이팅·검증 로직(증거 기반 검증)을 스킬에 내장하는 것이 권장됨.
- 워크플로·검증 설계 권장사항: 스킬은 체크포인트·마일스톤 기반의 검증(예: 증거-게이트, exploitability gate)을 제공하는 것이 일반적이며, 리포트 템플릿·중요도 버킷화(Deliver: report/finding/remediation)를 포함하면 출력 일관성과 품질을 높일 수 있음. 또한 스킬 체이닝을 염두에 둔 경량 상태 전달·문맥 명시가 유용함(연쇄 사용 모드 지원).
운영·비용 측면: 고성능 모델을 사용하는 경우 스킬은 탐지 효과를 개선하면서 토큰·시간 오버헤드를 감소시키는 파레토적 개선도 가능하나(사례: Codex/GPT-5.5), 일부 구성에서는 비용·시간이 증가할 수 있으므로(사례: Antigravity), 배포 전 비용-이득 분석을 권장. 실험 재현을 위해 연구진이 공개한 코퍼스 및 스크립트 활용 가능(논문 참조).
안전·검증: 스킬 자체가 잘못된 지식·취약성을 포함할 수 있으므로(관련 문헌에서 보고됨), 스킬 리뷰·정적 검사·권한 제한(예: 항상-on 대신 트리거/사용자 승인 기반 활성화) 및 스킬이 호출하는 외부 툴의 보안성 검증을 권장.
근거 범위: 이 분석은 제공된 논문 PDF 본문 전체(페이지 1–12)에 근거하여 작성되었으며, 모든 수치·관찰은 본문 표와 도표에서 직접 추출한 값에 기반한다. 논문이 인용하거나 외부에 공개한 코퍼스·스크립트의 구체적 파일·코드 수준 구현은 본문에 요약되어 있으나, 개별 스킬의 내부 코드·세부 알고리즘은 PDF 본문만으로는 완전 검증할 수 없으므로 해당 항목에 대한 상세 재현은 저자 공개 자료(논문 부속 배포물)를 참조해야 한다.