CQ4OE: A benchmark for assessing LLM-assisted ontology generation from competency questions
- 게시일: 2026-09-23
- arXiv: 2609.26029v1 · PDF
- 저자: Jiayi Li, Ziyuan Wang, Daniel Garijo, María Poveda-Villalón
- 분야: cs.AI
- 선정 점수: 5.15
- 선정 이유: 최근성 1.1, 인용 영향 0.0 (인용 0회), 저자 영향 0.0 (최고 h-index 0), AI 주제 적합성 3.0, 개발자 관심 0.2, 학술 신호 0.8, 오픈 웨이트·주요 연구조직 신호 0.0
← 2026-09-23 목록으로 돌아가기
한 문장 요약
Competency Questions(CQs)에 정렬된 골드 OWL 온톨로지와 다중층 평가 지표를 제공하여, LLM이 CQ로부터 용어와 온톨로지 구조(계층·속성·공리)를 생성하는 능력을 체계적으로 평가하는 벤치마크(CQ4OE)를 제안한다.
해결하려는 문제
기존 연구는 태스크 정의, 골드 스탠다드의 CQ 정렬성, 평가 지표의 적합성(어휘 중복 vs 구조적·논리적 적절성), 참조 온톨로지의 CQ 기반 설계 부재 등으로 LLM 기반 온톨로지 생성 평가의 비교 가능성과 요구사항 충족 판단이 어려웠다. 연구 질문은 ‘LLM이 CQ 요구사항을 만족하는 온톨로지를 얼마나 잘 생성하는가’와 ‘이를 공정·재현 가능하게 평가하려면 어떤 데이터·지표·파이프라인이 필요한가’이다.
핵심 기여
- CQ-aligned 골드 스탠다드: 각 CQ에 대해 답변에 필요한 클래스·속성·TBox 공리를 CQ-단위 근거(provenance)로 연결한 CQ2Term(99 CQs)과 CQ2Onto(118 CQs) 골드 온톨로지 집합을 구축함.
- 멀티태스크 평가 프레임워크: 용어 복구, 속성 특성, 도메인/레인지 삼중항, TBox 공리, 계층 폐쇄(추론 기반) 등 다중 깊이의 구조·논리적 지표를 정의하여 표면적 어휘 일치 이상의 평가를 가능하게 함.
- 자동화·설명 가능한 보고 파이프라인: 예측 산출물과 골드를 정렬하고(여러 유사도 방법과 집계), 모든 지표를 계산하며 CQ·공리 수준에서 매칭·누락·추론 회복 내역을 추적하는 오픈소스 파이프라인을 공개함.
- 기준선 평가: 9개 LLM(DeepSeek, Qwen, Gemma 계열 등)과 세 가지 생성 전략(제로샷, 반복적(Iterative), 멀티에이전트)을 대상으로 CQ2Term·CQ2Onto 평가를 수행하고 결과를 공개하여 후속 연구의 비교 기반을 제시함.
접근 방법
- 데이터셋 구축: 6개 공개 온톨로지(Wine, AWO, ODRL, SAREF4WATR, VGO, SWO)를 소스으로 선택하고 네 단계(핵심 용어 선정, CQ 필터링·용어 주석(명시·암시·유도어), 핵심용어 보강을 위한 CQ 추가, CQ-정렬 골드 표준 추출)로 CQ2Term(명시적 용어 증거)과 CQ2Onto(명시·암시·유도 용어 및 CQ에서 제거하면 답변 불가해지는 충분한 TBox 공리 집합) 골드를 수작업·3자 검토(annotator + 2 reviewers)로 작성함.용어 정렬(Alignment): 5개 유사도 방법(정확 일치, difflib 시퀀스, Levenshtein, Jaro–Winkler, 임베딩 기반(embeddinggemma))을 사용하고 하드매치가 있으면 1로 오버라이드, 나머지 4개는 상위 3개 평균으로 집계한 점수를 사용해 클래스 임계값 τC=0.6, 속성 τP=0.7로 그리디 일대일 정렬을 생성함(각 방법에 대해 독립적 P/R/F1도 보고).평가 지표: CQ2Term은 전역 용어 P/R/F1 및 CQ-조건화 커버리지(A1, MC, FC)를 계산.
- CQ2Onto는 용어 복구(전역), 속성 특성(정렬된 속성에 대한 OWL 특성 비교), 도메인/레인지 삼중항(정렬을 통해 비교), TBox 공리(명명된 항목 재귀적 치환 후 엄격 구조적 비교), 계층 폐쇄( HermiT로 골드·예측 온톨로지의 추론된 포함관계 닫힘을 비교) 등을 AC(정렬 조건) 및 글로벌 뷰로 보고.추론·수리보수: 멀티에이전트 전략에서 RDFLib, HermiT(추론), OOPS!(오류 검사)를 활용해 최대 3회 반복·백트래킹으로 온톨로지 수리 시도.실험 설정: 9개 LLM(DeepSeek V4-Pro/V4-Flash/V3.2, Qwen3.6 Plus/Flash/35B-A3B/27B, Gemma4 31B-IT/26B-A4B-IT)을 OpenRouter로 온도 0, 토큰 한도 16,384로 호출.
- CQ2Term은 CQ별 용어 출력, CQ2Onto는 세 전략(제로샷·반복·멀티에이전트)으로 전체 온톨로지 생성.
주요 결과
- 데이터셋·규모: CQ2Term 99 CQs(명시적 용어), CQ2Onto 118 CQs(공리 근거 포함), 6개 온톨로지(소형 2, 중형 2, 대형 2).
- CQ2Term 전역 용어 F1: 모델별 범위는 59.1%(DeepSeek V3.2)에서 66.5%(DeepSeek V4‑Pro).
- 클래스 vs 속성: 클래스 복구 67.1% 대비 속성 55.2%로 클래스가 더 잘 복구됨. 전체 정밀도·재현율 격차는 P=56.1% vs R=71.5%(과다 생성 경향). 속성별은 P=47.9% vs R=69.3%.
- 유사도 방법 진단: 하드 매칭 보수적(클래스 51.7%, 속성 30.0%), 임베딩/의미유사성은 더 높음(클래스 73.9%, 속성 63.3%). 멀티메서드 집계가 필요함을 확인.
- CQ-조건화 커버리지(CQ2Term): 평균 At-least-one 89.2%, Mean Coverage 54.8%, Full Coverage 23.5%로 전역 용어 복구와 달리 CQ 단위 완전 회복은 낮음(의미적 지역화 실패 노출). 예: Wine 도메인 전역 F1 48.0% vs AWO 90.5% 등 도메인 변동성 큼.
(논문 Figure/Table에서 집계)
(CQ2Onto 구조적 결과) 클래스 라벨 F1 최고 66.5%(DeepSeek V4‑Pro), 속성 삼중항 복구 최고 41.2%(Gemma‑4 31B‑IT). 평균 구조적 F1(18개 (도메인,전략) 설정) 은 26.7%~33.7% 범위로 낮음. 계층 폐쇄(Closure) 평균 F1은 16.7%로 예측된 계층이 얕음. TBox 공리 관련 CQ-레벨 지표: Axioms@1 평균 63.0%, Axioms-Mean 20.2%, Axioms-Full 2.1%으로 ‘모든 공리 완전 회복’은 거의 실패함. Zero-shot 대비 Iterative: 평균 추론 폐쇄쌍 수는 Iterative 8.6 vs Zero-shot 4.9 vs Multi-agent 4.7로 Iterative가 더 조밀한 서브클래스 그래프를 산출. Multi-agent는 Axiom-Mean을 제로샷 18.3%에서 24.2%로 개선(특히 AWO, ODRL에서 두드러짐). 예외 사례: Water는 클래스 F1≈65%지만 Triple-G ≤3.5% 및 Axiom-G ≤6%로 구조적 복구가 거의 없음. VGO·SWO의 예측 폐쇄쌍은 각각 0.6·0.7로 골드 12·8에 비해 매우 낮음(계층 붕괴).
한계
- [저자언급] 용어 정렬 의존성: 모든 온톨로지 수준 지표가 정렬 결과에 의존하므로 정렬 오류가 하위 지표에 전파됨. (정렬은 하드·문자열·의미유사성 집계와 τC=0.6, τP=0.7을 사용하나 단점 존재)
- [저자언급] 폐쇄(closure) 회복 한계: 폐쇄-기반 회복은 원자 SubClassOf/SubPropertyOf로 분해 가능한 계층 관련 공리만 다루며, 복잡한 표현(비분해 공리)은 정량적 평가에서 제외됨.
- [저자언급] 데이터 오염(데이터 컨타미네이션) 가능성: 공개 온톨로지와 CQs가 사전학습 데이터에 포함되었을 가능성이 있으나 저자들은 구조적 F1이 낮아 노출만으로 구조 생성에 기여하지 않는다고 논의함.
- [관찰·본문기반] 속성 모델링 불안정성: 속성 라벨의 패러프레이징·동의어 사용이 잦아 속성 F1이 클래스 대비 크게 낮아지는 문제가 반복적으로 관찰됨(본문 실험 결과 기반).
[관찰·본문기반] 계층 생성의 얕음·붕괴: 여러 도메인(특히 VGO, SWO, Water)에서 SubClassOf 체인을 충분히 생성하지 못해 추론 기반 회복이 제한됨.
[관찰·본문기반] CQ별 완전성 저조: Axiom-Full이 평균 ≈2.1%로 모델이 CQ에 필요한 전체 공리를 완전히 생성하지 못함.
개발자 관점
- 재현성·사용성: 코드·골드·메트릭·런보고서(마크다운·CSV)를 Apache‑2.0으로 공개(리포지토리·Zenodo·HuggingFace 제공)하므로 새로운 모델·전략을 predictions 폴더에 추가한 뒤 단일 스크립트로 평가 가능함.
- 정렬 파이프라인 검토 필요: 정렬은 평가 성능을 좌우하므로 자동 정렬(dry run CSV)을 확인하고 필요시 임계값(τC/τP) 조정 또는 수동 보정 권장. 임베딩·문자열 조합 방식이 단일 방법의 약점을 보완함.
- 프로젝트 확장·데이터 추가: 새로운 도메인을 추가하려면 논문에 기술된 4단계(핵심 용어 추출·CQ 필터링·보강·골드 생성)와 트리플-리뷰(annotator+2 reviewers) 프로토콜을 재현해야 하며, 이는 인적 비용을 요구함.
- 전략적 선택: Iterative prompting은 더 조밀한 계층(closure pairs)을 생성하는 반면, Multi-agent(추론·OOPS! 기반 수리)는 공리-레벨 커버리지를 개선하는 경향이 있어 목적(계층 완전성 vs 공리 정확성)에 따라 전략을 선택할 것.
- 운영 비용·인프라: 대형 LLM(다수의 모델)과 긴 컨텍스트(16,384 tokens), 멀티에이전트 반복·추론( HermiT, OOPS!)은 계산·시간 비용이 높으므로 대규모 평가나 실환경 배포 시 비용·지연을 고려해야 함. 또한 자동생성 공리의 환각(hallucination) 가능성으로 인간 검토·검증 루프 필요함.
데이터 오염 통제: 컨테스트나 상업적 사용에서는 사전학습 노출 통제를 위해 비공개·컷오프 이후의 온톨로지를 추가하여 평가하는 것을 권장함.
근거 범위: 논문 PDF 본문(제공된 전체 텍스트)을 근거로 분석·요약함. 표와 본문에 제시된 수치(예: CQ 수, F1 수치, 커버리지 등)는 본문·표·그림의 값에서 직접 추출했으며, 원저자의 부가적 실험 로그나 외부 리포지토리(세부 런 CSV)는 본문 내 링크로 참조했지만 해당 외부 파일의 세부 내용은 본문 텍스트를 기준으로 인용함. 본문에 명시되지 않은 내부 구현 세부(예: 모델별 토크나이저 설정, 정확한 런타임 비용)는 재구성하지 않았음.