Evaluating Open-Weight LLMs for Turkish Domain Documents Under Retrieval and Hardware Constraints
- 게시일: 2026-09-24
- arXiv: 2609.28007v1 · PDF
- 저자: Imtiaz Ul Hassan, Öykü Akbulut, Onur Kaya, Ardhendu Behera, Swagat Kumar, Peter Matthew, Yonghuai Liu
- 분야: cs.CL, cs.IR, cs.LG
- 선정 점수: 7.59
- 선정 이유: 최근성 1.2, 인용 영향 0.0 (인용 0회), 저자 영향 0.0 (최고 h-index 0), AI 주제 적합성 2.1, 개발자 관심 0.3, 학술 신호 1.0, 오픈 웨이트·주요 연구조직 신호 3.0
← 2026-09-24 목록으로 돌아가기
한 문장 요약
터키어 산업·공공 보고서 기반 100문항 문서질의응답 벤치마크에서 지역(6GB GPU) 배포·4비트 양자화 환경 하에 5개 오픈 웨이트 7B–8B LLM을 동일한 검색·프롬프트·해석 조건으로 비교하고, 증거 주석화된 평가로 검색 실패와 모델 추론 실패를 분리하여 성능과 검색 방법 간 차이를 분석한다.
해결하려는 문제
기존 터키어 LLM 평가는 주로 일반 지식·교육용 벤치마크에 의존하여, 길고 구조적으로 이질적인 도메인 문서를 검색 파이프라인과 함께 지역 하드웨어 제약(예: 6GB GPU)에서 운영할 때의 실무적 성능을 평가하지 못한다. 또한 파이프라인형 시스템에서는 최종 정답 오류가 검색기 실패인지 생성모델의 추론 실패인지 혼동되어 진단과 개선이 어렵다. 본 논문은 이러한 한계를 해결하고자 동일한 검색 컨텍스트에서 모델별 성능을 비교하며, 검색 성공 여부(증거 리콜)를 분리 측정하는 평가 프로토콜을 제안한다.
핵심 기여
- 109쪽 산업 R&D 보고서(주요)와 112쪽 공공기관 연차보고서(교차검증용)를 기반으로 각 100문항(난이도별 30/30/20/20)씩의 터키어 문서 QA 벤치마크를 구성하고, 각 문항에 기대 정답·지원 증거·채점 규칙을 주석화하여 검색 실패와 모델 실패를 구분 가능하게 함.
- 동일한 검색 파이프라인·프롬프트·디코딩·4비트(Q4_K_M) 양자화·하드웨어(엔비디아 RTX 3050, 6GB VRAM) 조건에서 5개 오픈 웨이트 7B–8B 모델(Trendyol-8B, Qwen2.5-7B, Cosmos-8B, Mistral-7B, Kocdigital-8B)을 통제 비교함.
- 문서 전처리·문단 분절·오버랩 청크·문자 기반 TF-IDF 등 동일한 청크·컨텍스트 예산(3,500 문자)을 유지한 상태에서 문자/단어 TF-IDF, BM25, E5(dense), 하이브리드 등 7개 검색 구성의 증거 리콜을 비교하고 95% Wilson 구간 및 정확 짝짓기 McNemar 검정을 적용하여 통계적 유의성 평가를 수행함.
- 검색 성공 여부(증거 리콜)와 모델 정답률을 분리하는 근거 주석화(evidence-annotated) 평가 프로토콜을 제시하여, 파이프라인 오류 원인을 검색과 모델로 분해하는 진단적 분석을 제공함.
접근 방법
- 평가 파이프라인은 (1) 레이아웃 보존 PDF→텍스트 추출(테이블·레이아웃 보존), (2) 문서 구조화 후 중첩 청크화(주문서 452개 청크, 보조문서 348개 청크), (3) 질문-청크 동일 특징공간(문자 n-그램 TF-IDF)을 이용한 코사인 유사도 산출, (4) 유사도 내림차순으로 청크를 선택해 3,500문자 컨텍스트 예산을 채움, (5) 선택된 문맥·지시문·질문을 포함한 프롬프트를 구성하여 모델에 동일하게 제공, (6) 모델은 로컬에서 Ollama로 서빙되며 Q4_K_M 4비트 양자화와 4,096 토큰 컨텍스트 설정 하에 온도 0·고정 시드로 추론.
- 증거 리콜은 각 문항의 기록된 ‘지원 소스 수치(또는 근거)’가 검색된 문맥에 모두 포함될 때로 정의하여 모델 출력과 독립적으로 계산.
- 채점은 문항별(숫자, 엔티티, 키워드, 날짜, 불리언, 선택형, 금지(Abstention)) 규칙을 사전 설정해 이진 채점으로 수행.
- 검색 비교에서는 청크/중복/문서 순서/문자 예산을 고정한 채 정렬(ranking) 알고리즘만 변경하여 문자 TF-IDF, 단어 TF-IDF, BM25, E5-small, E5-base, RR-fusion(TF-IDF+BM25), RR-fusion(TF-IDF+E5-base) 등 7개를 비교했고, 신뢰구간은 95% Wilson, 방법 간 비교는 정확한 짝지음 McNemar 검정을 사용함.
주요 결과
- 주요(산업) 보고서 100문항에 대한 전체 정확도는 모델별로 Trendyol-8B 75%, Qwen2.5-7B 65%, Cosmos-8B 54%, Mistral-7B 51%, Kocdigital-8B 49%로 26포인트 범위 차이를 보임.
- 난이도 밴드별: Easy(30문항) 및 Medium(30문항)에서 Trendyol가 우수(예: Easy 21/30 두 모델 동률, Medium Trendyol 22/30 vs Qwen2.5 15/30), Abstention(20문항)에서는 Qwen2.5 19/20, Cosmos·Trendyol 18/20, Kocdigital 9/20로 순서가 달라짐.
- 교차검증(공공 보고서) 전체 정확도는 Trendyol 82%, Qwen2.5 65%, Cosmos 60%, Kocdigital 58%, Mistral 51%로 주요 보고서의 상위 3개 모델 순서가 유지됨.
- 증거 리콜(3,500문자 예산, 기록 가능한 문항만 포함): 주요 보고서 31/54=57% (Easy 74%, Medium 43%, Hard 58%), 보조 보고서 70/77=91% (Easy 96%, Medium 93%, Hard 79%). 진단 예산(7,000/9,000 문자)에서 주요 리콜은 각각 72%와 76%로 포화 경향을 보였으나 보조 보고서는 94%/95%로 이미 높은 포화 수준을 가짐.
-
검색 방법 비교에서 문자 TF-IDF(기본)는 주요 보고서 57%, BM25 65%, E5-base 59%, 최강 하이브리드 63%; 보조 보고서에서는 TF-IDF 91%, BM25 86%, E5-base 90%, 최강 하이브리드 91%를 기록했으나 모든 방법 간 McNemar 검정 p>0.05로 문자 TF-IDF 대비 유의한 개선이 관찰되지 않음(통계적 차이 없음). 95% Wilson 구간(예: 문자 TF-IDF 주요 [44,70], 보조 [82,96])을 보고함.
“추론 비용/지연”: Qwen2.5가 평균 대기시간 1.69s/질문(표준 표기: mean 1.69s, median 1.47s)으로 가장 빠르고, Trendyol는 평균 23.86s로 가장 느림. Trendyol 출력은 스크래치패드 제거 후 평균 207자, Qwen2.5는 44자로 Trendyol의 긴 중간 추론 토큰(사고 모드)이 지연에 기여함.
한계
- 저자 명시 한계: 주요 벤치마크가 하나의 산업 R&D 보고서에 기반하므로 법률·의료 등 다른 분야 문서로의 일반화는 제한되며, 더 많은 도메인 문서로의 복제 검증이 필요하다고 저자들이 명시함.
- 저자 명시 한계: 평가는 7B–8B급 오픈 웨이트 모델과 특정 하드웨어(엔비디아 RTX 3050, 6GB)·양자화(Q4_K_M) 조합에 국한되어 다른 모델 규모·하드웨어 설정·양자화 방식에 대한 결론으로 곧바로 확장하기 어렵다.
- 본문에서 확인되는 제약(추가 관찰): 증거 리콜 측정은 문항별로 ‘기록된 지원 수치’에 의존하므로 주석화 방식과 포함되는 문항 집합이 문서별로 달라 비교값 해석에 영향을 미치며, 논문도 두 문서의 증거 주석 차이가 있어 전체 값들을 직접 비교 가능한 통제된 순위로 보지 말 것을 언급함.
- 본문에서 확인되는 제약: 검색·청크화·문자 예산(3,500자)·문서 조립 규칙을 고정한 상태에서 정렬(ranking)만 비교하였으므로 전체 검색 설계(청크 크기·오버랩, 컨텍스트 예산 단위 문자 vs 토큰 등)에 따라 성능이 달라질 수 있음.
개발자 관점
- 파이프라인형 문서 QA 개발 시 문항별로 ‘지원 증거’를 주석화하여 검색 실패와 생성(추론) 실패를 분리 측정하라. 이는 진단과 개선(검색 튜닝 vs 모델 변경)을 구분하는 데 필수적이다.
- 지역 배포 환경(예: 6GB GPU)에서는 모델 양자화(Q4_K_M 등), 컨텍스트 윈도우(4,096 토큰) 및 실제 컨텍스트 예산(본 논문은 3,500 문자)을 미리 산정해 검색·청크 전략을 하드웨어 제약에 맞게 조정해야 한다.
- 검색 구성요소 비교는 청크화·컨텍스트 예산 등을 고정한 채 정렬 알고리즘만 바꾸어 평가하라. 통계적 유의성(예: 정확한 짝지음 McNemar, Wilson 구간)을 사용해 우위 판단을 내려야 불필요한 복잡화(예: 고비용 dense/하이브리드 도입)를 피할 수 있다.
- 운영·비용 관점에서 모델 선택은 정확도뿐 아니라 지연(latency)과 출력 길이(추론 토큰)도 고려해야 한다. 예: Trendyol는 최고 정확도를 보였으나 평균 응답 시간이 매우 길어 실시간성 요구에는 부적합할 수 있다.
- 거부(Abstention) 성능을 별도로 측정하라. 비지지 정보에 대해 잘못된 답변을 내는 모델은 민감 문서(기밀·규제 준수) 배포에 위험을 초래한다(예: Kocdigital의 낮은 abstention 성능).
근거 범위: 이 분석은 제공된 논문 PDF 본문(페이지 1–6) 텍스트를 기반으로 작성되었으며, 모든 수치와 절차 설명은 본문에 명시된 내용을 그대로 인용했습니다. 표 II의 일부 열 레이블(예: ‘Est. 100 q’ 등)은 원문 표에서 명확히 해석하기 어려워 해당 열을 불명확하다고 표기하고 직접적인 추가 해석은 피했습니다.