arxiv-wiki

Geometry of Confabulation and Refusal in Small Language Models

게시일: 2026-11-03
arXiv: 2611.01272v1 · PDF
저자: Vladimir Kazei
분야: cs.LG, cs.CL
선정 점수: 5.29
선정 이유: 최근성 0.5, 인용 영향 0.0 (인용 0회), 저자 영향 0.0 (최고 h-index 0), AI 주제 적합성 1.5, 개발자 관심 0.2, 학술 신호 0.6, 오픈 웨이트·주요 연구조직 신호 2.5

← 2026-11-03 목록으로 돌아가기

주요 Figure

원문 PDF에서 실제 Figure 캡션과 그림 영역이 함께 확인된 자료만 자동 추출했다.

Figure 1: Two recoveries of “the” refusal direction (layer-28 refusal+wrong states, n = 549; stars: class centroids; dashed

Figure · 원문 PDF 2쪽 · Figure 1: Two recoveries of “the” refusal direction (layer-28 refusal+wrong states, n = 549; stars: class centroids; dashed

Figure 2: Per-layer probe accuracy for all five targets on Qwen3-1.7B (ConfabQA). Solid lines: probe accuracy per layer;

Figure · 원문 PDF 6쪽 · Figure 2: Per-layer probe accuracy for all five targets on Qwen3-1.7B (ConfabQA). Solid lines: probe accuracy per layer;

Figure 3: The geometry of the six refusal-direction candidates. (a) Pairwise cosines split the recoveries into two families:

Figure · 원문 PDF 10쪽 · Figure 3: The geometry of the six refusal-direction candidates. (a) Pairwise cosines split the recoveries into two families:

한 문장 요약

사전 생성(첫 토큰 전) 은닉 상태의 기하(선형 프로브, SAE, 직접 최적화)를 분석해 소형 언어모델의 ‘거절(refusal)’과 ‘날조(confabulation)’를 구분하고, 복수의 회복(프로브·사전학습 SAE 피처·출력-목적 최적화)에서 얻은 방향으로 은닉 상태를 조작해 날조를 거절로 전환 가능한지 실험적으로 입증함.

해결하려는 문제

기존 탐구들(probing)은 모델 응답의 정답성(correctness)을 은닉 상태가 ‘알고 있음’을 나타낸다고 해석했으나(높은 프로브 정확도), 실제로는 프롬프트(질문 텍스트)나 지식 컷오프 신호와 혼동될 수 있다. 소형 언어모델(SLM)이 답을 모를 때 ‘거절’할지 ‘자신있게 잘못 답(=confabulation)’할지의 선택이 사전 생성(prefill) 은닉 상태에 기록되는지, 그 결정을 선형적(한 방향)으로 조작해 confabulation을 refusal로 바꿀 수 있는지 불확실했다. 따라서 (1) 프롬프트 특징과 은닉 상태 신호를 분리하는 제어가 필요하고, (2) 거절/날조 결정의 기하학(정렬된 방향, SAE 피처, 토큰-렌즈 등)을 규명하고, (3) 조작의 인과효과를 실험적으로 검증하는 것이 문제이다.

핵심 기여

ConfabQA라는 4도메인×3카테고리(well-known pre-cutoff, obscure pre-cutoff, post-cutoff) 784문항 벤치마크를 제안해 cutoff/correctness 혼동을 분리함.
프롬프트-특징(텍스트 기반 여러 베이스라인) 대비 은닉상태 선형 프로브의 ‘마진(hadds)’을 평가하는 파이프라인을 제시해 은닉 상태의 기여도를 분리 측정함 (StandardScaler->PCA(16)->LogisticRegression, 5-fold CV).
선형 프로브, Qwen-Scope SAE(TopK sparse autoencoder), 그리고 출력-목적 직접 최적화로 ‘refusal 방향’을 복수 방식으로 회복하고, 각 회복이 서로 각도(50–81°)가 큰 서로 다른 벡터임에도 불구하고 적정 크기(상태 규범 이내)로 밀면 대부분의 confabulation이 첫 토큰 수준에서 refusal opener로 바뀐다는 인과적 결과를 보임.
Qwen3-1.7B, Gemma 2 2B, Llama 3.2 3B에서 실험하여 모델마다 거절/정확성 신호의 존재와 일반화 가능성이 다름을 규명함(예: Llama는 정답성 신호가 크고 포터블함).
거절 방향의 SAE 분해와 토큰-렌즈 분석을 통해 거절은 ‘정중한(hedging) 개시구문’(예: “As…”, 여러 언어 변형)으로 표현되며, confabulation은 사전 사전적(딕셔너리) 피처로 응축되지 않음을 보였음.

접근 방법

아키텍처: 디코더 전용 causal-transformer SLM들(Qwen3-1.7B: 28블록, d=2048; Gemma 2 2B; Llama 3.2 3B).
주요 절차: (1) Generation은 greedy(decoding)로 고정; ‘prefill’ 단계(아직 토큰 생성 전)에서 각 레이어의 마지막 위치 은닉 상태 h_T^{(ℓ)} (L+1, d) 를 캡처한다.
(2) 선형 프로브: 각 레이어별로 StandardScaler -> PCA(n_components=16) -> LogisticRegression(max_iter=2000, C=1.0) 를 5-fold stratified CV로 학습해 다양한 타깃(정답/컷오프/거절vs잘못 등)을 판별한다.
(3) 프롬프트-특징 베이스라인: TF-IDF, 텍스트 엔지니어드 피처, domain, category를 포함한 네 단계의 베이스라인을 동일한 교차검증 폴드에서 학습해 프로브가 프롬프트 신호만을 읽는지를 통제한다.
(4) SAE(TopK sparse autoencoder; qwenscope-3-1.7b-base-w32k-l50)를 포스트-블록-27 잔차 훅에서 적용해 은닉 상태를 32,768 피처 후보 중 L0=50 활성으로 해석하고, 거절 방향을 관련 피처들의 선형 결합(디코더 방향)으로 분해한다.
(5) 직접 개입(인터벤션): 마지막 프롬프트 토큰의 residual/post-block-27 잔차에 unit-normalized 회복 방향 ŵ를 α 배만큼 추가(단일 시점의 one-shot)하여 출력 변화를 관찰한다.
α는 모델별 상태 규범(∥har∥) 대비 비율로 조정(실험 범위: 약 0.3×에서 2×, 및 더 큰 수치).
(6) 출력-토큰 렌즈: 프로브 가중치를 역프로젝션해 LM 헤드와 RMSNorm을 거쳐 어떤 토큰들이 해당 방향에 의해 높아지는지(예: “as” 계열)를 산출한다.
(7) 직접최적화: opener(거절 개시자) 확률을 최대화하는 방향을 벡터 매개변수로 직접 최적화하여 또 다른 회복을 얻음.
(8) 평가·검증: 같은 모델(주로 Qwen3)의 자체 judge(구조화된 prompt)를 사용해 생성물을 correct/refusal/wrong으로 라벨링하고, Claude/DR(외부 LLM) 샘플 재등급으로 교차검증함.
부트스트랩: K=30 균형 서브샘플(50/50 클래스)으로 hadds(프로브 피크 − 강한 프롬프트 베이스라인)를 재측정해 안정성 점검.

주요 결과

데이터/모델: ConfabQA(n=784, 4도메인×3카테고리)와 PopQA/TriviaQA(각 800 샘플)에서 Qwen3-1.7B, Gemma 2 2B, Llama 3.2 3B(및 Qwen3-4B 스케일링 대조)를 실험함. 전체 정확도는 세 모델 모두 약 30–32% 수준.
Refusal-vs-confabulation probe 마진(프롬프트 특성 대비 hadds, ConfabQA): Qwen3-1.7B +7.4 percentage points(pp) (TF-IDF 대비), Gemma 2 2B +16.3 pp, Llama 3.2 3B +2.2 pp(ConfabQA 상에서 접혔다고 해석).(본문 Table 7, Table 16)
퍼지성·토큰 렌즈: Qwen의 refusal 방향 렌즈 상위 토큰은 모두 ‘as’ 계열(다국어 변형 포함)로, 방향은 거절 개시 토큰의 기여를 직접 읽음(섹션 6.1, Appendix D.4). 반대로 confabulation 쪽은 집중된 토큰 서명이 없음.
인과적 개입(한 번의 은닉 상태 푸시, Qwen3-1.7B Table 1): 부호(+방향)로 밀면 WRONG 항목의 첫-토큰 opener rate가 α≈0.9×에서 97%→100%로 치솟고(α 비율은 평균 상태 규범 대비), 엄격한 판정(재판정 judged REFUSAL)은 약 30% 수준으로 완성됨(즉 많은 오프너가 실제 최종 거절로 완결되지 않음). 반대로 음의 푸시는 기존 REFUSAL들을 대부분(confabulation으로) 전환시키지만, 원래 CORRECT 예시는 대체로 유지됨(방향이 ‘개시 행위’를 게이트함).
SAE 분해: SAE로 분해된 거절 방향은 여러 ‘register’ 피처(예: opener 2191, hedge 4314, officialese 17077 등)로 구성되고, 그중 피처 2191의 디코더 벡터는 α≈750(≈0.46× 상태 규범)에서 30/30의 next-token argmax를 거절 opener로 전환하는 강력한 인과적 손잡이로 검증됨. 직접 최적화로 얻은 방향과 2191은 서로 유사(코사인 ≈0.64)하고, 프로브 회복은 분류 성능은 좋지만 가장 인과적 효능은 낮음(세 방법의 인과 강도 순: 최적화 > SAE 피처 > 프로브).(섹션 6.3.1, Appendix C)」「교차-데이터/교차-모델 이식성: Llama 3.2 3B는 PopQA/TriviaQA에서 프롬프트베이스라인 대비 +21–+25 pp의 correctness margin을 회복했고(부트스트랩, Table 17 및 Figure 16), 학습된 프로브를 재학습 없이 다른 데이터로 옮겼을 때 평균 약 81%의 마진 보존을 보였음(Table 18). 반면 Qwen과 Gemma의 프로브 마진은 타 데이터로의 이식시 붕괴됨.」「거절 정책 차이: post-cutoff 실패 사례에서 거절 비율은 Qwen 37.4% (ConfabQA), Gemma 55.2%, Llama 97.5%로 모델별로 행동 정책이 크게 달라짐(Section 7.1, Table 16).

한계

저자 명시 한계: (1) Qwen3에선 푸시가 첫-토큰 수준에서 거의 100% opener를 만들지만 엄격한 판정상 judged-refusal 완성률은 약 30%로 낮아, 개시 토큰이 반드시 거절 완결로 이어지지 않음—이를 개선하는 메커니즘은 후속 연구에 남김. (2) SAE 기반의 피처 해석은 하나의 사전(dictionary)과 한 훅(hook)에서의 탐색 결과로 범위가 제한되며, 사전이 없는 것을 ‘없음의 증거’로 일반화할 수는 없음(논문에서 명시적 스코핑). (3) 부트스트랩 절차는 K=30 균형 서브샘플에 의존하므로 세부 셀(특히 소표본)에서 불확실성이 큼(저자도 ‘range’라 표기). (4) 일부 ConfabQA 항목(특히 post-cutoff)은 검증되지 않은 소스가 섞여 있음(384 verified vs 400 unverified).
추정(본문에서 합리적으로 확인되는) 한계: (5) 판단자(label) 대부분이 Qwen3의 자체 판정으로 이루어져 있어(다만 Claude/DR로 교차검증 일부 수행), 모델-종속 라벨링 편향 가능성 존재. (6) 개입은 프리필의 말단 레이어(주로 post-block-27/마지막 블록)에서 ‘한 번’ 이루어졌고, 상류 층(early layers)이나 다중-토큰 연속적 조작을 건드리지 않아 전체 회로망 동역학을 완전히 설명하지 못함. (7) 개입의 작동 범위(α)는 모델별 상태 스케일 및 오프-매니폴드 민감성에 따라 크게 달라져 초규범(super-norm)에서는 병리적 동작 가능성 있음(논문에서 관찰). (8) 모든 결론은 실험된 세 모델/설정(1.7–3B, 특정 포스트-트레이닝 레시피)에 기반하므로 대형 모델이나 다른 포스트-트레이닝 파이프라인으로 일반화는 제한적이다.

개발자 관점

재현성/데이터: 저자는 코드·데이터·벤치(ConfabQA) 공개(레포: github.com/vkazei/confabqa). 재현하려면 동일 모델 체크포인트(또는 접근 가능한 API), SAE(qwenscope) 및 동일한 judge 프롬프트/판정 규칙을 확보해야 함.
은닉 상태 캡처: prefill(생성 전) 각 레이어의 마지막 위치 상태를 캡처(특히 post-block-27 잔차와 최종 normed state 둘 다 필요). 프로브 파이프라인은 StandardScaler→PCA(16)→LogisticRegression(5-fold CV, random_state=0)를 권장. PCA·스케일러는 훈련-폴드 내에서만 적합해야 함(누수 주의).
인터벤션 구현: 훅 시점과 벡터의 스케일(α)을 모델별 상태 규범 대비 비율로 정의해야 함(논문은 ∥har∥≈1640 등으로 정규화). 단일-시점(원-샷) 잔차 추가가 충분한 경우가 많지만, 결과는 α에 민감하므로 서브-노름(~0.3×–1×)부터 스윕하길 권장. 초규범(>1×)에서는 오프-매니폴드 병리와 비특이적 효과(크기효과) 발생 가능.
SAE·피처 사용: SAE(TopK)로 복원된 피처(예: 2191)가 보다 dose-efficient한 인과적 손잡이가 될 수 있음. SAE 인코더가 비선형(TopK)이므로 h->a 매핑은 스케일 의존적이며, 같은 방향이라도 서로 다른 활성 피처를 유도할 수 있다. 제품화 시 피처 기업(디코더) 단위로 안전검토 필요.
판정·평가: 판정자(self-judge) 사용 시 모델-종속 편향을 경계하고 외부/인간 재평가 또는 다른 LLM 판정자(Claude, Gemini DR)를 병행 검증하라. 또 프롬프트 기반 베이스라인(TF-IDF 등)을 반드시 비교하여 은닉 상태 기여도를 분리하라.」「비용·실행환경: 실험은 1.7–4B급 모델을 MPS(Apple Silicon) bfloat16에서 수행 가능(논문은 16GB unified memory로 실행). SAE 훈련·대규모 부트스트랩은 더 많은 자원 필요. 작은 모델에서 실험 재현은 비교적 저비용이나, 대규모 다중 리핏(29-layer×5-fold×K=30)은 계산비용이 중간 정도로 높음.」「안전·배포: 은닉 상태 조작으로 거절 개시를 강제할 수 있으므로(응용: 안전-거절 강화), 시스템 설계 시 의도치 않은 거절·우회·비일관성 발생 가능성 점검 필요. 반대로 부정확한 지식을 숨기게 하거나(거절로 전환) 특정 출력을 억제할 수 있으므로 남용 위험과 책임 소재를 고려하라.

근거 범위: 이 분석은 사용자 제공 논문 PDF 본문(제공된 페이지와 부록 포함)을 기반으로 작성되었다. 본문과 부록의 수치·테이블(예: Table 1, Table 7, Table 16, Table 17, Appendix C/D 등)을 직접 인용·요약했으며, PDF 텍스트의 반복·부분 중복을 정리했다. 논문이 참조하는 외부 코드·데이터(레포지토리)나 모델 체크포인트 접근성, 또는 저자 재현 스크립트의 런타임 세부(하드웨어 종속 동작)는 PDF만으로 완전 검증할 수 없어 해당 항목은 본문 명시대로 기술하였고, 접근 가능성·환경에 따라 재현 결과가 달라질 수 있다.

This site is open source. Improve this page.