🎁 보너스 발견 4개
📐 점수 차이 어떻게 읽나요?
- • 0.05점: 통계 노이즈 수준 — 100명 중 거의 모두 같은 평가
- • 0.10~0.15점: 미세 — 100명 중 5~10명만 한 등급 차이 느낌
- • 0.30점: 작은 차이 — 100명 중 15~25명이 한 등급 위로 평가
- • 0.50점: 의미 있는 차이 — 100명 중 25~40명이 한 등급 차이
- • 0.80점 이상: 큰 차이 — 절반 이상이 한 등급 위로 평가
1️⃣ 언어별 RAG 가치 차이
Haiku noRAG → RAG+Haiku 점수 상승폭. 한국어는 모델 자체 학습이 충실해서 RAG 가치 작고, 다국어(EN/VI)는 한국 문화 특수성 매핑에 RAG가 결정적.
| 언어 | Haiku noRAG | RAG+Haiku | ΔScore | |
|---|---|---|---|---|
| ko | 4.34 | 4.46 | +0.12 미세 차이 | |
| en | 4.35 | 4.65 | +0.30 작은 차이 | |
| vi | 4.36 | 4.67 | +0.31 의미 있는 차이 |
2️⃣ 시나리오 그룹별 RAG 효과
일반 양육 시나리오보다 한부모/다문화 특수 시나리오에서 RAG 가치가 더 큰가?
| 시나리오 그룹 | Haiku noRAG | RAG+Haiku | ΔScore | |
|---|---|---|---|---|
| 일반 | 4.58 | 4.80 | +0.22 | |
| 한부모 | 4.18 | 4.60 | +0.42 | |
| 다문화 | 4.05 | 4.21 | +0.16 | |
| 다문화 특수 | 3.77 | 3.88 | +0.11 | |
| 학령기 | 4.49 | 4.81 | +0.32 |
3️⃣ Judge vs 페르소나 일치율
LLM judge가 객관적으로 매긴 점수와, 페르소나 시각의 점수가 얼마나 일치하나? 갭이 크면 "객관 점수가 사용자 만족과 다르다"는 신호.
Pearson 상관계수
NaN
±1점 일치율
8%
4️⃣ 응답 길이 vs 점수
긴 응답이 더 좋은 응답인가? 변곡점이 어디인가? 토큰 구간별 평균 점수.
| 토큰 구간 | 샘플 수 | 평균 점수 | |
|---|---|---|---|
| 0-500 | 23 | 3.86 | |
| 500-800 | 123 | 4.51 | |
| 800-1200 | 169 | 4.53 | |
| 1200-1600 | 218 | 4.71 | |
| 1600-2000 | 140 | 4.77 | |
| 2000-2500 | 47 | 4.84 |
n=총 720 평가 (4 모델 × 180 시나리오 = 720 응답 / Judge 평균)