RAG + Haiku 운영 검증 실험
20만 건의 한국 육아 상담 데이터를 RAG로 Haiku에 주입하면, Sonnet/Opus 단독 응답 수준을 만들 수 있을까?
📅 2026-05-18🧪 180 시나리오🤖 4 모델⚖️ 2 judge + 페르소나 5
모델별 종합 점수
Haiku noRAG
4.35
Judge 종합 (1~5점)
우수 — 4축 평균 4점대, 보니 운영 수준
만족도
2.19
별로 — 일반론, 부족함 느낌
비용/요청
7.5원
$0.0054
평균 시간
10.6s
출력 토큰
1013
RAG + Haiku
4.59
Judge 종합 (1~5점)
구조 완벽 — 발달 정확성·실행 가능성·이유·공감 모두 강함
만족도
2.26
별로 — 일반론, 부족함 느낌
비용/요청
12.1원
$0.0086
평균 시간
13.9s
출력 토큰
1347
Sonnet noRAG
4.68
Judge 종합 (1~5점)
구조 완벽 — 발달 정확성·실행 가능성·이유·공감 모두 강함
만족도
2.27
별로 — 일반론, 부족함 느낌
비용/요청
30.4원
$0.0217
평균 시간
28.6s
출력 토큰
1380
Opus noRAG
4.87
Judge 종합 (1~5점)
구조 완벽 — 발달 정확성·실행 가능성·이유·공감 모두 강함
만족도
2.48
별로 — 일반론, 부족함 느낌
비용/요청
145원
$0.1033
평균 시간
19.6s
출력 토큰
1310
🎯 핵심 인사이트
RAG 추출 효과+0.24점
Haiku noRAG → RAG+Haiku
작은 차이 · 100명 중 15~25명이 한 등급 차이를 느낌
RAG+Haiku vs Sonnet noRAG-0.09점
작은 모델이 한 단계 위 모델 따라잡았나?
미세 차이 · 100명 중 5~10명만 한 등급 차이를 느낌
Opus 천장과의 갭+0.28점
비용은 Opus가 11.9배 비쌈 (12배 — 큰 비용 격차)
작은 차이 · 100명 중 15~25명이 한 등급 차이를 느낌
비용 vs 점수 (Pareto Frontier)
Judge 점수 = LLM judge가 4축으로 채점한 객관 평가 (1~5점)
만족도 = 페르소나 시뮬레이션이 매긴 사용자 시각 점수 (1~5점)
| 모델 | Judge 점수 | 만족도 | 비용 (KRW / USD) | 속도 |
|---|---|---|---|---|
| Haiku noRAG | 4.35 | 2.19 | 7.5원$0.0054 | 10.6s |
| RAG + Haiku | 4.59 | 2.26 | 12.1원$0.0086 | 13.9s |
| Sonnet noRAG | 4.68 | 2.27 | 30.4원$0.0217 | 28.6s |
| Opus noRAG | 4.87 | 2.48 | 145원$0.1033 | 19.6s |
💡 5점 척도에서 0.1점 차이 = 100명 중 5~10명만 한 등급 차이 인지 / 0.5점 차이 = 약 50명이 한 등급 차이.
가로축 = 1요청당 비용, 세로축 = Judge 종합 점수 (Opus + Sonnet 평균)
🥊 RAG+Haiku vs Opus noRAG (직접 비교)
RAG+Haiku 승률: 26%
RAG+Haiku 우세: 47건
Opus 우세: 132건
Tie: 1건
Total: 180건
🎁 보너스 발견 (자세히는 발견 페이지)
언어별 RAG 가치
ko+0.12
en+0.30
vi+0.31
시나리오 그룹별 RAG 가치
general+0.22
single+0.42
multi+0.16
multi_special+0.11
school+0.32
Judge ↔ 페르소나 일치율
상관계수: NaN
±1점 일치율: 8%
응답 길이 vs 점수
발견 페이지에서 산점도 + 회귀선
⚡ 추가 실험: Chip+RAG 풀 시뮬레이션 →
보니 실 운영(depth 0~3 chip UX) 형식으로 응답을 분해하면 만족도가 어떻게 달라지나? RAG+Haiku 단독, depth 0 LLM 생성 + depth 1~3 RAG 직접 추출.