⚡ Chip+RAG 풀 시뮬레이션
보니 실 운영의 depth 0~3 chip UX 구조로 응답을 분해했을 때 만족도가 어떻게 달라지는가? RAG+Haiku만 사용 (depth 0 LLM 생성, depth 1~3 RAG step 직접 추출).
🎯 가설
풀 응답(평균 1,300 토큰)은 객관 점수 4.59지만 만족도 2.49로 큰 갭. Chip UX로 분해하면 첫 호흡(공감 200자) + 사용자 페이스로 진행 → 만족도 ↑ 가능.
💬 형식 비교 — 같은 시나리오, 두 채팅창
실제 사용자가 받는 화면을 그대로 재현했습니다. 같은 RAG 데이터·같은 Haiku 모델인데 형식만 풀텍스트(좌) ↔ Chip UX(우)로 다릅니다. 우측의 chip 버튼을 직접 눌러보세요.
- • 한 번에 1,300자 — 정보 밀도 높음
- • 끝까지 읽어야 핵심에 도달
- • 모든 사용자에게 같은 길이
- • 평균 응답 6.2초 (대기)
- • 첫 호흡 200자 — 공감만 빨리 도달
- • 궁금한 것만 골라 클릭 (사용자 페이스)
- • 클릭 응답은 RAG에서 직접 추출 (즉시)
- • 첫 응답 1.8초 (체감 빠름)
같은 RAG 데이터, 같은 Haiku 모델, 같은 시나리오 — 단지 응답을 보여주는 형식만 다릅니다. 긴 글을 한 번에 받기보다 "당장 필요한 200자 + 궁금한 것만 골라 클릭"이 실제로 더 만족도가 높았습니다.
📐 점수 어떻게 읽나요?
- • 1점 = 답답함
- • 2점 = 별로
- • 3점 = 보통
- • 4점 = 좋다, 도움됨
- • 5점 = 매우 좋다, 다시 쓰고 싶다
- • 0.05점: 통계 노이즈 (체감 불가)
- • 0.10~0.15점: 100명 중 5~10명만 한 등급 차이 인지
- • 0.30점: 100명 중 15~25명이 한 등급 차이
- • 0.50점: 100명 중 25~40명이 한 등급 차이 (의미 있음)
- • 0.80점+: 절반 이상이 한 등급 위로 평가
* 만족도 vs 퀄리티는 모두 페르소나 평가 기준 (직접 비교 가능). Judge 점수는 LLM judge가 매긴 객관 평가 (참고용).
풀응답 vs Chip+RAG (RAG+Haiku 동일 모델, 페르소나 평가 통일)
🔥 5-way 비교: 풀응답 4모델 vs Chip+RAG (Haiku)
"비싼 모델이 아니라 응답 구조가 사용자 만족을 결정하는가?" Chip+RAG (Haiku, $0.003/요청)가 풀응답 Opus($0.103, 12배 비쌈)를 사용자 만족도에서 따라잡는가?
📊 만족도 차이 한눈에 보기 — 어떤 의미인가?
💡 5점 척도 만족도 차이 해석:
• 0.05~0.15점: 100명 중 5~15명만 한 등급 차이 인지 (체감 어려움)
• 0.30점: 100명 중 25명이 한 등급 위로 평가
• 0.50점+: 절반 가까이가 한 등급 위 (의미 있는 차이)
* 만족도 + 퀄리티는 모두 페르소나 평가 기준으로 통일 (1~5점, 동일 평가자라 직접 비교 가능). Judge 점수는 LLM judge가 매긴 객관 지표(참고용).
| 순위 | 형식 / 모델 | 만족도 | 퀄리티 (페르소나) | Judge (참고) | 비용/요청 | 비용 비율 |
|---|---|---|---|---|---|---|
| #1 | Opus noRAG(풀응답) | 2.48 | 3.35 | 4.87 | 145원 $0.1033 | 34.4x |
| #2 | ⚡ Chip+RAG (Haiku)(Chip) | 2.31 | 2.28 | — | 4.2원 $0.0030 | 1.0x |
| #3 | Sonnet noRAG(풀응답) | 2.27 | 3.09 | 4.68 | 30.4원 $0.0217 | 7.2x |
| #4 | 풀응답 RAG+Haiku(풀응답) | 2.26 | 3.09 | 4.59 | 12.1원 $0.0086 | 2.9x |
| #5 | Haiku noRAG(풀응답) | 2.19 | 2.93 | 4.35 | 7.5원 $0.0054 | 1.8x |
💡 핵심 발견
Chip+RAG가 풀응답 Opus 만족도(2.48)에 못 미침(2.31). 차이 0.16점, 비용 34.4배 차이.
🥊 Pairwise — 응답 형식 직접 비교
📖 이 비교는 무엇인가?
같은 시나리오 질문에서 두 응답을 나란히 보여주고, "사용자(부모) 시각에서 어느 게 더 좋은가?"를 LLM judge가 평가.
핵심: 모델이 다른 게 아니라 응답 형식이 다름. 특히 "vs 풀 RAG+Haiku"는 같은 모델 + 같은 RAG 사례인데 오직 형식만 다른 비교 — 순수한 UX 효과 측정.
평가 기준: 처음 받았을 때 부담감 / 핵심 정보 도달성 / "다시 쓰고 싶다"는 정도.
위치 편향 제거: A/B 위치를 50%/50% 랜덤화 — judge가 "위에 있는 게 좋다" 편향 가질 수 없음.
한계: Sonnet judge가 평가 (진짜 사용자 검증 아님). 운영 단계에서 별도 검증 필요.
📂 시나리오 그룹별 만족도 — 5-way 비교
일반 양육 / 한부모 / 다문화 / 다문화특수 / 학령기 시나리오에서 풀응답 4모델 vs Chip+RAG 만족도 차이. "Chip+RAG의 효과가 어떤 시나리오에서 더 큰가?"
👶 일반 양육 (sleep/feeding/tantrum/social) (n=445)
🏡 한부모 가정 (n=150)
🌏 다문화 가정 (n=150)
🔥 다문화 특수 (시댁갈등 등) (n=75)
🎒 학령기·사춘기 (n=75)
📊 시나리오 그룹별 Chip+RAG 만족도 차이
🌐 언어별 만족도 — 5-way 비교
한국어/영어/베트남어 각 언어에서 풀응답 4모델 vs Chip+RAG 만족도 차이. "Chip+RAG의 효과가 어느 언어에서 더 큰가?"
🇰🇷 한국어 (n=300)
🇺🇸 영어 (n=300)
🇻🇳 베트남어 (n=295)
📊 언어별 Chip+RAG 만족도 차이
페르소나 15명 만족도
응답 샘플
시나리오를 클릭하면 chip 흐름(depth 0~3) 전체를 볼 수 있습니다.
Newborn hourly waking
매 시간마다 깨는 아기, 밤새 깨어있는 당신의 피로감이 정말 클 거예요. 혼자서 이 고단함을 감당하고 있다니요. 그 지쳐있는 마음, 충분히 타당...
Hard to fall asleep
한 시간을 기다리며 아기를 달래는 것, 정말 지치시겠어요. 당신이 하는 모든 노력이 잠깐 잠깐만 통하는 것처럼 느껴질 때의 그 답답함과 피로, ...
8mo regression
8개월 수면 퇴행은 정말 힘들어요. 지금까지 구축한 루틴이 한순간에 무너지는 것 같고, 밤새 깨어있는 부모의 피로는 말로 다할 수 없을 거예요....
Nap refusal
낮잠 거부는 부모에게 정말 힘든 순간이네요. 하루를 계획할 수 없는 답답함, 아이가 피곤해 보이는데도 자지 않는 불안감—모두 자연스러운 감정입니...
Night fears
혼자 자려는 것이 두렵다는 걸 아이가 자꾸 신호 보낼 때, 부모님도 함께 불안해지시는 거 자연스러워요. 특히 낯선 환경인 한국에서 아이와 둘이 ...
Bedwetting
밤 오줌은 아이 통제력 밖의 일이라는 걸 알면서도, 자꾸 마음이 쓰이시겠네요. 그 불안감과 '혹시 뭔가 놓친 게 있나' 하는 마음, 정말 자연스...
Nightmares
밤중에 아이 비명 소리로 깨어나는 그 심장철렁함, 정말 힘드시겠어요. 아이가 왜 그러는지 모르는 무력감까지 더해지면 부모도 함께 지쳐요....
Late bedtime
11시까지 깨어있는 아이를 매일 밤 씨름하시는 거군요. 당신의 피로감과 답답함이 얼마나 클지 충분히 느껴집니다. 이 상황이 얼마나 지쳐있는지, ...
Spitting up
신생아 키우면서 매번 토하는 모습을 보는 것만으로도 얼마나 불안하겠어요. 혼자서 판단하고 결정해야 하는 상황이 더 무겁게 느껴질 것 같습니다....
Solids refusal
7개월이면 이제 음식을 받아들여야 한다는 압박감, 정말 크죠. 아기가 거부할 때 그 답답함과 '뭔가 잘못된 건 아닐까' 하는 불안감, 충분히 이...
No vegetables
채소를 거부하는 아이를 보는 것, 정말 답답하고 힘드시겠네요. 특히 한국 문화에서 밥상 기준이 높을 때는 더 그럴 거예요. 그 거부의 표정과 몸...
Wont sit
식탁에 앉혀놓는 것 자체가 매번 싸움이 되는 거, 정말 지치시겠어요. 밥 먹이려고 앉혔는데 30초 만에 일어나고, 당신이 뭔가 잘못했나 싶고.....
Snacks only
Mealtimes can feel really stressful when your child keeps rejecting food you've ...
Overeating
음식을 많이 먹는 아이를 보며 걱정하는 마음, 정말 이해됩니다. 특히 한국과 다른 문화에서 자라난 아이라면 '얼마나 먹는 게 맞는지' 판단하기가...
Slow eating
한 끼에 1시간이 걸리니 정말 힘드시겠네요. 매일 반복되는 식사 시간이 스트레스가 될 수 있다는 거 충분히 이해합니다. 혼자가 아니에요....
Public meltdown
슈퍼마켓에서의 그 순간, 정말 힘들겠어요. 모든 시선이 쏠리는 느낌, 아이를 어떻게 진정시켜야 할지 모르는 불안감—그 혼란스러움이 충분히 이해됩...
Hitting biting
그런 순간들이 정말 힘들겠네요. 아이가 다른 아이들을 때리고 물 때마다 당신도 함께 상처받는 기분이 들 거예요. 특히 보육시설에서 연락이 오는 ...
Head banging
머리를 바닥에 부딪히는 행동을 보니 정말 놀랍고 걱정되시겠네요. 그 순간이 얼마나 무섭고 답답한지 충분히 이해합니다. 혼자가 아니에요....
Throwing
3살 아이가 화날 때 장난감을 던지는 모습, 정말 마음 졸이시겠네요. 그 순간이 얼마나 답답하고 걱정되는지 충분히 느껴집니다. 부모님 감정도 흔...
Hitting mom
화낼 때 손이 나가는 아이를 보면 정말 당황스럽고 상처받죠. '내가 뭘 잘못했나' 싶기도 하고요. 그 순간의 무기력함과 답답함, 충분히 느껴집니...
Public screaming
공공장소에서의 갑작스러운 비명은 정말 당황스럽고 힘들겠네요. 주변 시선까지 느껴지면서 혼자 남겨진 것 같은 기분이 드실 거예요. 그 순간의 무력...
Self harm
손을 깨물 때마다 '혹시 뭔가 심각한 건 아닐까' 걱정되시죠. 그런데 지금 이 순간의 불안감은 완전히 자연스러운 거예요. 아이가 자신의 감정을 ...
Lying
다섯 살 아이가 자꾸 거짓말할 때, 부모님 마음이 정말 혼란스럽고 답답하실 거예요. '혹시 내가 뭘 놓쳤나' 하는 걱정도 들고요. 그런 감정, ...
Daycare cry
그 울음소리, 정말 마음 아프겠네요. 매일 아침 반복되는 그 장면이 당신 하루를 무겁게 시작하게 만드는 것 같아요. 그런 당신의 마음이 완전히 ...
No friends
그 마음 정말 잘 알겠습니다. 아이가 혼자 놀고 돌아오는 모습을 보는 건 부모 마음에 얼마나 무거운지요. 아직 친구관계가 형성되지 않았다는 게 ...
Extreme shyness
그 모습이 얼마나 답답하고 마음 아픈지 알 것 같아요. 낯선 사람만 나타나면 쏙 들어오는 아이, 부모님도 함께 그 불안감을 느껴지실 거예요....
No sharing
다섯 살 아이가 장난감을 나누지 않으려 할 때 그 답답함과 걱정, 충분히 느껴집니다. 혹시 다른 아이들은 잘하는데 우리 아이만 그런 건 아닐까 ...
Sibling jealousy
새 아기가 생기면서 첫째가 느끼는 그 복잡한 감정들—사랑과 질투, 관심 빼앗김과 혼란이 한 번에 밀려오는 거죠. 당신이 그걸 눈여겨본 것만으로도...
Separation anxiety
아이가 당신을 잃을까봐 무서워하는 모습, 정말 마음이 아프실 거예요. 그 울음소리를 남기고 떠나야 할 때의 죄책감과 불안감, 충분히 느껴집니다....
Bullied at school
아이가 맞는다고 말할 때 그 말을 듣는 부모의 마음은 정말 무겁겠네요. 무슨 일이 있었는지 정확히 알 수 없는 상황에서 아이를 보호하고 싶은 마...