비싼 AI는 정말
더 나은 답변을 만들까?
180개의 진짜 같은 육아 질문, 4개의 AI 모델, 7명의 평가자. 실제로 비교해본 결과를 일반인 기준으로 정리.
"비싼 AI를 쓰는 것보다,
싼 AI에 좋은 데이터를 주고
사용자에게 맞는 형식으로 보여주는 것이
더 효율적이다."
🧪 무엇을 실험했나요?
AI에게 같은 육아 고민을 물어봤을 때, 4가지 방법이 답변하는 모습을 비교했습니다.
🔬 어떤 원리로 측정했나요?
각 단계의 측정 방식을 시각화했습니다.
한국어 60건 + 영어 60건 + 베트남어 60건. 일반 양육·한부모·다문화·학령기 등 다양
총 720개 응답 수집 (180 × 4)
총 약 28,000개의 평가 데이터
직접 비교에선 응답 형식의 효과가 명확하게 드러남
👥 평가자 풀 — 페르소나 15명
가상 사용자(LLM이 시뮬레이션) 15명이 자기 시각으로 응답을 평가합니다. 시나리오마다 무작위로 5명 배정 (관련 페르소나 가중치 적용).
📚 RAG 데이터 자산 — 25만 건
"저렴한 AI에게 같이 주는 좋은 데이터"가 무엇인지 — 미리 정리된 한국 육아 상담 사례.
각 상담은 4단 구조로 정리됨: ① 공감 ② 이해 ③ 조언 ④ 격려. 질문이 들어오면 가장 비슷한 사례 2건을 1초 내 검색 → AI에게 함께 전달.
💡 가장 중요한 발견 3가지
비싼 AI라고 사용자가 더 만족하는 건 아니다
객관적인 점수로는 비싼 AI가 더 좋아 보였습니다. 하지만 "이 답을 받고 만족했나요?" 물어보니 차이가 거의 없었습니다.
💬 비유: 미슐랭 별 5개 식당과 별 3개 식당 — 메뉴판 점수는 다르지만, 실제 가서 먹어보면 일반인은 큰 차이를 못 느끼는 것과 비슷.
📋근거 자료 보기▾
| 평가 대상 | 180개 시나리오 × 4개 AI 모델 = 720개 응답 |
| AI 채점 점수 | Opus + Sonnet 두 명의 LLM judge가 각 응답을 4개 축(아이의 마음/대처/이유/부모 마음)으로 1~5점 채점. 360 × 4축 = 1,440 라벨 |
| 사용자 만족도 | 시나리오마다 페르소나 5명 무작위 배정 → 각자 1~5점 만족도 평가. 약 3,600 라벨 |
| Opus 만족도 | 2.48점 |
| RAG+Haiku 만족도 | 2.26점 |
| 갭 | 0.21점 (5점 만점 척도, 통계 노이즈 수준) |
답을 어떻게 보여주느냐가 비싼 AI 쓰는 것만큼 중요하다
긴 답변(1,300자) 한 번에 vs 짧은 공감(200자) + 사용자가 궁금한 것 클릭해서 보기. 같은 AI인데도 형식만 바꾸니 사용자가 더 좋아했습니다.
- • 한 번에 1,300자 — 정보 밀도 높음
- • 끝까지 읽어야 핵심에 도달
- • 모든 사용자에게 같은 길이
- • 평균 응답 6.2초 (대기)
- • 첫 호흡 200자 — 공감만 빨리 도달
- • 궁금한 것만 골라 클릭 (사용자 페이스)
- • 클릭 응답은 RAG에서 직접 추출 (즉시)
- • 첫 응답 1.8초 (체감 빠름)
같은 RAG 데이터, 같은 Haiku 모델, 같은 시나리오 — 단지 응답을 보여주는 형식만 다릅니다. 긴 글을 한 번에 받기보다 "당장 필요한 200자 + 궁금한 것만 골라 클릭"이 실제로 더 만족도가 높았습니다.
💬 비유: 똑같은 100페이지짜리 책을 통째로 주는 것 vs "어느 부분이 궁금하세요?"라고 물어보고 필요한 부분만 펴주는 것의 차이.내용은 같아도 경험은 다릅니다.
📋근거 자료 보기▾
| 비교 방식 | 같은 시나리오에서 두 응답을 나란히 보여주고 "어느 게 더 좋나?" 평가 (Pairwise) |
| 평가자 | Sonnet judge (LLM) |
| 편향 제거 | A/B 위치 50%/50% 랜덤 (위에 있는 응답 선호 편향 제거) |
| vs 같은 AI 풀응답 | 95승 / 0패 / 84 무 = 53.1% 승 |
| vs 중간 AI (Sonnet) | 100승 / 79패 = 55.9% 승 — 7배 비싼 모델 이김 |
| vs 비싼 AI (Opus) | 70승 / 109패 = 39.1% 승 — 34배 비싼 모델은 이기지 못함 |
| 한계 | Sonnet judge가 평가 (진짜 사용자 검증 아님). 운영 단계에서 실 사용자 추가 검증 필요 |
비용 차이는 결정적이다
품질이 비슷하면 결국 비용이 결정합니다. 실제 사용자 1명에게 답변 한 번 줄 때 드는 비용:
💬 비유: 만 명에게 답변하면 비싼 AI는 14만 원, 우리 운영 방식은 4천 원. 같은 일에 35배 차이. 만족도는 거의 같습니다.
📋근거 자료 보기▾
| 비용 측정 | Bedrock API 응답에서 실제 input/output 토큰 수와 모델별 단가 곱한 실측값 |
| Haiku 단가 | $1 / $5 per 1M tokens (input/output) |
| Sonnet 단가 | $3 / $15 per 1M tokens |
| Opus 단가 | $15 / $75 per 1M tokens |
| Opus 1요청 평균 | 145원 (1310 토큰 출력) |
| RAG+Haiku 1요청 | 12.1원 (1347 토큰) |
| Chip+RAG 1요청 | 약 4원 — depth 0 LLM 호출 1번 (200자 출력) + RAG 데이터에서 직접 추출 (LLM 호출 0번) |
| 실 사용자 1만 명 비용 | Opus 1,445,885원 vs Chip+RAG 42,000원 = 약 35배 차이 |
🎯 그래서 보니는 어떻게 답변하나요?
- 1️⃣20만 건의 한국 육아 상담 데이터를 미리 잘 정리해서 저장합니다. (이게 보니의 가장 큰 자산)
- 2️⃣사용자가 질문하면 가장 비슷한 사례를 즉시 찾아냅니다 (1초도 안 걸림).
- 3️⃣저렴한 AI(Haiku)에게 그 사례를 보여주면서, 200자짜리 따뜻한 공감 응답만 만들게 합니다.
- 4️⃣사용자가 "왜 그래?" "어떻게 해?" "전문가 의견은?" 중 골라 클릭하면,이미 저장된 데이터에서 해당 답을 바로 꺼내줍니다 (AI 호출 없음).
이 구조 덕분에 비싼 AI 한 번 쓰는 비용보다 훨씬 저렴하면서, 사용자에게는 맞춤형 호흡으로 답변이 갑니다.
🌏 가장 효과가 큰 곳
저희 데이터는 다문화 가정(베트남·영어권 결혼이민자)과 한부모 가정에 특화되어 있습니다. 이런 시나리오에서 RAG의 효과가 가장 큽니다:
✅ 결론
보니의 답변 품질은 가장 비싼 AI가 아니라,
잘 정리한 데이터 + 사용자 맞춤 형식에서 나옵니다.
그래서 보니는 큰 회사들이 비싼 AI에 의존하는 동안, 같은 품질을 1/35 비용으로 만들어 다문화·한부모 같은꼭 필요한 분들께 부담 없이 제공할 수 있습니다.