‹ 차례4장

4장

41,294자를 4,518자로

AI 챗봇, 직접 만들면 월 5,400원 · 7분

챗봇을 만들면 첫 주에 동작한다. 문제는 셋째 달에 온다.

대화가 길어지기 때문이다. LLM은 기억이 없다. 매번 "지금까지 우리가 무슨 이야기를 했는지"를 통째로 다시 알려줘야 다음 말을 할 수 있다. 그래서 대화가 길어질수록 매 턴마다 보내는 짐이 무거워진다.

본론에 들어가기 전에, 2부 전체의 지도를 먼저 놓는다. 답변 한 번에 무엇이 조립되는지의 그림이고, 4장부터 8장까지는 이 그림의 조각을 하나씩 만든 이야기다.

그림 2-0 · 답변 한 번에 무엇이 조립되는가
그림 2-0 · 답변 한 번에 무엇이 조립되는가

이 장은 그 조각 중 대화 요약과 최근 원문을 만든 기록이다. 이 서비스에서 기술적으로 가장 공들인 곳이고, 결과를 한 줄로 쓰면 이렇다.

메시지 144개짜리 대화 · 원문 41,294자
→ 실제로 모델에 보내는 것 4,518자 (11%)

순진한 해법 두 개

이 문제를 만나면 누구나 두 가지 중 하나를 먼저 한다. 나도 그랬고, 둘 다 실패했다.

첫째, 전부 보낸다. 대화 전체를 매번 넣는다. 처음엔 잘 된다. 그런데 세 가지가 동시에 나빠진다.

  • 비용 — 입력 토큰은 보낸 만큼 낸다. 100턴 대화의 100번째 턴은 첫 턴보다 백 배 비싸다.
  • 지연 — 4만 자를 읽고 답을 시작하는 데 걸리는 시간이 그대로 사용자의 대기 시간이 된다.
  • 한계 — 모델마다 넣을 수 있는 최대치가 있고, 넘으면 그냥 실패한다.

특히 첫 번째가 고약하다. 대화가 길어질수록 비용이 선형이 아니라 제곱으로 는다. 매 턴마다 그때까지의 전부를 보내니까, 100턴 대화의 총비용은 1+2+3+…+100에 비례한다.

둘째, 최근 N턴만 보낸다. 가장 흔한 해법이고, 가장 흔한 실패다. 20개만 보내면 그 이전 이야기는 통째로 사라진다. 사용자는 이걸 즉시 알아챈다.

"아까 말했잖아요."

이 한마디가 챗봇을 죽인다. 사람은 AI가 틀리는 건 참아도 자기 말을 잊는 건 못 참는다. 앞에서 이름을 말했는데 뒤에서 다시 물으면, 그 순간 그건 대화가 아니라 창구가 된다.

우리가 쓴 구조

그래서 둘을 합쳤다. 오래된 것은 요약해서 압축하고, 최근 것은 원문 그대로 남긴다.

그림 4-1 · 한 턴에 실제로 들어가는 것
그림 4-1 · 한 턴에 실제로 들어가는 것
[ 메시지 1 ──────── 134 ]  [ 135 ─── 144 ]
       요약이 흡수한 구간        원문 그대로
            ↓                       ↓
         936자                  3,582자
            └─────────┬───────────┘
                모델에 4,518자

이 구조에는 이름이 있다 — 슬라이딩 윈도우 + 증분 요약이다. 최근 대화는 창처럼 뒤로 밀리며 원문을 유지하고, 창 밖으로 나간 것들은 요약에 흡수된다.

핵심은 '증분'⁠에 있다. 요약을 매번 처음부터 다시 만들지 않는다. "몇 번째 메시지까지 이미 요약했는지"⁠를 숫자 하나로 기록해 두고, 그 이후 것만 기존 요약에 합친다. 코드로는 이 한 줄이다.

raw_history = raw_history[until:]   # 워터마크 이후만 원문으로

이 표식이 없으면 대화가 길어질 때마다 요약 비용도 같이 커진다. 짐을 덜려고 만든 장치가 다시 짐이 되는 것이다.

실측 — 가장 긴 대화

우리 서비스에서 가장 긴 대화는 메시지 144개, 주고받은 횟수로는 72번이다. 그 대화 하나를 뜯어보면 이렇다.

글자 수
전체 원문41,294자
요약 (메시지 1~134분)936자
원문 유지 (메시지 135~144, 10개)3,582자
실제 주입4,518자 (원문의 10.9%)

요약 하나만 보면 압축비가 44:1이다. 41,294자가 936자가 됐다.

이 두 숫자를 구분해서 봐야 한다. 44:1은 요약 자체의 압축률이고, 11%는 실제로 모델에 보내는 비율이다. 후자에 요약과 최근 원문이 둘 다 들어 있다.

요약이 있는 다른 대화들도 같이 보면 성격이 드러난다.

메시지원문요약주입 비율
144개41,294자936자11%
70개28,805자951자15%
34개20,269자526자44%
38개2,064자203자58%

대화가 길수록 이득이 커진다. 38개짜리 짧은 대화에서는 58%밖에 못 줄인다. 압축은 길이에 비례해 값을 하고, 짧은 대화에서는 거의 의미가 없다. 이건 결함이 아니라 이 구조의 성질이다.

요약이 잃는 것

압축은 공짜가 아니다. 무엇을 잃는지 정확히 알아야 한다.

요약은 흐름을 남기고 표현을 버린다. "지난주에 아이가 열이 나서 걱정했고, 지금은 나았다"는 남지만, 그때 사용자가 쓴 정확한 단어와 말투는 사라진다. 그래서 우리 요약 프롬프트는 두 가지를 반드시 남기라고 지시한다 — 사실(이름·날짜·수치 같은 것)과 미해결 상태(사용자가 아직 답을 기다리는 것).

그리고 요약은 틀릴 수 있다. 요약도 모델이 하는 일이라 빠뜨리거나 왜곡한다. 그래서 최근 10개를 원문으로 남기는 것이 단순한 성능 타협이 아니다. 가장 최근의 맥락만큼은 요약을 거치지 않게 하는 안전장치다.

이 설계에서 나온 규칙 하나가 있다.

압축은 오래된 것에만 한다. 방금 한 말은 절대 요약하지 않는다.

실패해도 죽지 않는다

이 시스템에는 조용한 설계가 하나 더 들어 있다. 요약이 실패해도 대화는 계속된다.

요약은 사용자 응답이 나간 뒤에 백그라운드로 돈다. 그래서 요약이 실패하면 워터마크가 갱신되지 않을 뿐이고, 그 경우 원문 히스토리가 그대로 남는다. 그리고 그때를 대비해 마지막 방어선이 하나 더 있다.

if len(raw_history) > MAX_HISTORY:      # 20
    raw_history = raw_history[-MAX_HISTORY:]

요약이 정상이면 이 줄은 아무 일도 안 한다(원문이 이미 10~20개니까). 요약이 계속 실패해서 원문이 백 개로 불어나면, 이 줄이 20개로 자른다. 품질은 나빠지지만 서비스는 안 죽는다.

압축 장치는 실패했을 때 원래보다 나빠지지 않아야 한다.

이건 이 책 4부에서 계속 나오는 이야기이기도 하다. 자동화 장치를 붙일 때 물어야 할 첫 질문은 "잘 되면 얼마나 좋은가"가 아니라 "고장 나면 무엇이 남는가"⁠다.

그런데 — 1,418개 중 4개다

여기서 이 장에서 가장 정직해야 할 대목이 나온다.

우리 서비스에는 대화가 1,418개 있다. 그중 요약을 가진 대화는 몇 개일까.

요약 보유 대화   4개 / 1,418개   =  0.3%

넷이다.

나머지 1,414개는 요약이 필요할 만큼 길어지지 않았다. 메시지 30개 미만에서 끝났기 때문이다. 그러니까 나는 1,418개 중 4개를 위해 이 시스템을 만들었다.

이 사실을 알았을 때 잠깐 허탈했다. 그런데 다시 보면 이게 정확히 요점이다.

실패는 평균에서 일어나지 않고 꼬리에서 일어난다. 대화 1,414개는 이 장치가 없어도 잘 돌아간다. 하지만 메시지 144개짜리 그 대화는, 이 장치가 없으면 매 턴 4만 자를 보내거나 앞부분을 통째로 잊는다. 그리고 그 한 사람이 서비스를 가장 열심히 쓴 사람이다.

가장 헤비한 사용자가 가장 먼저 깨진다. 평균 사용자를 기준으로 설계하면, 서비스를 제일 좋아하는 사람이 제일 먼저 나쁜 경험을 한다.

이건 이 책 전체를 관통하는 이야기이기도 하다. 2장의 이미지 비용도 세 명이 만들었고, 그중 한 명이 하루에 134장을 만들었다. 평균은 3장이었다.

비용

이 시스템을 돌리는 데 든 돈은 이렇다.

요약 호출   2회   $0.0024  ≈  3원

넉 달 동안 3원이다. 요약은 메시지 30개에서 한 번, 그 뒤로는 10개마다 한 번만 돌기 때문에 호출 자체가 거의 없다. 그리고 요약을 만드는 데는 가장 싼 등급의 모델을 쓴다 — 요약은 창의성이 필요한 일이 아니기 때문이다.

그 3원이 아끼는 것은, 저 대화에서만 매 턴 3만 7천 자다.

정리하면

  1. 대화가 길어지면 비용이 제곱으로 늘고, 최근 것만 자르면 사용자가 즉시 알아챈다.
  2. 그래서 오래된 것은 요약, 최근 것은 원문으로 나눈다. 경계는 워터마크 숫자 하나로 관리한다.
  3. 원문 41,294자가 4,518자(11%)⁠로 줄었다. 요약 자체는 44:1.
  4. 짧은 대화에서는 이득이 거의 없다. 압축은 길이에 비례해 값을 한다.
  5. 요약이 실패해도 서비스는 안 죽는다. 고장 나면 무엇이 남는가를 먼저 정했기 때문이다.
  6. 이 장치는 1,418개 중 4개를 위한 것이고, 그 4개가 가장 중요한 대화다.

다음 장에서는 이 시스템의 손잡이들을 뜯는다. 왜 30에서 시작하고, 왜 10을 남기고, 왜 10마다 도는가. 이 세 숫자는 감으로 정한 것이 아니다.