‹ 차례부록 A

부록 A

대화 히스토리 설계 파라미터

AI 챗봇, 직접 만들면 월 5,400원 · 4분

4·5장에서 다룬 값들을 한 자리에 모았다. 그대로 복사해 쓰고, 아래 기준으로 조정한다.

값

# 요약 서비스
SUMMARY_TRIGGER     = 30   # 메시지 30개부터 요약 시작
SUMMARY_KEEP_RECENT = 10   # 요약 후 최근 10개는 원문으로 유지
SUMMARY_RUN_EVERY   = 10   # 마지막 요약 이후 +10개 쌓이면 재요약

# 주입 시점
MAX_HISTORY         = 20   # 원문 히스토리의 마지막 방어선

게이트 세 개

요약 함수가 가장 먼저 하는 일은 요약하지 않기로 결정하는 것이다.

if total < SUMMARY_TRIGGER:              return False   # ① 아직 짧다
target_end = total - SUMMARY_KEEP_RECENT
if target_end <= until:                  return False   # ② 새로 요약할 게 없다
if (target_end - until) < RUN_EVERY:     return False   # ③ 변동이 작다

until = 워터마크. 몇 번째 메시지까지 이미 요약했는지를 적어둔 숫자다.

주입할 때는 이 워터마크 이후만 원문으로 쓰고, 그 다음에 캡을 씌운다.

raw_history = raw_history[until:]          # 워터마크 이후만
if len(raw_history) > MAX_HISTORY:         # 요약이 밀렸을 때만 작동
    raw_history = raw_history[-MAX_HISTORY:]

이 값들이 만드는 리듬

메시지 총수target_enduntil판정원문 유지
28—0① 걸림28개
30200실행 → until=2010개
352520③ 걸림15개
403020실행 → until=3010개
453530③ 걸림15개
504030실행 → until=4010개

요약은 10개마다 한 번 돌고, 원문 유지분은 10~20을 오간다. MAX_HISTORY=20이 정확히 그 대역의 천장이다.

조정 기준

값무엇으로 정하나올리면내리면
TRIGGER요약 없이 전부 넣어도 감당되는 최대 길이요약이 늦게 시작짧은 대화에도 요약이 돌아 손해
KEEP_RECENT요약이 완전히 틀려도 대화가 이어질 최소 원문안전하지만 압축 이득 감소요약 실패가 곧 "아까 말했잖아요"
RUN_EVERY대개 KEEP_RECENT와 같게재요약 비용↓, 원문 상한↑재요약이 잦아짐
MAX_HISTORY정상 대역의 천장과 같게고장을 못 잡는다정상 동작을 방해한다

세 숫자는 따로 노는 손잡이가 아니라 하나의 리듬을 만드는 톱니다. RUN_EVERY를 30으로 올리면 원문이 10~40을 오가므로 MAX_HISTORY도 40으로 올려야 한다.

하한 권장 — KEEP_RECENT는 5 아래로 내리지 않는다. 주고받는 횟수로 두세 번은 원문으로 남아야 대화가 이어진다.

실측 참고값

우리 서비스에서 잰 값이다. 서비스 성격이 다르면 다르게 나온다.

대화 1,418개 중 요약 보유       4개 (0.3%)   ← TRIGGER 가 99.7% 를 거른다
가장 긴 대화                    메시지 144개
  원문                          41,294자
  요약                             936자     (압축비 44:1)
  원문 유지                      3,582자     (메시지 135~144)
  실제 주입                      4,518자     (원문의 11%)
요약 호출 (넉 달)               2회 · 약 3원

짧은 대화에서는 이득이 거의 없다. 메시지 38개짜리는 58%밖에 안 줄어든다. 압축은 길이에 비례해 값을 한다.

함께 지킬 규칙

  • 압축은 오래된 것에만 한다. 방금 한 말은 절대 요약하지 않는다.
  • 요약은 응답을 보낸 뒤 백그라운드로 돈다. 사용자를 기다리게 하지 않는다.
  • 요약에는 가장 싼 등급 모델을 쓴다. 압축은 창의성이 필요한 일이 아니다.
  • 요약 프롬프트에 반드시 남길 것 두 가지를 명시한다 — 사실(이름·날짜·수치)과 미해결 상태.
  • 요약이 실패해도 대화는 계속된다. 워터마크가 갱신되지 않을 뿐이고, MAX_HISTORY가 마지막 방어선이다.