부록 A
대화 히스토리 설계 파라미터
4·5장에서 다룬 값들을 한 자리에 모았다. 그대로 복사해 쓰고, 아래 기준으로 조정한다.
값
# 요약 서비스
SUMMARY_TRIGGER = 30 # 메시지 30개부터 요약 시작
SUMMARY_KEEP_RECENT = 10 # 요약 후 최근 10개는 원문으로 유지
SUMMARY_RUN_EVERY = 10 # 마지막 요약 이후 +10개 쌓이면 재요약
# 주입 시점
MAX_HISTORY = 20 # 원문 히스토리의 마지막 방어선
게이트 세 개
요약 함수가 가장 먼저 하는 일은 요약하지 않기로 결정하는 것이다.
if total < SUMMARY_TRIGGER: return False # ① 아직 짧다
target_end = total - SUMMARY_KEEP_RECENT
if target_end <= until: return False # ② 새로 요약할 게 없다
if (target_end - until) < RUN_EVERY: return False # ③ 변동이 작다
until = 워터마크. 몇 번째 메시지까지 이미 요약했는지를 적어둔 숫자다.
주입할 때는 이 워터마크 이후만 원문으로 쓰고, 그 다음에 캡을 씌운다.
raw_history = raw_history[until:] # 워터마크 이후만
if len(raw_history) > MAX_HISTORY: # 요약이 밀렸을 때만 작동
raw_history = raw_history[-MAX_HISTORY:]
이 값들이 만드는 리듬
| 메시지 총수 | target_end | until | 판정 | 원문 유지 |
|---|---|---|---|---|
| 28 | — | 0 | ① 걸림 | 28개 |
| 30 | 20 | 0 | 실행 → until=20 | 10개 |
| 35 | 25 | 20 | ③ 걸림 | 15개 |
| 40 | 30 | 20 | 실행 → until=30 | 10개 |
| 45 | 35 | 30 | ③ 걸림 | 15개 |
| 50 | 40 | 30 | 실행 → until=40 | 10개 |
요약은 10개마다 한 번 돌고, 원문 유지분은 10~20을 오간다. MAX_HISTORY=20이 정확히 그 대역의 천장이다.
조정 기준
| 값 | 무엇으로 정하나 | 올리면 | 내리면 |
|---|---|---|---|
| TRIGGER | 요약 없이 전부 넣어도 감당되는 최대 길이 | 요약이 늦게 시작 | 짧은 대화에도 요약이 돌아 손해 |
| KEEP_RECENT | 요약이 완전히 틀려도 대화가 이어질 최소 원문 | 안전하지만 압축 이득 감소 | 요약 실패가 곧 "아까 말했잖아요" |
| RUN_EVERY | 대개 KEEP_RECENT와 같게 | 재요약 비용↓, 원문 상한↑ | 재요약이 잦아짐 |
| MAX_HISTORY | 정상 대역의 천장과 같게 | 고장을 못 잡는다 | 정상 동작을 방해한다 |
세 숫자는 따로 노는 손잡이가 아니라 하나의 리듬을 만드는 톱니다. RUN_EVERY를 30으로 올리면 원문이 10~40을 오가므로 MAX_HISTORY도 40으로 올려야 한다.
하한 권장 — KEEP_RECENT는 5 아래로 내리지 않는다. 주고받는 횟수로 두세 번은 원문으로 남아야 대화가 이어진다.
실측 참고값
우리 서비스에서 잰 값이다. 서비스 성격이 다르면 다르게 나온다.
대화 1,418개 중 요약 보유 4개 (0.3%) ← TRIGGER 가 99.7% 를 거른다
가장 긴 대화 메시지 144개
원문 41,294자
요약 936자 (압축비 44:1)
원문 유지 3,582자 (메시지 135~144)
실제 주입 4,518자 (원문의 11%)
요약 호출 (넉 달) 2회 · 약 3원
짧은 대화에서는 이득이 거의 없다. 메시지 38개짜리는 58%밖에 안 줄어든다. 압축은 길이에 비례해 값을 한다.
함께 지킬 규칙
- 압축은 오래된 것에만 한다. 방금 한 말은 절대 요약하지 않는다.
- 요약은 응답을 보낸 뒤 백그라운드로 돈다. 사용자를 기다리게 하지 않는다.
- 요약에는 가장 싼 등급 모델을 쓴다. 압축은 창의성이 필요한 일이 아니다.
- 요약 프롬프트에 반드시 남길 것 두 가지를 명시한다 — 사실(이름·날짜·수치)과 미해결 상태.
- 요약이 실패해도 대화는 계속된다. 워터마크가 갱신되지 않을 뿐이고,
MAX_HISTORY가 마지막 방어선이다.