8장
기억하지 않기로 한 것들

2부의 마지막 장이다. 지금까지 세 가지 기억을 만들었다 — 대화 요약(4·5장), 사용자 프로필(6장), 그리고 무엇을 어느 모델로 보낼지의 규칙(7장).
네 번째를 만들었다가 지웠다. 이 장은 그 이야기다.
만들 때의 생각
2026년 6월, 나는 "컨텍스트 엔지니어링"이라는 말에 사로잡혀 있었다. 발상은 이랬다.
대화 요약은 한 대화 안의 기억이고, 프로필은 사용자가 어떤 사람인가의 요약이다. 그 사이에 빠진 것이 있다 — 흩어진 사실들. "이 사람은 저번에 이런 걸 물었다", "이 앱의 결제는 이렇게 동작한다" 같은, 대화를 넘나드는 조각들.
그래서 만들었다.
riel_memories 기억 조각 136개
검색 방식 질문마다 임베딩 유사도로 관련된 것만 골라 주입
문턱 유사도 0.3 이상
질문이 들어오면 그 질문과 의미가 가까운 기억을 골라 프롬프트에 붙인다. 필요한 것만 그때그때 꺼내 쓰는 구조다. 만들 때는 이게 가장 세련된 부분이라고 생각했다.
석 달 뒤에 잰 것
9월에 프롬프트를 실제로 뜯어봤다. 한 번의 답변에 무엇이 들어가는지 글자 수로 세어 봤더니 이렇게 나왔다.

| 크기 | 갱신 | |
|---|---|---|
| 프로필 주입 | 1,977자 | 매일 밤 자동 갱신 |
| 메모리 블록 | 146자 | 6월 20일 이후 없음 |
프로필은 야간 분석이 매일 다시 쓰기 때문에 최신이었다. 아이의 개월 수도, 하는 일도, 요즘 신경 쓰는 것도 그날 기준이었다.
메모리는 만든 날 넣어둔 그대로였다. 석 달 전에 시딩한 뒤로 한 줄도 추가되지 않았다. 그 안에는 아이의 개월 수처럼 그때는 맞았지만 지금은 틀린 사실이 들어 있었다.
그러니까 한 프롬프트 안에 최신 정보 1,977자와 석 달 묵은 정보 146자가 나란히 들어가고 있었다.
그런데 답은 틀리지 않았다
여기가 이 장에서 가장 중요한 대목이다.
당연히 챗봇이 틀린 답을 할 거라고 생각했다. 아이 개월 수를 물어보면 석 달 전 숫자를 말할 줄 알았다. 실제로 물어봤다.
정답이 나왔다.
이유는 명확했다. 1,977자가 146자를 압도한다. 모델은 두 정보를 다 읽고, 최신이고 훨씬 자세한 쪽을 따랐다. 게다가 6장에서 만든 규칙 — "충돌하면 최신 발언이 우선, 프로필을 의심하세요" — 이 프롬프트에 이미 들어 있었다.
그래서 판정은 이렇게 됐다.
해롭지는 않았다. 그런데 더하는 것도 없었다.
이건 "고장났다"보다 다루기 어려운 상태다. 고장난 기능은 알아서 신호를 보낸다. 아무 효과 없이 잘 돌아가는 기능은 영원히 그 자리에 있는다.
세 번째 발견 — 문턱이 너무 낮았다
지우려고 코드를 뜯다가 하나 더 봤다. 유사도 문턱이 0.3이었다.
이 값이면 질문과 별 상관없는 기억도 "관련 있음"으로 걸린다. 즉 이 레이어는 아무 효과 없이 있기만 한 게 아니라, 무관한 조각을 프롬프트에 계속 밀어 넣고 있었다. 답을 망칠 정도는 아니었지만(프로필이 압도하므로) 매 호출마다 토큰을 조금씩 더 쓰고 있었다.
7장의 결론이 여기서 다시 나온다 — 값을 정하는 것은 입력 길이다. 효과 없는 146자도 매번 돈이다.
껐다. 그 다음에 지웠다
제거는 두 단계로 했고, 그 순서에 이유가 있다.
1단계 — 주입만 끈다. 설정값 하나로 메모리 주입을 껐다. 코드와 테이블은 그대로 뒀다. 이러면 되돌리기가 1분이고, 며칠 지켜보면서 아무 문제가 없는지 확인할 수 있다.
그런데 여기서 함정을 하나 발견했다. 설정값은 git에 없다.
서버 설정 파일은 버전 관리에 들어가지 않는다. 그래서 "메모리를 껐다"는 사실과 왜 껐는지가 코드 어디에도 안 남는다. 몇 달 뒤의 내가(또는 다른 사람이) 그 설정을 보면 이유를 알 수 없고, "이거 왜 꺼져 있지? 켜볼까?" 하게 된다.
그래서 코드에 주석으로 측정 결과를 박아 넣었다.
실측(2026-09-05): 같은 프롬프트에 프로필 1,977자와 메모리 146자가
함께 들어가는데, 프로필은 매일 갱신돼 최신이고 riel_memories 는
6-20 시딩 이후 추가가 없어 석 달 전에 멈춰 있었다.
답은 틀리지 않았다 — 프로필이 압도하기 때문. 즉 해롭진 않으나
더하는 것도 없어서 껐다.
끄는 것은 설정으로 하되, 왜 껐는지는 코드에 남긴다.
이건 이 책 4부에서 다룰 "끈 것을 기록한다"의 축소판이다. 우리 관리자에는 접은 기능 45건이 사유와 함께 등록돼 있고, 사유의 평균 길이가 141자다. 그 습관이 여기서도 작동했다.
2단계 — 코드를 지운다. 며칠 뒤 서비스 400여 줄과 관리자 화면을 삭제했다.
지우기 전에 한 번 더 본 것
삭제 직전에 하나를 발견했다. 메모리 서비스 안에 임베딩을 만드는 함수가 들어 있었는데, 그 함수를 다른 기능이 쓰고 있었다.
프로젝트 문서를 의미 검색하는 기능이 같은 임베딩을 호출하고 있었다. 메모리 서비스를 통째로 지웠다면 그 기능이 조용히 깨졌을 것이다. 임포트 에러는 나지 않고, 검색 결과만 안 나오는 종류의 고장이다.
그래서 그 함수만 별도 파일로 옮기고, 파일 첫머리에 이유를 적었다.
2026-09-05: memory_service 를 제거하면서 여기로 옮겼다.
메모리 레이어는 없어졌지만 이 함수는 프로젝트 지식 의미검색이
쓰고 있어 살려둔다 — 메모리 레이어 전용이 아니었다.
기능을 지울 때 지워지는 것은 기능만이 아니다. 그 안에 세 들어 사는 공용 부품이 있는지 먼저 본다.
부활 조건을 적어뒀다
지우면서 되살리는 방법도 같이 적었다. 설정 한 줄이면 켜지지만, 그 전에 두 가지가 선행돼야 한다고 못 박았다.
- 시딩 최신화 — 석 달 묵은 데이터로 다시 켜면 같은 상태가 된다.
- 프로필과의 역할 분리 — 둘이 같은 것을 말하면 또 중복이다. 프로필이 "사람"을 맡는다면 메모리는 다른 것을 맡아야 한다.
이 두 줄이 없으면 몇 달 뒤에 누군가 "좋은 기능이 왜 꺼져 있지" 하며 켤 것이고, 같은 자리로 돌아온다.
무엇을 배웠나
이 기능을 만드는 데 며칠이 들었고, 지우는 데 반나절이 들었다. 그 대가로 얻은 것을 정리하면 이렇다.
첫째, 겹치는 두 기억은 큰 쪽만 남는다. 1,977자와 146자가 같은 프롬프트에 있으면 작은 쪽은 사실상 없는 것이다. 기억 장치를 여러 겹 만들 때는 크기가 아니라 역할로 갈라야 한다.
둘째, 갱신되지 않는 기억은 시간이 지나면 거짓말이 된다. 만들 때 정확했던 데이터는 만든 그날만 정확하다. 넣는 경로가 있으면 갱신하는 경로도 있어야 하고, 없다면 그 기능은 만들지 않는 게 낫다.
셋째, 효과가 없는데 잘 도는 기능이 가장 오래 남는다. 이게 이 장을 쓰는 진짜 이유다. 고장은 알아서 티가 나지만, 무효는 티가 안 난다. 그래서 무효를 찾으려면 재야 한다.
나는 이 레이어를 석 달 동안 "우리 서비스의 세련된 부분"이라고 생각하고 있었다. 프롬프트를 글자 수로 세어 보기 전까지는.
감으로 만든 것은 감으로 지울 수 없다.
여기까지가 2부다. 대화를 압축하고, 사용자를 기억하고, 모델을 나눠 부르고, 필요 없는 기억을 지웠다. 이 넷이 이 챗봇의 머리에 해당한다.
3부는 감각이다. 사진과 목소리. 첫 장은 편집 네 건이 통째로 실패한 원인이 사진 파일에 적힌 한 줄이었다는 이야기로 시작한다.