21장
마흔 번 돌려 하나를 건졌다

같은 이야기의 세 번째 판이다. 19장은 상한이 없는 것, 20장은 벽이 있는 것이었고, 이 장은 내 설계가 아니라 다른 것이 막고 있었던 것이다.
나는 내 코드를 스스로 고치는 에이전트를 만들려고 했다. 두 번 만들었고, 두 번의 결과가 정반대였다.
1차 — 보름 동안 지은 울타리
5월 말에 시작했다. 목표는 이랬다. 매일 새벽, AI가 우리 코드의 일부를 스스로 검토하고 명백한 개선 한 곳만 고쳐서 올린다.
무서운 아이디어라서 안전장치부터 만들었다.
격리 작업공간 본 저장소를 직접 안 건드린다
파일 울타리 정해둔 경로 밖은 쓰기 자체가 거부된다
금지 목록 절대 손대면 안 되는 것들
월 지출 상한 ₩30,000
건당 토큰 상한
빌드·스모크 게이트 깨지면 못 올라간다
내용 손실 가드
전체 실행 기록
킬 스위치 2단 배포만 끄기 / 완전 정지
설계 원칙을 한 줄로 적어뒀다.
모델은 교체 부품, 펜스·예산·격리·게이트·로깅은 고정 레일.
지금 봐도 이 설계가 틀렸다고 생각하지 않는다. 실제로 롤백이 한 번도 없었다. 안전장치는 완벽하게 작동했다.
첫 실측 — 143원에 파일이 통째로 사라졌다
첫 작업을 시켰다. 어떤 화면 파일에 줄 하나를 추가하는 일이었다. 비용 143원.
결과가 이랬다.
원본 11,513 바이트
결과 4,030 바이트
한 줄을 추가하랬더니 파일을 통째로 다시 썼다. 그리고 다시 쓰는 과정에서 원래 있던 내용의 3분의 2가 사라졌다.
여기서 정말 중요한 것은 그 다음이다.
빌드 게이트가 이걸 통과시켰다.
당연하다. 짧아진 파일도 문법적으로 멀쩡하면 빌드된다. 화면도 렌더링된다. 그냥 내용이 없을 뿐이다.
결정적 게이트는 "깨짐"은 잡아도 "손실"은 못 잡는다.
이 문장이 이 장의 첫 번째 교훈이고, 이 책 전체에서 반복된 형태이기도 하다. 4장의 요약, 12장의 무변화 판정, 17장의 빈 배열 — 에러가 안 나는 실패를 잡으려면 그것만 보는 장치를 따로 만들어야 한다.
그래서 손실 가드를 붙였다. 기존 파일이 30% 이상 줄면 자동 통과를 막고 사람 확인을 강제한다.
도구를 바꾸니 12원이 됐다
원인을 더 파보니 안전장치의 문제가 아니었다. 내가 준 도구의 문제였다.
모델에게 "파일을 써라"라는 도구만 줬으니, 한 줄을 고치려면 전체를 다시 쓰는 수밖에 없었다. 그 과정에서 기억하지 못한 부분이 사라진 것이다.
그래서 도구를 바꿨다. "이 문자열을 저 문자열로 바꿔라"는 부분 치환 도구를 주고, 전체 재작성을 금지했다.
1차 실측 143원 · 파일 3분의 2 소실
2차 실측 12원 · 정확한 부분 수정
열두 배 싸지고 정확해졌다. 같은 모델, 같은 작업, 다른 도구다.
모델이 서툰 것처럼 보일 때, 내가 준 도구가 그 방식을 강요하고 있을 수 있다.
10장에서 "우리가 사용자 문장 앞에 정반대 지시를 붙이고 있었다"고 쓴 것과 같은 계열이다. 모델을 의심하기 전에 내가 준 것을 본다.
그런데 40런에 1건이었다
도구를 고치고, 손실 가드를 붙이고, 프롬프트를 다듬고, 매일 새벽에 돌렸다. 보름 뒤 성적표가 이랬다.

전체 실행 약 40회
라이브까지 간 것 1건
나머지 스스로 반려 · 적대 리뷰에서 차단 · 워커 능력 한계로 보류
마흔 번을 돌려 하나를 건졌다. 그 하나는 지역 설정을 정리하는 작은 헬퍼 함수였다.
그리고 그 마흔 번 동안 나는 매일 예산을 쓰면서 게이트를 지켜보고 있었다. 자동화를 만들었는데 자동화를 감시하는 일이 새로 생긴 것이다.
껐다 — 그리고 사유에 미래를 적었다
6월 15일에 껐다. 인벤토리에 등록한 사유가 이랬다.
비용 대비 산출 미흡 — 40여 런 동안 라이브 졸업 1건, 나머지는 반려·차단·워커 능력 한계로 보류. 매일 예산을 쓰며 게이트를 사람이 지켜봐야 하는 구조. 안전망은 완벽(롤백 0)이라 끔으로써 안정성 손실은 없음. 더 강한 싼 워커가 나올 때 부활하는 게 합리적(지금 태우지 않음).
이 사유에서 두 문장이 나중에 중요해진다.
"안전망은 완벽해서 끔으로써 잃는 것이 없다." — 실패한 실험인데 무엇이 성공했는지를 갈라 적었다. 하니스는 성공했고 워커가 실패했다.
"더 강한 싼 워커가 나올 때 부활하는 게 합리적." — 무엇이 달라지면 다시 볼지를 적었다. 16장에서 말한 부활 조건이다.
2차 — 두 달 뒤, 이틀
8월 말에 같은 것을 다시 만들었다. 이번엔 다른 프로젝트에서였고, 이틀이 걸렸다.
만든 것을 늘어놓으면 이렇다.
격리 폴더 (별도 저장소)
지시서 한 장 — 합격 기준 · 읽기 순서 · 규칙과 그 이유 · 순서 · 커밋 규칙
적대 리뷰 규칙 — 커밋 전에 스스로 반박해 볼 것
자동 롤백 규칙 — 검사 실패 상태면 새 작업 금지
STOP 파일 — 킬 스위치
실행 스크립트 — 대기하고, 부르고, 다시 대기
1차의 하니스 전체가 파일 몇 개로 줄었다. 격리 작업공간, 파일 울타리, 빌드 게이트, 로깅 — 이것들을 직접 만들 필요가 없었다. 쓰기로 한 도구에 이미 들어 있었기 때문이다.
그리고 그 도구는 구독으로 쓰는 것이었다. 기록에 이렇게 적어뒀다.
⚠비용: 루프는 구독을 쓴다.
결과가 정반대였다
다섯 바퀴를 돌렸고, 성적표가 이랬다.
1바퀴 — 복구. 시작하자마자 검사 스크립트가 죽어 있는 것을 발견했다. 내가 넣은 특수 기호 하나가 콘솔 인코딩과 충돌해서였다. 루프는 새 기능을 만들지 않고 그것부터 고쳤다. 지시서에 "검사가 실패 상태면 새 작업 금지"라고 적어뒀기 때문이다.
2바퀴 — 뼈대를 만들고, 자기 화면을 보고 두 번 스스로 반려했다. 지붕이 바닥보다 밝아서 "회색 판때기처럼 보인다"고 스스로 판단하고 다시 그렸다. 빛 표현이 딱딱하다고 또 고쳤다.
적대 리뷰가 실제 지뢰를 잡았다. 전역 변수 이름이 다음 파일과 충돌해 부팅 자체가 안 될 상태였는데, 커밋 전에 스스로 발견해 고쳤다.
그리고 검사를 스스로 늘렸다.
검사 종수 9 → 12 → 23 → 37
"화면이 실제로 도는가", "통짜 단색은 아닌가" 같은 검사를 루프가 직접 추가했다. 내가 시킨 적 없다.
마지막엔 자기 검사의 한계를 자진 신고했다. "이 검사로는 이런 경우를 못 잡는다"고 적어놓았다.
검사가 진짜인지 확인했다
여기서 내가 한 일이 하나 있다. 루프가 만든 검사가 가짜일 수 있다. 항상 통과하는 검사를 만들어 놓고 "다 통과했다"고 할 수 있으니까.
그래서 일부러 망가뜨려 봤다.
화면을 멈춰 놓고 → 해당 검사가 실패했다
단색으로 칠하고 → 해당 검사가 실패했다
문법 오류를 넣고 → 세 검사가 모두 실패했다
망가뜨리면 실제로 걸렸다. 가짜 검사가 아니었다. 이 확인을 안 했으면 나는 "37종 검사 전부 통과"라는 문장을 믿었을 것이고, 그건 아무 의미가 없었을 수 있다.
자동으로 만들어진 검사는, 일부러 망가뜨려 봐야 진짜인지 안다.
무엇이 달랐나
두 실험을 나란히 놓으면 이렇다.
| 1차 (보름) | 2차 (이틀) | |
|---|---|---|
| 하니스 | 직접 다 만들었다 | 도구에 들어 있었다 |
| 워커 | 저가 모델 | 최상급 모델 (구독) |
| 비용 | 건당 12~143원 · 월 상한 | 정액 |
| 산출 | 40런에 1건 | 5바퀴 전부 실동작 |
| 검증 | 사람이 게이트 감시 | 스스로 반려 · 검사 9→37종 자가 확장 |
| 결말 | 비활성 | 계속 |
내가 만든 것이 나아진 게 아니다. 1차의 하니스는 훌륭했고 롤백이 0이었다. 달라진 건 그 안에서 일하는 쪽이다.
막힌 것은 내 설계가 아니라 워커였다. 그리고 워커는 내가 만들 수 있는 것이 아니다.
이게 이 장의 결론이고, 5부 전체의 결론이기도 하다. 20장에서 영상 모델의 8초 벽이 프롬프트로 못 넘는 벽이었던 것과 같다. 내가 못 넘는 벽과 내가 잘못한 것을 갈라야 한다.
그리고 모델 값은 세대마다 오른다
이 책을 쓰는 동안 새 최상급 모델이 나왔다. 발표를 보면 이렇다.
컨텍스트 백만 토큰
API 단가 직전 세대의 2.5배
성능이 오르면서 단가도 올랐다. 이게 자체 에이전트를 서비스로 파는 계획에 무엇을 의미하는지는 명확하다.
자체 AI 서비스를 팔면 → 모델이 좋아질 때마다 원가가 오른다
구독으로 쓰면 → 정액인 채로 좋아진 모델을 받는다
1차 실험의 사유에 적어둔 "더 강한 싼 워커가 나올 때"가 실제로 왔는데, 그건 싼 워커가 나온 게 아니라 내가 구독으로 갈아탄 것이었다.
⚠ 그런데 구독은 서비스 백엔드가 아니다
19장에서 이미지 구독을 이야기하며 그은 선을 여기서도 그어야 한다.
2차 실험의 자율 루프는 내 데스크탑의 격리 폴더에서 돌았다. 서비스에 붙은 게 아니다. 그리고 붙일 수도 없다.
✅ 내가 개발할 때 쓰는 도구 → 구독
❌ 사용자에게 파는 기능의 백엔드 → API 말고 방법 없음
실제 숫자로 보면 이 구분이 더 분명해진다.
서비스가 5개월간 쓴 AI API 89,203원
개발 도구 구독 한 달 150,000원
서비스 전체가 다섯 달 동안 쓴 것보다 개발 도구 구독 한 달이 비싸다. 이 둘은 같은 항목이 아니다. 3장에서 재료비를 나눌 때 이미 본 대비다.
정리하면
- 같은 아이디어를 두 번 만들었고, 결과가 정반대였다.
- 1차의 첫 실측에서 "한 줄 추가"에 파일 3분의 2가 사라졌다. 그리고 빌드 게이트는 이걸 통과시켰다.
- 결정적 게이트는 "깨짐"은 잡아도 "손실"은 못 잡는다.
- 도구를 부분 치환으로 바꾸니 143원 → 12원. 모델이 서툰 게 아니라 내가 준 도구가 방식을 강요하고 있었다.
- 그래도 40런에 졸업 1건이었다. 자동화를 감시하는 일이 새로 생겼다.
- 끄면서 무엇이 성공했는지(하니스)와 실패했는지(워커)를 갈라 적었고, 부활 조건을 적었다.
- 두 달 뒤 이틀 만에 다시 만들었다. 하니스는 파일 몇 개로 줄었고, 워커는 구독형 최상급 모델이었다.
- 루프가 스스로 두 번 반려하고, 검사를 9종에서 37종으로 늘리고, 자기 한계를 신고했다.
- 자동으로 만들어진 검사는 일부러 망가뜨려 봐야 진짜인지 안다.
- 막힌 것은 내 설계가 아니라 워커였다. 그리고 워커는 내가 만들 수 있는 것이 아니다.
- 모델 단가는 세대마다 오른다. 자체 서비스는 원가가 오르고, 구독은 정액인 채로 좋아진다.
- 단, 개발 도구와 서비스 백엔드는 다른 항목이다.
다음 장이 마지막이다. 5부의 세 장이 같은 것을 세 번 말했다 — 그리고 나는 그걸 세 번 겪고서야 알았다.