18장
내가 보러 가지 않고, 이상이 나를 부르게

16장에서 관리자 탭이 마흔여섯 개가 된 이야기를 했고, 절반을 껐다고 썼다. 스물두 개로 줄었다.
그래도 스물두 개다.
아침에 스물두 개를 열어볼 수는 없다. 그리고 16장에서 말한 것처럼, 조용한 화면과 고장난 화면은 똑같이 생겼다. 그러니 탭을 줄이는 것만으로는 문제가 안 풀린다.
방향을 뒤집어야 했다.
전 내가 스물두 개를 보러 간다
후 이상이 나를 부른다
이 장은 그 장치를 만든 기록이고, 아직 절반만 성공한 이야기다.
흔한 설계와 우리 설계
"AI가 서비스를 감시하게 한다"는 말을 들으면 보통 이런 그림을 떠올린다.
매일 아침 모델에게 로그와 지표를 다 던져주고 "이상한 것 있으면 알려줘"라고 시킨다.
이 방식에는 세 가지 문제가 있다.
비싸다. 매일 데이터를 통째로 넣으니 조용한 날에도 돈이 나간다.
느리다. 넣을 것이 많으면 답도 오래 걸린다.
그리고 지어낸다. 이게 제일 나쁘다. 아무 문제가 없는 날에 "문제를 찾아라"라고 시키면 모델은 무언가를 찾아낸다. 없는 것을 만들어서라도.
그래서 반대로 만들었다.

① 규칙이 신호를 줍는다 (SQL · 모델 없음)
② 게이트가 가른다 ← 이상 0건이면 여기서 끝
③ 모델은 설명하고 순위를 매긴다 (이상이 있을 때만)
판정은 규칙이, 설명은 모델이. 10장에서 이미지 복구 요청을 정규식으로 먼저 잡은 것과 같은 원칙이고, 5장에서 요약 트리거가 99.7%를 걸러낸 것과 같은 형태다. 이 책에서 세 번째 반복되는 구조다.
여덟 개의 신호 수집기
무엇이 이상인지는 규칙으로 적어뒀다. 지금 여덟 개가 있다.
| 신호 | 무엇을 본다 |
|---|---|
| 낭독 유실 | 소리 없이 등록된 녹음이 있는가 |
| 오래된 세션 | 끝나지 않은 채 방치된 것 |
| 고아 자동저장 | 저장은 됐는데 연결이 안 된 것 |
| 이미지 드리프트 | 편집 경고 비율이 튀었는가 |
| 미해결 버그 | 두 번 이상 난 것 중 안 고친 것 |
| 낡은 문서 | 아키텍처 문서가 코드보다 오래됐는가 |
| 배포 불일치 | 서버의 코드와 저장소가 다른가 |
| 비용 급증 | 평소와 다른 지출이 있는가 |
전부 SQL이나 파일 비교로 답할 수 있는 것들이다. "이상한가"는 모델에게 물을 질문이 아니다. 이상의 정의를 내가 못 적으면, 모델도 못 찾는다.
그리고 각 수집기는 자기가 볼 데이터만 볼 수 있게 했다. 모델이 임의의 쿼리를 만들어 던지는 구조가 아니라, 신호마다 미리 정해둔 조회만 한다.
게이트 — 이 설계의 바닥
전체 코드에서 가장 중요한 두 줄이 이것이다.
def route_gate(state):
return "master" if state.get("issues") else "quiet"
이상 목록이 비어 있으면 모델을 아예 부르지 않는다. 그 경우 브리핑은 "이상 없음"으로 끝나고, 그날의 비용은 0원이다.
조용한 날 경로에는 주석이 이렇게 붙어 있다.
할 말이 없을 때 모델을 부르면 없는 문제를 지어낸다. 비용도 0으로 유지.
이 문장이 이 장의 전부다. 비용은 부수적이고, 진짜 이유는 환각을 원천 차단하는 것이다. 모델에게 "오늘 이상 없음"이라고 말할 기회조차 주지 않으면, 없는 이상을 만들 기회도 없다.
권한을 네 등급으로 나눴다
에이전트가 하는 모든 단계에 등급을 붙였다.
L0 읽는다 지표 조회, 신호 수집
L1 제안한다 "이걸 확인해 보세요"
L2 고친다 (정의만 있고 코드에 없다)
L3 배포한다 (정의만 있고 코드에 없다)
지금까지 남은 단계 로그를 세면 이렇다.
L0 14회
L1 14회
L2 0회
L3 0회
L2와 L3이 0인 이유는 조심해서가 아니라, 그 노드가 코드에 없기 때문이다.
이 구분이 중요하다고 생각한다. "권한이 있지만 안 쓴다"와 "권한 자체가 없다"는 다르다. 전자는 설정 하나로 열릴 수 있고, 후자는 코드를 새로 써야 한다.
위험한 권한은 끄는 게 아니라, 만들지 않는다.
혼자 만드는 사람에게 이건 특히 중요하다. 리뷰해 줄 사람이 없기 때문이다. 4장에서 "고장 나면 무엇이 남는가"를 물었던 것과 같은 질문이 여기서는 "이 장치가 폭주하면 무엇을 할 수 있는가"가 된다. 답이 "읽기만"이면 폭주해도 읽기만 한다.
실제 사고로 검증했다
이런 장치는 만들기는 쉬운데 믿을 만한지 확인하기가 어렵다. 가짜 데이터를 넣고 "잘 잡네" 하는 건 아무 의미가 없다.
그래서 실제로 났던 사고 다섯 건을 평가셋으로 만들었다.
· 낭독 1초 유실 — 등불은 켜졌는데 소리가 없었다
· 12분 25초 녹음이 복구 목록에서 숨겨졌다
· 배포가 소스째 되돌아갔다
· 아키텍처 문서가 코드보다 낡았다
· 이미지 편집 얼굴 드리프트 경고가 58%까지 튀었다
전부 내가 겪었고, 겪을 당시에는 몰랐던 것들이다. 이 다섯 개를 그때의 데이터 상태로 재현해 놓고, 에이전트가 잡는지 봤다.
재현 5/5
오탐 0%
다섯 개를 다 잡았고, 멀쩡한 날에 헛경보를 내지 않았다. 두 번째가 더 어렵다. 12장에서 말한 것처럼 거짓 경보는 진짜 경보를 무시하게 만들기 때문이다.
그런데 — 조용한 날이 한 번도 없었다
여기서 정직해야 한다.
이 설계의 자랑은 "이상이 0건이면 비용도 0"이다. 실제로 며칠을 돌려 봤다.
실행 7회 (9/4 ~ 9/7)
그중 모델을 안 부른 날 0회
한 번도 없었다. 이레 내내 이상이 있었고, 이레 내내 모델을 불렀다.
내가 설계한 비용 바닥에 아직 한 번도 닿아 보지 못했다. 그건 설계가 틀려서가 아니라, 이 서비스에 매일 이상이 있기 때문이다.
그리고 매일 같은 말을 한다
더 뼈아픈 것이 있다. 이레 치 브리핑 제목을 나란히 놓으면 이렇다.
9/4 낭독 오류 및 DB 타임아웃 발생, 긴급 점검 필요
9/5 낭독 데이터 누락 및 이미지 편집 경고 임계치 조정 필요
9/5 낭독 오류 발생 및 이미지 편집 경고 임계값 조정 필요
9/6 낭독 오류 발생 및 이미지 편집 경고 임계치 재검토 필요
9/6 낭독 오류 발생 및 이미지 편집 경고 임계치 조정 필요
9/7 낭독 데이터 오류 발생 및 이미지 생성 API 비용 급증 확인
9/7 비용 급증 및 낭독 데이터 오류 발생, 즉각 점검 필요
같은 두 가지를 이레 내내 말하고 있다.
이건 에이전트의 결함이 아니다. 그 말이 맞기 때문에 반복되는 것이고, 반복되는 이유는 내가 안 고쳤기 때문이다.
여기서 이 장의 마지막 규칙이 나온다.
매일 같은 것을 알리는 감시 장치는, 감시가 아니라 잔소리가 된다.
경보 시스템에는 두 가지 죽는 방식이 있다. 12장에서 본 거짓 경보가 하나고, 여기서 보는 반복되는 진짜 경보가 다른 하나다. 둘 다 결과는 같다 — 사람이 안 보게 된다.
이걸 알고 나서 항목을 하나 추가했다. 사용자가 "이미 안다"고 표시할 수 있게 하고, 표시된 것은 브리핑에서 내린다. 대신 사실 자체는 화면에 남긴다 — 아는 것과 없는 것은 다르기 때문이다.
비용
넉 달치를 세면 이렇다.
운영 에이전트 호출 38회
비용 29원
29원이다. 이상이 있는 날에만 부르고, 부를 때도 가장 싼 등급의 모델을 쓰기 때문이다(7장). 그리고 모델이 하는 일은 판단이 아니라 설명과 순위 매기기라, 그 등급으로 충분하다.
만약 매일 아침 로그를 통째로 던지는 방식이었다면, 같은 기간에 이것의 수십 배가 나갔을 것이다. 그리고 조용한 날에 없는 문제를 읽고 있었을 것이다.
정리하면
- 탭을 절반으로 줄여도 스물두 개는 여전히 못 본다. 방향을 뒤집어야 했다.
- 판정은 규칙이, 설명은 모델이. 이상의 정의를 내가 못 적으면 모델도 못 찾는다.
- 게이트 두 줄이 이 설계의 바닥이다 — 이상 0건이면 모델을 아예 부르지 않는다.
- 진짜 이유는 비용이 아니라 환각 차단이다. 할 말이 없을 때 부르면 없는 문제를 지어낸다.
- 위험한 권한은 끄는 게 아니라 만들지 않는다. L2·L3은 코드에 없다.
- 실제로 났던 사고 다섯 건으로 검증했다. 재현 5/5, 오탐 0%.
- 그런데 조용한 날이 한 번도 없었다. 설계한 비용 바닥에 아직 닿아 보지 못했다.
- 그리고 이레 내내 같은 두 가지를 말한다. 에이전트가 틀린 게 아니라 내가 안 고친 것이다.
- 매일 같은 것을 알리는 감시는 잔소리가 된다. 거짓 경보와 똑같이 죽는다.
- 넉 달 비용 29원.
여기까지가 4부다. 만든 것을 줄이고, 남긴 것을 기록하고, 보는 일을 넘겼다.
5부는 이 책의 마지막이고, 지금까지와 성격이 다르다. 무엇을 만들지 않기로 했는가 — 그리고 그 판단을 내리기까지 내가 얼마나 여러 번 같은 실수를 반복했는가에 대한 이야기다.