7장
모델을 나눠 부른다

1장에서 "넉 달 동안 22종의 모델을 불렀다"고 썼다. 이 장은 그 22종이 어떻게 갈라지고, 무엇이 실제로 비용을 정하는지에 대한 것이다. 결론부터 쓰면 내가 예상했던 답이 아니었다.
단가는 9,200배 벌어진다
호출 한 번의 값을 실제 집계로 늘어놓으면 이렇다.

| 작업 | 호출 | 건당 |
|---|---|---|
| 제목 생성 | 713회 | 0.03원 |
| 임베딩 | 972회 | 0.04원 |
| 질문 분류 | 564회 | 0.14원 |
| 채팅 | 1,545회 | 4.06원 |
| 프로필 분석 | 65회 | 23.18원 |
| 웹 검색 | 203회 | 48.30원 |
| 영상 생성 | 5회 | 276원 |
가장 싼 것과 가장 비싼 것이 9,200배 차이다.
이런 폭이 있으면 "AI 비용"이라는 한 덩어리로는 아무것도 관리할 수 없다. 그래서 모든 호출에 어느 등급의 모델을 쓸지를 미리 정해둔다.
레지스트리 — 모델명을 한 곳에만 적는다
우리 코드에는 모델명을 적는 자리가 딱 하나다.
MODEL_TIERS = {
"nano": "gemini-3.1-flash-lite",
"lite": "gemini-3.1-flash-lite",
"chat": "gemini-3.1-flash-lite",
"live": "gemini-3.1-flash-live-preview",
"worker": "gemini-3.5-flash",
}
TASK_ROUTING = {
"chat_main": "chat", # 메인 채팅
"voice_live": "live", # 실시간 음성
"conversation_summary": "lite", # 대화 요약
"profile_analysis": "chat", # 프로필 분석
"title_generation": "nano", # 짧은 제목
"lab_iterate": "worker", # 실험 전용
... # 지금 25개 작업
}
작업 하나에 한 줄. 새 기능을 붙일 때 모델명을 직접 쓰지 않고 작업 이름을 등록한다. 그리고 정의되지 않은 작업은 자동으로 가장 보수적인 등급으로 떨어진다.
def get_model(task_id):
tier = TASK_ROUTING.get(task_id, "lite") # 모르면 lite
return MODEL_TIERS[tier]
모르는 것에는 싼 것을 준다. 이 기본값 하나가 "새 기능 붙이다가 실수로 비싼 모델을 불렀다"는 사고를 통째로 막는다.
그런데 — 세 등급이 지금 같은 모델이다
여기서 정직하게 적을 것이 있다. 위 표를 다시 보면 이상한 점이 보인다.
nano → gemini-3.1-flash-lite
lite → gemini-3.1-flash-lite
chat → gemini-3.1-flash-lite ← 셋이 같다
등급을 셋으로 나눠뒀는데 지금은 전부 같은 모델을 가리킨다.
이렇게 된 경위가 있다. 2026년 8월, 구글이 우리가 쓰던 모델 계열의 지원 중단을 공지했다. 원래는 nano와 lite에 더 싼 구형 모델을 쓰고 있었는데, 그 모델이 사라질 예정이라 전부 신형으로 옮겨야 했다.
옮기고 나서 비용 변화를 재봤다.
월 약 $0.14 → 월 약 $0.45
월 400원 늘었다. 등급을 나눠서 아끼던 금액의 실체가 그것이었다.
그럼 이 레지스트리는 헛수고였나. 아니다. 정확히 그 순간에 값을 했다.
모델명이 코드 곳곳에 흩어져 있었다면 폐기 공지를 받고 파일을 전부 뒤져야 했다. 실제로 우리는 그 경험이 있다 — 레지스트리를 만들기 전, 모델명이 11개 파일에 하드코딩돼 있어서 하나씩 찾아 고쳤다. 이번에는 한 줄을 바꾸니 서비스 전체가 옮겨갔다.
추상화의 값은 평소에 아끼는 금액이 아니라, 바뀌어야 할 때 드는 비용에 있다.
지금도 집계에는 옛 모델의 흔적이 808회 남아 있다. 이사한 날짜가 데이터에 그대로 보인다.
진짜 발견 — 같은 모델인데 771배 다르다
이 장을 쓰려고 집계를 다시 뜯다가 예상 밖의 것을 봤다.
앞의 표에서 제목 생성(0.03원), 질문 분류(0.14원), 채팅(4.06원), 프로필 분석(23.18원) — 이 넷은 등급이 nano·lite·chat으로 나뉘어 있다. 그런데 지금은 셋 다 같은 모델이다. 즉 같은 모델, 같은 단가표인데 건당 값이 771배 차이난다.
차이를 만드는 것은 모델이 아니다. 입력 길이다.
| 작업 | 무엇을 보내나 | 건당 |
|---|---|---|
| 제목 생성 | 대화 몇 줄 | 0.03원 |
| 질문 분류 | 질문 한 개 | 0.14원 |
| 채팅 | 시스템 프롬프트 + 요약 + 최근 원문 + 프로필 | 4.06원 |
| 프로필 분석 | 하루치 대화 전체 | 23.18원 |
채팅이 분류보다 29배 비싼 이유는 좋은 모델을 써서가 아니라 매번 4천 자 넘게 보내기 때문이다. 4장에서 41,294자를 4,518자로 줄인 그 작업이, 바로 이 4.06원을 만든 일이었다.
모델을 고르는 것보다 무엇을 보낼지 고르는 것이 값을 정한다.
이건 내가 이 프로젝트에서 늦게 배운 것 중 하나다. 처음에는 "더 싼 모델로 바꾸면 얼마나 아낄까"만 생각했다. 실제로 효과가 컸던 것은 모델 교체가 아니라 입력 다이어트였다.
검색은 열세 번에 한 번만 붙인다
단가표에서 채팅(4.06원)보다 비싼 것이 웹 검색(48.30원)이다. 열두 배다.
그래서 검색은 모든 질문에 붙이지 않는다. 실제 비율을 세면 이렇다.
채팅 1,545회
검색이 붙음 203회 = 13%
열 번 중 아홉 번은 검색 없이 답한다. 만약 전부 검색을 붙였다면 74,624원이 나갔을 자리에서 실제로는 9,805원을 썼다.
무엇으로 가르는가. 질문을 먼저 분류한다. 그 분류가 건당 0.14원이다. 오늘 날씨나 최근 뉴스처럼 바깥 사실이 필요한 질문에만 검색을 켜고, "이거 어떻게 생각해?" 같은 질문에는 켜지 않는다.
비싼 도구 앞에는 싼 문지기를 세운다.
5장의 요약 트리거와 정확히 같은 모양이다. 거기서는 30이라는 숫자가 99.7%를 걸렀고, 여기서는 0.14원짜리 분류가 87%를 거른다. 이 책에서 반복되는 형태이고, 4부의 운영 에이전트도 같은 구조다.
비싼 등급은 격리한다
등급표에 worker라는 항목이 있다. 코드 생성을 시키기 위한 고성능 모델이고, 주석에 이렇게 적혀 있다.
일반 운영 task 엔 절대 라우팅 X (비용 폭탄).
admin 격리 페이지에서만 호출.
실제 집계에서 이 모델은 넉 달 동안 5회 불렸다. 건당 15원으로, 채팅의 네 배다. 그리고 이 등급을 쓰는 두 작업에는 월 지출 상한이 따로 걸려 있다.
여기서 규칙 하나가 더 나온다.
비싼 모델은 못 쓰게 하는 게 아니라, 아무 데서나 못 부르게 한다.
금지하면 필요할 때 쓸 수 없고, 열어두면 실수로 불린다. 그래서 부를 수 있는 자리를 좁히고 그 자리에만 상한을 건다.
preview 모델은 조용히 죽는다
마지막으로 하나. 등급표에 live 항목의 모델명을 보면 끝에 -preview가 붙어 있다.
미리보기 모델은 구글이 별도 일정으로 폐기하고, 폐기되면 조용히 404가 난다. 에러 메시지가 "이 모델은 없어졌습니다"라고 친절히 알려주지 않는다.
그래서 레지스트리에는 판별 함수가 하나 더 있다.
def model_lifecycle(model):
m = model.lower()
if "preview" in m or "-exp" in m:
return "preview"
return "ga"
모델명 문자열로 자동 판별한다. 목록에 손으로 적어두는 방식이 아니라서, 새 모델을 넣어도 자동으로 위험 표시가 붙는다. 관리자 화면에서 지금 몇 개의 preview 모델에 의존하고 있는지 한눈에 보인다.
실제로 이 함수 덕에 발견한 것이 있다. 코드의 기본 영상 모델이 이미 폐기된 미리보기 ID였다. 서버 설정에 정식 ID가 들어 있어서 운영은 무사했지만, 그 설정이 빠지는 순간 깨지는 상태였다. 동작하고 있다는 것이 안전하다는 뜻은 아니었다.
정리하면
- 호출 한 번의 값이 0.03원에서 276원까지, 9,200배 벌어진다.
- 그래서 작업마다 등급을 정해두고, 모르는 작업에는 싼 것을 준다.
- 지금은 세 등급이 같은 모델을 가리킨다. 등급을 나눠 아끼던 돈은 월 400원이었다.
- 그래도 레지스트리는 값을 했다 — 모델 폐기 때 한 줄로 이사했다. 이전에는 11개 파일을 뒤졌다.
- 같은 모델인데 건당 값이 771배 다르다. 값을 정하는 것은 모델이 아니라 입력 길이다.
- 검색은 열세 번에 한 번만 붙인다. 0.14원짜리 문지기가 48원짜리 문을 지킨다.
- 비싼 등급은 부를 수 있는 자리를 좁히고 그 자리에만 상한을 건다.
- preview 모델은 조용히 404가 되므로 모델명으로 자동 판별해 표시한다.
여기까지가 2부의 기술이다. 마지막으로 한 장이 남았다. 우리는 지금까지 말한 것 말고 기억 장치를 하나 더 만들었고, 재보고 지웠다. 그 이야기가 8장이다.