‹ 차례2장

2장

이미지를 빼면 월 5,400원이다

AI 챗봇, 직접 만들면 월 5,400원 · 7분

앞 장의 마지막 질문으로 시작한다. 비용의 4분의 3이 이미지라면, 이미지를 빼면 이 챗봇은 한 달에 얼마인가.

전체            $64.64  =  89,203원   → 월 21,214원
이미지          $48.20  =  66,522원   (589회)
─────────────────────────────────────────────
이미지 제외     $16.44  =  22,681원   → 월 5,394원

월 5,394원. 이 책의 제목이 그 숫자다.

먼저 정직하게 — "뺀다"는 게 무슨 뜻인가

이 숫자를 내밀기 전에 세 가지를 분명히 해두고 싶다. 이 책이 4,900원짜리 희망 회로가 아니라 15,000원짜리 실측 기록이 되려면 여기서 정직해야 한다.

첫째, 이건 기능을 빼는 것이다. 우리 서비스는 실제로 이미지를 뺀 적이 없다. 저 5,394원은 "이미지를 쓰지 않는 챗봇이라면"이라는 가정 위의 숫자다. 사진을 만들어 주는 챗봇을 원한다면 이 장의 숫자는 당신 것이 아니다.

둘째, 사용자 세 명 기준이다. 이 서비스의 이미지 기능을 실제로 쓴 사람은 넉 달 동안 세 명이었다. 사용자가 열 배가 되면 비용도 대체로 열 배가 된다. AI 서비스의 원가는 사용자 수에 곱해진다. 서버비처럼 나눠지지 않는다.

셋째, 내 시간이 빠져 있다. 이 챗봇을 만드는 데 넉 달 반이 걸렸고 그 시간은 저 숫자 어디에도 없다. 3장이 그 계산이다.

이 셋을 인정하고도 남는 것이 있다. 모델을 쓰는 값 자체는 이미 개인이 감당할 수 있는 수준이다. 그게 이 장이 말하려는 전부다.

5,394원으로 무엇이 돌아가는가

목록으로 보면 실감이 난다. 이 돈으로 넉 달 동안 실제로 돌아간 것들이다.

기능넉 달 지출호출
웹 검색 (grounding)9,805원203회
채팅 본체6,275원1,545회
프로필 분석 (사용자 이해)1,507원65회
영상 실험1,380원5회
대화 관찰 (관계 지표)1,188원266회
실시간 음성 대화748원46회
답변 읽어주기 (TTS)237원14회
질문 분류81원564회
나머지 자동화 전부1,460원3,018회

기억하는 대화, 웹을 뒤져 답하는 검색, 사용자를 이해하는 프로필, 실시간 음성 통화, 답변 낭독, 그리고 관리자 자동화 열 몇 가지. 이 전부가 한 달에 5,394원이다.

여기서 눈여겨볼 것이 하나 있다. 최대 항목이 채팅이 아니라 웹 검색이다. 203회 호출에 9,805원, 건당 48원. 채팅 건당 4원의 열두 배다. 검색은 토큰이 아니라 호출 횟수로 과금되기 때문이다.

그래서 이 서비스에서 "검색을 언제 켤 것인가"는 품질 문제이자 원가 문제다. 모든 질문에 검색을 붙이면 원가가 열 배가 된다. 우리는 질문을 먼저 분류하고(건당 0.14원) 필요한 것만 검색으로 보낸다. 0.14원을 써서 48원을 아끼는 구조다. 이 라우팅 설계는 2부에서 따로 다룬다.

왜 이미지만 다른가

이미지가 비싼 이유는 단가가 높아서만이 아니다. 과금의 단위가 다르기 때문이다.

텍스트  얼마나 길게 말했나 (토큰)   → 연속적, 줄일 수 있다
이미지  몇 장 만들었나 (장)         → 이산적, 줄일 수 없다

텍스트에는 절약 수단이 여러 겹 있다. 더 싼 모델로 내리고, 프롬프트를 줄이고, 히스토리를 요약해서 넣고(4장), 짧게 답하라고 지시할 수 있다. 우리는 이 수단들을 다 써서 채팅 건당 4원을 만들었다.

이미지에는 그런 수단이 없다. 한 장은 한 장이다. 절반만 그려서 절반 값을 낼 수 없다. 쓸 수 있는 손잡이는 두 개뿐이다 — 더 싼 모델을 쓰거나(pro 207원 → flash 97원), 장수를 줄이거나.

그리고 장수는 내가 정하지 않는다. 사용자가 정한다.

이게 결정적이다. 텍스트 원가는 내가 설계로 통제하지만, 이미지 원가는 사용자의 클릭 수가 통제한다. 실제로 7월 14일 하루에 한 사람이 134장을 만들었고 그날만 12,973원이 나갔다. 그 사람은 아무 잘못도 하지 않았다. 마음에 드는 사진이 안 나와서 계속 다시 눌렀을 뿐이다.

그 74.6%를 누가 썼나

이미지 589회를 뜯어보면 이렇다.

모델횟수장당
flash485회97원
pro92회207원
구형 flash6회95원
합계589회66,522원

호출 수로는 전체의 9%⁠다. 금액으로는 74.6%⁠다. 열한 번 중 한 번이 네 번 중 세 번의 값을 쓴다.

그리고 이걸 쓴 사람은 세 명이었다. 넉 달 동안, 세 명이, 500여 장을 만들었다. 사용자 한 명이 서비스 전체 원가의 4분의 3을 좌우한다는 뜻이다.

무료로 열어 둔 서비스에서 이건 그냥 위험이다. 사용자가 백 명이 되면 이미지 비용은 백 배가 되고, 그때는 월 5,394원이 아니라 월 수백만 원이 된다. AI 서비스의 무료 베타는 사용자 수 × 호출당 원가 × 개월이라는 곱셈이고, 이 곱셈을 안 해보고 여는 것이 개인 개발자가 가장 흔히 하는 실수다.

그리고 그중 10%는 헛돈이었다

여기서부터가 이 장에서 가장 값진 부분이라고 생각한다.

우리는 생성된 이미지가 입력과 얼마나 달라졌는지를 매번 잰다. 원본과 결과의 픽셀 차이를 계산해서, 거의 안 바뀌었으면 unchanged 표시를 남긴다. 그 기록을 세어 보면 이렇다.

전체 생성           507장
무변화(unchanged)    51장  =  10%   ≈ 5,814원
429 폴백 발동        77장  =  15%
참조 이미지 사용     81장  =  16%   (= 사진 보정 요청)

열 장 중 한 장은 돈만 나가고 그림은 그대로였다. 사용자는 "다시 생성해도 안 바뀌어요"라고 말하고, 나는 97원을 냈다.

이게 왜 생기는지, 그리고 어떻게 고쳤는지가 3부(8~11장)의 내용이다. 결론만 미리 말하면 원인은 모델의 능력이 아니었다. 우리가 사용자의 요청 앞에 정반대 지시를 붙이고 있었다. 그 한 줄을 찾는 데 두 달이 걸렸다.

여기서 말하고 싶은 것은 다른 것이다. 헛돈이 10%라는 것을 나는 셀 수 있었다. 셀 수 있었던 이유는 생성할 때마다 차이값을 남겼기 때문이고, 그 지표가 없었다면 "가끔 안 바뀌는 것 같다"는 느낌으로 남았을 것이다. 느낌은 고칠 수 없다.

품질 지표는 비용 지표다. 실패한 생성도 성공한 생성과 똑같은 값을 낸다.

단가가 조용히 바뀐다

하나 더. 429 폴백이 15%라는 줄을 그냥 넘기면 안 된다.

이미지 모델은 붐비면 요청을 거절한다. 그때 우리 서비스는 사용자를 빈손으로 돌려보내지 않고 다른 모델로 넘긴다. 사용자 입장에서는 그냥 사진이 나온 것이고, 아무 표시도 없다.

그런데 넘어간 모델은 단가가 다르다. 97원짜리를 요청했는데 207원짜리가 응답했을 수 있다. 폴백은 품질 장치인 동시에 원가 변동 요인이다.

그래서 1장에서 말한 규칙이 여기서 값을 한다 — 계측에는 "요청한 모델"이 아니라 "실제로 응답한 모델"⁠을 적어야 한다. 요청값을 적었다면 15%의 호출에서 단가가 통째로 틀렸을 것이고, 그 오차는 조용했을 것이다.

그래서 설계가 바뀐다

이 장의 숫자들이 서비스 설계에 실제로 만든 변화는 세 가지다.

첫째, 이미지는 채팅과 다른 물건으로 취급한다. 같은 챗봇 안에 있지만 원가 구조가 완전히 다르므로, 한도도 경보도 통계도 따로 본다.

둘째, 이미지에는 지출 한도를 걸지 않는다. 1장에서 말한 그 원칙이다 — 경보의 대상은 큰 것이 아니라 의도하지 않은 것이다. 내가 사진을 백 장 만드는 건 의도한 일이다. 대신 사용자에게는 보이게 한다. 자기가 오늘 몇 장을 썼는지 화면에서 볼 수 있으면, 한도를 거는 것보다 낫다.

셋째, 실패를 센다. 무변화 10%, 폴백 15%는 그냥 숫자가 아니라 개선 목표다. 무변화를 5%로 낮추면 그만큼이 그대로 절감이다.

정리하면

  1. 이미지를 빼면 월 5,394원이다. 검색·채팅·프로필·음성·자동화가 전부 그 안에 있다.
  2. 단, 이건 사용자 세 명 기준이고 내 시간은 빠져 있다.
  3. 이미지가 다른 이유는 단가가 아니라 과금 단위다 — 장은 쪼갤 수 없고, 장수는 사용자가 정한다.
  4. 이미지 제외 최대 항목은 채팅이 아니라 웹 검색(건당 48원)이다.
  5. 생성의 10%는 아무것도 바뀌지 않았다. 그걸 셀 수 있었던 것은 지표를 남겼기 때문이다.

그런데 이 두 장에서 계속 미뤄 온 것이 있다. 시간이다. 월 5,394원짜리 챗봇을 만드는 데 나는 얼마를 쓴 것인가. 다음 장에서 그 나눗셈을 한다. 이 책에서 가장 불편한 장이 될 것이다.