‹ 차례11장

11장

계약은 받는 쪽이 검증한다

AI 챗봇, 직접 만들면 월 5,400원 · 7분

앞 장에서 문장을 계획으로 번역하는 단계를 만들었다. 계획에는 규칙이 붙어 있었다.

- from_concept 과 preserve 에 같은 항목이 동시에 들어가면 안 된다(모순).
- 바꾸라고 한 것은 절대 preserve 에 넣지 마라.

그리고 번역기가 그 규칙을 어겼다.

"입을 다물어줘"

9월 3일, 사용자가 사진을 올리고 이렇게 요청했다.

「입을 다물어줘」

번역기는 이걸 정확히 읽었다. intent = expression(표정 변경). 여기까지는 완벽했다.

그런데 같은 계획의 다음 줄이 이랬다.

{
  "intent": "expression",
  "preserve": ["face", "pose", "composition", "expression"]
}

표정을 바꾸되 표정을 지켜라.

이건 문법적으로 잘 만들어진 JSON이고, 필드 이름도 다 맞고, 값도 허용된 목록 안에 있다. 파싱은 통과한다. 그런데 의미가 자기모순이다.

결과가 고약했다

그날 여섯 건 중 이 요청이 유일하게 제대로 나온 편집이었다. 모델은 모순된 계획을 받고도 사용자가 원한 대로 입을 다물게 했다.

그런데 우리 시스템이 그 결과에 경고를 붙였다.

⚠️ 얼굴이 바뀌었습니다

표정을 바꿨으니 얼굴 부위의 픽셀이 당연히 달라졌고, 우리 변화량 감시기는 그걸 "얼굴이 변형됐다"로 읽었다. 요청대로 잘 해놓고 잘못했다고 알린 것이다.

이게 왜 심각한지는 12장에서 자세히 다루겠지만, 한 줄로 쓰면 이렇다.

거짓 경보는 진짜 경보를 무시하게 만든다.

프롬프트에는 이미 금지돼 있었다

가장 답답했던 부분이 이것이다. 우리가 번역기에게 준 지시에는 그 금지가 명시돼 있었다. "같은 항목이 동시에 들어가면 안 된다"고 한 줄로 적혀 있었고, 모델은 그걸 읽었고, 그리고 어겼다.

여기서 규칙 하나가 나온다. 이 책에서 가장 자주 쓰게 된 것 중 하나다.

프롬프트로 금지하는 것과 출력이 지키는 것은 다르다.

구조화된 출력을 받는다고 계약이 지켜진 게 아니다. JSON 스키마는 모양을 강제하지 뜻을 강제하지 않는다. 필드가 다 있고 타입이 맞아도, 그 조합이 말이 안 될 수 있다.

그래서 결론은 이렇게 된다.

계약은 받는 쪽에서 검증해야 한다.

고치는 데 돈이 들지 않는다

여기가 이 장에서 가장 실무적인 대목이다. 이런 상황에서 흔히 떠올리는 해법은 두 가지다.

하나, 프롬프트를 더 강하게 쓴다. "절대", "반드시", "★중요" 같은 걸 붙인다. 효과가 있을 때도 있지만 보장이 없고, 어겼는지 알 방법도 없다.

둘, 모델에게 다시 물어본다. "이 계획에 모순이 있는지 검토해줘." 이건 확실하지만 호출이 한 번 더 늘고, 그 검사기도 틀릴 수 있다.

우리는 셋째를 택했다. 서버 코드로 잡는다.

def _resolve_contradictions(plan):
    """계획의 자기모순을 서버에서 잡는다. LLM 재호출 없음 = 비용 0."""
    keep = plan.get("preserve") or []
    take = plan.get("from_concept") or []
    intent = plan.get("intent") or ""

    # ① 바꾸겠다고 한 것은 지킬 수 없다
    drop = set(_INTENT_CHANGES.get(intent, ()))
    # ② 컨셉에서 가져올 것도 원본 유지 대상이 될 수 없다
    drop |= set(take)

    plan["preserve"] = [k for k in keep if k not in drop]
    return plan

열 줄이고, 모델을 부르지 않는다. 비용이 0이고 지연이 0이다.

이게 가능한 이유는 검사할 것이 논리적 불변식이기 때문이다. "바꾸겠다고 한 것을 동시에 지킬 수는 없다"는 판단에는 언어 이해가 필요 없다. 의도별로 무엇이 바뀌는지만 표로 적어두면 된다.

_INTENT_CHANGES = {
    "expression": ("expression",),
    "face_swap":  ("face", "expression"),
    "add_text":   ("text",),
    "style":      ("color",),
}

앞 장에서 "판정은 규칙이, 해석은 모델이"라고 썼다. 여기서 그 규칙이 한 겹 더 나뉜다.

그림 11-1 · 모델과 모델 사이에 코드를 한 겹
그림 11-1 · 모델과 모델 사이에 코드를 한 겹
단계누가무엇을
해석모델문장에서 '얼굴'의 역할을 가른다
검증코드그 결과가 자기모순인지 본다
실행모델이미지를 만든다

모델의 출력과 모델의 입력 사이에 코드가 한 겹 들어간다. 이 구조가 이 장의 전부다.

그런데 face는 남긴다

교정 규칙을 만들 때 한 가지를 일부러 남겼다. face_swap이면 face와 expression을 preserve에서 빼지만, expression(표정만 변경)이면 face는 preserve에 그대로 둔다.

이유는 이렇다.

표정이 바뀌는 것    →  같은 사람이 다른 표정을 짓는다
얼굴이 바뀌는 것    →  다른 사람이 된다

둘은 완전히 다른 일이다. 표정을 바꿔달라고 한 사람은 자기 아이가 웃는 모습을 보고 싶은 것이지, 다른 아이를 보고 싶은 게 아니다.

교정 규칙을 거칠게 만들면 "얼굴 부위가 관련되니 다 풀자"가 되고, 그러면 사람이 바뀐다. 정리한다고 필요한 것까지 지우면 안 된다.

8월에 더 큰 사고가 있었다

같은 병의 더 심한 형태가 그전에 있었다. 하루치 요청 열네 건을 분석했더니 이랬다.

502 실패        3건
사실상 무변화    결과의 절반
그리고 "닮은 아들 예상해줘" 요청에서 원본 두 사람이 사라졌다

결과가 양극단으로 튀었다. 아무것도 안 바뀌거나(변화량 1.31 — 사실상 같은 사진), 인물이 통째로 사라지거나.

원인이 또 모순이었다. 번역기는 "닮은 아들 예상해줘"를 intent=generate(새로 그리기)로 정확히 읽었다. 그런데 preserve에 face를 같이 넣었다.

새로 그려라. 그리고 얼굴은 유지해.

모델은 그 사이에서 갈피를 못 잡았다. 원본을 바탕으로 고치려다 인물을 지우거나, 아니면 안전하게 아무것도 안 했다.

고친 뒤 같은 요청으로 다시 재봤다.

변화량
고치기 전1.31 (사실상 그대로)
고친 뒤53.23

40배다. 새 그림이 실제로 나오기 시작했다.

검증을 어떻게 했나

이 수정들을 배포하기 전에, 그날 실제로 들어온 요청 그대로 다시 태웠다. 결과가 이랬다.

첫 요청 판정      8/12  →  12/12
다듬기 체인 판정   3/4   →  4/4
"딸이 엄마 닮게"   1.31  →  53.23
대조군 5건        회귀 0     ← 멀쩡하던 것이 망가지지 않았는가

마지막 줄이 중요하다. 고친 것보다 안 망가뜨린 것을 확인하는 게 더 어렵다. 판정 규칙을 건드리면 전에 잘 되던 요청이 이제 다르게 분류될 수 있다. 그래서 정상 동작하던 다섯 건을 대조군으로 같이 태웠다.

고칠 때는 고쳐진 것과 함께 안 망가진 것을 같이 증명한다.

그리고 정직하게 적어둔 것이 하나 있다. 그날 502 세 건 중 둘의 원인은 모순이 아니라 폴백 누락이었다. 이미지 모델이 붐빌 때 다른 모델로 넘기는 장치가 정상 경로에는 있는데, '이미지가 안 나와서 강제로 다시 시도하는' 예외 경로에만 빠져 있었다.

폴백은 정상 경로가 아니라 예외 경로에서 필요하다. 그런데 대개 정상 경로에만 붙어 있다.

이 수정은 인위적으로 재현하기 어려워서 검증하지 못한 채 배포했다. 그것도 커밋에 적어뒀다 — 실패하던 자리에 폴백을 더한 구조라 최악이어도 지금과 같다는 근거와 함께.

정리하면

  1. 번역기가 자기에게 금지된 조합을 출력했다. 표정을 바꾸되 표정을 지켜라.
  2. JSON 스키마는 모양을 강제하지 뜻을 강제하지 않는다.
  3. 프롬프트로 금지하는 것과 출력이 지키는 것은 다르다. 계약은 받는 쪽이 검증한다.
  4. 검증은 코드로 한다. 논리적 불변식이라 언어 이해가 필요 없고, 비용과 지연이 0이다.
  5. 단, 거칠게 정리하면 안 된다. 표정이 바뀌는 것과 사람이 바뀌는 것은 다르다.
  6. 같은 병의 큰 형태가 8월에 있었다. "새로 그려라 + 얼굴은 유지해"가 결과를 양극단으로 튀게 했고, 고친 뒤 변화량이 1.31 → 53.23이 됐다.
  7. 검증할 때는 대조군을 같이 태운다. 안 망가졌음을 증명하는 게 더 어렵다.
  8. 폴백은 예외 경로에 필요한데, 대개 정상 경로에만 붙어 있다.

이 장에서 계속 등장한 것이 하나 있다. 변화량이라는 숫자다. 편집 결과가 원본에서 얼마나 벗어났는지를 재는 값이고, 이 책의 여러 판단이 그 숫자 위에 서 있다.

그런데 그 숫자에 문제가 하나 있었다. 직전과만 비교하고 있었다. 다음 장이 그 이야기다.