11장
계약은 받는 쪽이 검증한다

앞 장에서 문장을 계획으로 번역하는 단계를 만들었다. 계획에는 규칙이 붙어 있었다.
- from_concept 과 preserve 에 같은 항목이 동시에 들어가면 안 된다(모순).
- 바꾸라고 한 것은 절대 preserve 에 넣지 마라.
그리고 번역기가 그 규칙을 어겼다.
"입을 다물어줘"
9월 3일, 사용자가 사진을 올리고 이렇게 요청했다.
「입을 다물어줘」
번역기는 이걸 정확히 읽었다. intent = expression(표정 변경). 여기까지는 완벽했다.
그런데 같은 계획의 다음 줄이 이랬다.
{
"intent": "expression",
"preserve": ["face", "pose", "composition", "expression"]
}
표정을 바꾸되 표정을 지켜라.
이건 문법적으로 잘 만들어진 JSON이고, 필드 이름도 다 맞고, 값도 허용된 목록 안에 있다. 파싱은 통과한다. 그런데 의미가 자기모순이다.
결과가 고약했다
그날 여섯 건 중 이 요청이 유일하게 제대로 나온 편집이었다. 모델은 모순된 계획을 받고도 사용자가 원한 대로 입을 다물게 했다.
그런데 우리 시스템이 그 결과에 경고를 붙였다.
⚠️ 얼굴이 바뀌었습니다
표정을 바꿨으니 얼굴 부위의 픽셀이 당연히 달라졌고, 우리 변화량 감시기는 그걸 "얼굴이 변형됐다"로 읽었다. 요청대로 잘 해놓고 잘못했다고 알린 것이다.
이게 왜 심각한지는 12장에서 자세히 다루겠지만, 한 줄로 쓰면 이렇다.
거짓 경보는 진짜 경보를 무시하게 만든다.
프롬프트에는 이미 금지돼 있었다
가장 답답했던 부분이 이것이다. 우리가 번역기에게 준 지시에는 그 금지가 명시돼 있었다. "같은 항목이 동시에 들어가면 안 된다"고 한 줄로 적혀 있었고, 모델은 그걸 읽었고, 그리고 어겼다.
여기서 규칙 하나가 나온다. 이 책에서 가장 자주 쓰게 된 것 중 하나다.
프롬프트로 금지하는 것과 출력이 지키는 것은 다르다.
구조화된 출력을 받는다고 계약이 지켜진 게 아니다. JSON 스키마는 모양을 강제하지 뜻을 강제하지 않는다. 필드가 다 있고 타입이 맞아도, 그 조합이 말이 안 될 수 있다.
그래서 결론은 이렇게 된다.
계약은 받는 쪽에서 검증해야 한다.
고치는 데 돈이 들지 않는다
여기가 이 장에서 가장 실무적인 대목이다. 이런 상황에서 흔히 떠올리는 해법은 두 가지다.
하나, 프롬프트를 더 강하게 쓴다. "절대", "반드시", "★중요" 같은 걸 붙인다. 효과가 있을 때도 있지만 보장이 없고, 어겼는지 알 방법도 없다.
둘, 모델에게 다시 물어본다. "이 계획에 모순이 있는지 검토해줘." 이건 확실하지만 호출이 한 번 더 늘고, 그 검사기도 틀릴 수 있다.
우리는 셋째를 택했다. 서버 코드로 잡는다.
def _resolve_contradictions(plan):
"""계획의 자기모순을 서버에서 잡는다. LLM 재호출 없음 = 비용 0."""
keep = plan.get("preserve") or []
take = plan.get("from_concept") or []
intent = plan.get("intent") or ""
# ① 바꾸겠다고 한 것은 지킬 수 없다
drop = set(_INTENT_CHANGES.get(intent, ()))
# ② 컨셉에서 가져올 것도 원본 유지 대상이 될 수 없다
drop |= set(take)
plan["preserve"] = [k for k in keep if k not in drop]
return plan
열 줄이고, 모델을 부르지 않는다. 비용이 0이고 지연이 0이다.
이게 가능한 이유는 검사할 것이 논리적 불변식이기 때문이다. "바꾸겠다고 한 것을 동시에 지킬 수는 없다"는 판단에는 언어 이해가 필요 없다. 의도별로 무엇이 바뀌는지만 표로 적어두면 된다.
_INTENT_CHANGES = {
"expression": ("expression",),
"face_swap": ("face", "expression"),
"add_text": ("text",),
"style": ("color",),
}
앞 장에서 "판정은 규칙이, 해석은 모델이"라고 썼다. 여기서 그 규칙이 한 겹 더 나뉜다.

| 단계 | 누가 | 무엇을 |
|---|---|---|
| 해석 | 모델 | 문장에서 '얼굴'의 역할을 가른다 |
| 검증 | 코드 | 그 결과가 자기모순인지 본다 |
| 실행 | 모델 | 이미지를 만든다 |
모델의 출력과 모델의 입력 사이에 코드가 한 겹 들어간다. 이 구조가 이 장의 전부다.
그런데 face는 남긴다
교정 규칙을 만들 때 한 가지를 일부러 남겼다. face_swap이면 face와 expression을 preserve에서 빼지만, expression(표정만 변경)이면 face는 preserve에 그대로 둔다.
이유는 이렇다.
표정이 바뀌는 것 → 같은 사람이 다른 표정을 짓는다
얼굴이 바뀌는 것 → 다른 사람이 된다
둘은 완전히 다른 일이다. 표정을 바꿔달라고 한 사람은 자기 아이가 웃는 모습을 보고 싶은 것이지, 다른 아이를 보고 싶은 게 아니다.
교정 규칙을 거칠게 만들면 "얼굴 부위가 관련되니 다 풀자"가 되고, 그러면 사람이 바뀐다. 정리한다고 필요한 것까지 지우면 안 된다.
8월에 더 큰 사고가 있었다
같은 병의 더 심한 형태가 그전에 있었다. 하루치 요청 열네 건을 분석했더니 이랬다.
502 실패 3건
사실상 무변화 결과의 절반
그리고 "닮은 아들 예상해줘" 요청에서 원본 두 사람이 사라졌다
결과가 양극단으로 튀었다. 아무것도 안 바뀌거나(변화량 1.31 — 사실상 같은 사진), 인물이 통째로 사라지거나.
원인이 또 모순이었다. 번역기는 "닮은 아들 예상해줘"를 intent=generate(새로 그리기)로 정확히 읽었다. 그런데 preserve에 face를 같이 넣었다.
새로 그려라. 그리고 얼굴은 유지해.
모델은 그 사이에서 갈피를 못 잡았다. 원본을 바탕으로 고치려다 인물을 지우거나, 아니면 안전하게 아무것도 안 했다.
고친 뒤 같은 요청으로 다시 재봤다.
| 변화량 | |
|---|---|
| 고치기 전 | 1.31 (사실상 그대로) |
| 고친 뒤 | 53.23 |
40배다. 새 그림이 실제로 나오기 시작했다.
검증을 어떻게 했나
이 수정들을 배포하기 전에, 그날 실제로 들어온 요청 그대로 다시 태웠다. 결과가 이랬다.
첫 요청 판정 8/12 → 12/12
다듬기 체인 판정 3/4 → 4/4
"딸이 엄마 닮게" 1.31 → 53.23
대조군 5건 회귀 0 ← 멀쩡하던 것이 망가지지 않았는가
마지막 줄이 중요하다. 고친 것보다 안 망가뜨린 것을 확인하는 게 더 어렵다. 판정 규칙을 건드리면 전에 잘 되던 요청이 이제 다르게 분류될 수 있다. 그래서 정상 동작하던 다섯 건을 대조군으로 같이 태웠다.
고칠 때는 고쳐진 것과 함께 안 망가진 것을 같이 증명한다.
그리고 정직하게 적어둔 것이 하나 있다. 그날 502 세 건 중 둘의 원인은 모순이 아니라 폴백 누락이었다. 이미지 모델이 붐빌 때 다른 모델로 넘기는 장치가 정상 경로에는 있는데, '이미지가 안 나와서 강제로 다시 시도하는' 예외 경로에만 빠져 있었다.
폴백은 정상 경로가 아니라 예외 경로에서 필요하다. 그런데 대개 정상 경로에만 붙어 있다.
이 수정은 인위적으로 재현하기 어려워서 검증하지 못한 채 배포했다. 그것도 커밋에 적어뒀다 — 실패하던 자리에 폴백을 더한 구조라 최악이어도 지금과 같다는 근거와 함께.
정리하면
- 번역기가 자기에게 금지된 조합을 출력했다. 표정을 바꾸되 표정을 지켜라.
- JSON 스키마는 모양을 강제하지 뜻을 강제하지 않는다.
- 프롬프트로 금지하는 것과 출력이 지키는 것은 다르다. 계약은 받는 쪽이 검증한다.
- 검증은 코드로 한다. 논리적 불변식이라 언어 이해가 필요 없고, 비용과 지연이 0이다.
- 단, 거칠게 정리하면 안 된다. 표정이 바뀌는 것과 사람이 바뀌는 것은 다르다.
- 같은 병의 큰 형태가 8월에 있었다. "새로 그려라 + 얼굴은 유지해"가 결과를 양극단으로 튀게 했고, 고친 뒤 변화량이 1.31 → 53.23이 됐다.
- 검증할 때는 대조군을 같이 태운다. 안 망가졌음을 증명하는 게 더 어렵다.
- 폴백은 예외 경로에 필요한데, 대개 정상 경로에만 붙어 있다.
이 장에서 계속 등장한 것이 하나 있다. 변화량이라는 숫자다. 편집 결과가 원본에서 얼마나 벗어났는지를 재는 값이고, 이 책의 여러 판단이 그 숫자 위에 서 있다.
그런데 그 숫자에 문제가 하나 있었다. 직전과만 비교하고 있었다. 다음 장이 그 이야기다.