12장
직전만 재면 아무도 못 센다

앞의 세 장에서 계속 숫자 하나가 나왔다. 변화량이다. 편집 결과가 원본에서 얼마나 달라졌는지를 재는 값이고, 이 서비스의 여러 판단이 그 위에 서 있다.
이 장은 그 숫자를 어떻게 만들고, 어디에 선을 긋고, 그리고 그 선을 어느 쪽으로 기울일지에 대한 것이다. 이미지 파트의 마지막 장이다.
두 가지 실패
사용자가 사진 편집에서 겪는 실패는 크게 둘이다.
"다시 생성해도 안 바뀌어요" → 요청이 그림에 반영되지 않음
"얼굴만 유지해달라니까 다 바꿔요" → 지켜야 할 것이 지켜지지 않음
둘 다 에러가 아니다. 서버는 200을 돌려주고, 그림이 나오고, 돈이 나간다. 오직 사람만 알아챌 수 있는 실패다.
그래서 기계가 알아채게 만들어야 했다.
두 개의 숫자로 잰다
원본과 결과를 격자로 잘라 픽셀 차이를 계산하고, 거기서 두 개의 값을 뽑는다.
| 무엇을 보나 | |
|---|---|
| mean | 그림 전체가 얼마나 달라졌나 |
| top5 | 가장 많이 달라진 국소 부분이 얼마나 달라졌나 |
이 둘을 나누는 게 핵심이다. 하나만으로는 못 가른다.
배경만 바꾼 편집은 전체가 크게 달라지지만(mean 큼) 특정 부위만 튀지는 않는다. 반대로 얼굴만 바뀐 경우는 전체로 보면 작다 — 얼굴은 사진의 3~5%밖에 안 되니까 — 대신 그 부위의 국소값이 크게 튄다.
즉 mean과 top5의 조합이 무슨 일이 일어났는지의 지문이 된다.
임계는 추측이 아니라 분포에서
여기서 이 장의 첫 번째 원칙이 나온다. 나는 처음에 이 숫자들의 경계를 감으로 잡으려 했다. "한 5쯤이면 많이 바뀐 거겠지" 같은 식이다.
그러지 않고, 실제 사례를 모아 숫자가 어디에 모이는지를 봤다.

top5 눈금 (국소 변화량)
0.0 진짜 무변화 — 아무 일도 안 일어남
2.71 얼굴이 잘 유지된 편집
6.5 ┄┄┄┄┄ 얼굴 드리프트 경계
8.8 제대로 바뀐 편집
14.61 얼굴이 바뀐 사례
16.25 얼굴이 바뀐 사례
21.7 얼굴이 바뀐 사례
25.0 ┄┄┄┄┄ 누적 드리프트 경계
27.67 얼굴이 바뀐 사례
129.4 구도까지 무너진 사례
숫자들이 덩어리로 모인다. 무변화는 0 근처, 정상 편집은 3~20 사이, 붕괴는 백 단위다. 그 덩어리들 사이의 빈 구간에 선을 그으면 된다.
임계값은 정하는 게 아니라 찾는 것이다. 데이터가 어디에 모이는지 보면 선이 보인다.
이걸 계속 하려고 관리자에 이미지 품질 탭을 따로 만들었다. 생성 기록의 변화량 분포를 히스토그램으로 보여주는 화면이고, 목적은 하나다 — 임계를 추측하지 말고 분포로 정한다.
그리고 — 어느 쪽으로 기울일 것인가
경계를 찾았다고 끝이 아니다. 경계 근처의 애매한 것들을 어느 쪽으로 보낼지를 정해야 한다.
무변화 판정을 예로 들면 두 가지 틀리는 방식이 있다.
| 오류 | 무슨 일이 벌어지나 |
|---|---|
| 실제로 바뀐 걸 "안 바뀜"으로 판정 | 사용자에게 "안 바뀌었어요"라고 거짓 안내 → 재시도 유발 → 돈이 또 나감 |
| 안 바뀐 걸 "바뀜"으로 판정 | 안내가 안 뜬다 |
두 오류의 무게가 다르다. 앞의 것은 사용자를 속이고 돈을 쓰게 만들고, 뒤의 것은 친절함이 하나 빠지는 정도다.
그래서 판정을 '변경됨' 쪽으로 기울였다. 코드 주석에 이렇게 적혀 있다.
무효로 잘못 보면 사용자에게 "안 바뀌었어요"라고 거짓 안내를 하고 재시도를 유발한다(실제 사고). 반대 오류는 안내가 안 뜨는 정도라 훨씬 가볍다.
임계를 정할 때는 정확도가 아니라 두 오류의 대가를 비교한다.
그런데 직전만 재고 있었다
여기까지 만들어놓고 두 달을 썼다. 그리고 9월에 이 시스템의 큰 구멍을 발견했다.
우리는 매번 직전 그림과 비교하고 있었다.
사진 편집은 한 번에 끝나지 않는다. 배경을 바꾸고, 표정을 다듬고, 옷을 바꾸고… 이어서 다듬는다. 그때마다 "직전 대비 얼마나 변했나"를 재면 각 턴은 전부 정상 범위 안이다.
1턴 직전 대비 3 → 조용함
2턴 직전 대비 3 → 조용함
3턴 직전 대비 3 → 조용함
4턴 직전 대비 3 → 조용함
5턴 직전 대비 3 → 조용함
─────────────────────────────
원본 대비 한참 벗어남
한 턴에 3씩만 움직여도 다섯 턴이면 원본에서 멀어지는데, 지표는 매번 "조용함"이라고 말한다.
이게 이론이 아니라는 증거가 있었다. 어떤 사용자가 결과가 마음에 안 들어 원본으로 되돌리려고 다섯 번 재시도했고, 다섯 번 다 더 나빠졌다. 되돌리려는 시도 자체가 또 하나의 편집이라 원본에서 더 멀어졌기 때문이다. 그동안 우리 감시기는 아무 말도 하지 않았다.
고치는 데 돈이 들지 않았다
해법은 허무할 만큼 간단했다. 원본과도 비교하면 된다.
그리고 그 원본을 서버가 이미 갖고 있었다. 얼굴을 고정하려고 체인의 첫 이미지를 계속 들고 다니기 때문이다. 한 번 더 재는 데 드는 것은 계산 몇 밀리초뿐이고, 모델 호출이 없으니 비용이 0이다.
input_diff 직전과의 차이 ← 원래 있던 것
origin_diff 원본과의 차이 ← 추가한 것 (비용 0)
경계는 25로 잡았다. 근거는 앞의 눈금이다 — 정상 편집 대역(8.8~21.7) 위, 구도 붕괴(129) 아래. 편집을 거듭하면 원본에서 멀어지는 게 당연하니 한 턴 기준(6.5)보다 넉넉하게 잡아야 하고, 경고해야 할 것은 '되돌리려다 더 망가진' 경우다.
그리고 이 발견에서 가장 마음에 걸렸던 것을 적어둔다. 화면에는 [처음 원본으로 시작하기] 버튼이 이미 있었다.
없던 것은 버튼이 아니라 언제 누르라는 신호였다.
기능은 다 있는데 그것을 쓸 때를 알려주는 지표가 없었다. 그리고 사용자는 그 버튼이 있는 줄도 몰랐다.
거짓 경보를 껐다
같은 날 반대쪽 문제도 잡았다. 11장에서 말한 그 사건이다 — 제대로 나온 편집에 "얼굴이 바뀌었다" 경고가 붙었다.
원인은 예외 처리의 구멍이었다. 얼굴 드리프트 감지기는 "참조 사진에서 얼굴을 가져오는 경우"만 예외로 뒀는데, 참조 없이 말로만 "입을 다물어줘" 하면 그 예외에 안 걸린다. 표정을 바꿨으니 얼굴 부위 픽셀이 당연히 변하고, 감시기는 그걸 변형으로 읽는다.
고침은 한 줄이다. 의도가 face_swap이나 expression이면 경고하지 않는다. 바꿔달라고 한 것이 바뀐 것에 경고할 이유가 없다.
거짓 경보는 진짜 경보를 무시하게 만든다.
경보 시스템에서 이건 가장 흔한 사망 원인이다. 한 번 "저건 원래 저래"가 되면, 그 다음부터 진짜 경보도 같은 취급을 받는다. 1장에서 주간 한도를 100만 원으로 걸어두고 아무것도 못 잡았던 것과 짝을 이룬다 — 울리지 않는 경보와 늘 울리는 경보는 똑같이 쓸모없다.
오늘도 두 개를 고쳤다
이 장을 쓰는 오늘(9월 7일), 같은 지표에서 두 가지가 더 나왔다. 이 시스템이 아직 완성되지 않았다는 증거라서 그대로 적는다.
첫째, '한쪽만 조용한' 경우를 놓치고 있었다. 무변화 판정이 "전체도 조용하고 국소도 조용할 때"라는 AND 조건이었다. 그런데 실측에서 이런 게 나왔다.
mean 0.57 / top5 1.86 → 잡혔다
mean 0.61 / top5 4.25 → 안 잡혔다
사용자에게는 둘 다 똑같이 "아무것도 안 바뀜"인데 한쪽만 안내가 나갔다. 그래서 "전체가 사실상 그대로면(mean < 1.5) 국소와 무관하게 무효로 본다"는 경로를 추가했다.
둘째, 얼굴이 아닌 변화를 얼굴로 오인하고 있었다. 운영 중에 "요청하지 않은 변형"이라는 제보를 받고 재현해 봤다. 이미지를 격자로 잘라 얼굴 영역과 그 밖을 따로 재봤더니 이랬다.
전체 26.7 ~ 44.9
얼굴 셀 10.6 ~ 13.8 ← 작다
얼굴 밖 27.0 ~ 45.6 ← 여기가 컸다
변화의 대부분이 얼굴 밖(팔 자세, 다리, 쿠션)이었고, 얼굴을 확대해 눈으로 봐도 거의 같았다. 국소값만 보고 "얼굴이 바뀌었다"고 경고하고 있었던 것이다.
가르는 지문은 mean이었다. 얼굴은 사진의 3~5%라, 얼굴만 바뀌면 전체 평균은 작다.
얼굴만 교체 mean 1.59
전역 변형 mean 4.08 ~ 5.46
구도 변경 mean 25.96
그 사이를 갈라 3.0으로 상한을 뒀다. 국소가 크더라도 전체가 3.0을 넘으면 얼굴 문제가 아니다.
추정인 것은 추정이라고 적는다
마지막 임계값에는 주석이 이렇게 끝난다.
n이 많지 않아 추정 경계이고 env로 조정 가능하다.
이 한 줄이 중요하다고 생각한다. 사례 몇 개로 그은 선을 확정된 사실처럼 코드에 박아두면, 다음 사람은(또는 석 달 뒤의 나는) 그 숫자를 신성한 것으로 여긴다. 어떤 근거로 그었고 얼마나 확실한지를 같이 적어야 고칠 수 있다.
이 서비스의 임계값은 전부 설정으로 뺐다. 배포 없이 바꿀 수 있고, 바꿔 보고 되돌릴 수 있다. 자신 없는 숫자일수록 밖으로 빼둔다.
정리하면
- 사진 편집의 실패는 에러가 아니다. 200이 나오고 그림이 나오고 돈이 나간다.
- 전체(mean)와 국소(top5)를 나눠 재면 무슨 일이 일어났는지의 지문이 된다.
- 임계값은 감으로 정하지 않고 분포에서 찾는다. 덩어리 사이의 빈 구간에 선을 긋는다.
- 그리고 두 오류의 대가를 비교해 어느 쪽으로 기울일지 정한다. 거짓 "안 바뀌었어요"가 훨씬 해롭다.
- 직전과만 비교하면 조금씩 멀어지는 것을 아무도 못 센다. 원본과도 재야 한다.
- 그 원본은 이미 갖고 있었다 — 추가 비용 0.
- 거짓 경보는 진짜 경보를 무시하게 만든다. 요청대로 바뀐 것에 경고하지 않는다.
- 화면에 버튼은 있었다. 없던 것은 언제 누르라는 신호였다.
- 추정인 경계는 추정이라고 적고, 설정으로 빼둔다.
여기까지가 사진이다. 다음 세 장은 목소리다. 사진이 조용히 틀리는 영역이었다면, 목소리는 네 번을 갈아엎고도 내가 잘못 재고 있었던 영역이다.