‹ 차례9장

9장

편집 네 건이 전멸한 원인은 EXIF 한 줄이었다

AI 챗봇, 직접 만들면 월 5,400원 · 9분

3부는 감각이다. 사진과 목소리 — 이 서비스에서 가장 많이 실패한 영역이고, 그래서 배운 것이 가장 많은 영역이다.

먼저 지도를 놓는다. 사진 편집 요청 하나가 지나는 전체 경로이고, 9장부터 12장까지는 이 경로 위의 한 지점씩이다.

그림 3-0 · 사진 편집 요청 한 건이 지나는 길
그림 3-0 · 사진 편집 요청 한 건이 지나는 길

이 장은 그 맨 위 — 단일 관문에서 벌어진 일이다.

하루치 기록에서 시작한다. 9월 3일, 한 사용자가 사진 편집을 여섯 번 요청했다. 성적표는 이랬다.

성공        1건
부분 성공    1건
실패·무변화  4건
쓴 돈       $0.42 — 대부분이 헛돈

세 번 중 두 번이 헛돈이었다. 그리고 이 여섯 건을 뜯어보다가, 두 달 동안 못 찾던 것을 찾았다.

무엇을 의심했나

처음 의심한 것은 순서대로 이랬다.

모델이 못 하는 건가. 얼굴을 유지하면서 배경만 바꾸는 건 어려운 일이니, 모델의 한계일 수 있다. 실제로 다른 모델로 바꿔 실험도 해봤다.

프롬프트가 나쁜가. 지시가 모호해서 모델이 헷갈리는 걸 수도 있다. 보존 계약을 더 강하게 쓰고, 문장을 다듬었다.

요청이 애매한가. 사용자가 원하는 걸 정확히 말하지 않아서일 수도 있다.

셋 다 어느 정도 맞는 말이었고, 셋 다 진짜 원인이 아니었다.

성공과 실패를 가른 선

여섯 건을 표로 늘어놓고 공통점을 찾았다. 실패한 넷과 성공한 하나 사이에는 딱 하나의 차이가 있었다.

폰으로 세로로 찍은 사진이냐 아니냐.

우리 시스템은 편집 결과가 원본에서 얼마나 벗어났는지를 매번 잰다(11장에서 자세히 다룬다). 그 수치를 붙여 보면 선이 선명하다.

얼굴 변형 수치임계 6.5 대비
회전된 사진 4건139 ~ 14121배
회전 정보 없던 사진정상—

21배다. 이건 "조금 안 좋았다"가 아니라 "완전히 다른 사람이 나왔다"는 뜻이다.

폰 사진은 옆으로 누워 있다

원인은 사진 파일의 구조에 있었다.

스마트폰으로 세로 사진을 찍으면, 파일 안의 픽셀은 세로로 저장되지 않는다. 카메라 센서는 늘 같은 방향으로 붙어 있으니 픽셀은 센서가 본 그대로, 즉 가로로 저장된다. 대신 파일에 태그 한 줄이 붙는다.

EXIF Orientation = 6      →  "볼 때 시계방향으로 90도 돌려라"

사진 앱, 브라우저, 갤러리는 전부 이 태그를 읽고 알아서 돌려서 보여준다. 그래서 우리는 평생 이 사실을 모르고 산다. 화면에서는 늘 똑바로 보이니까.

우리 코드는 그 태그를 읽지 않았다. 파일에서 픽셀을 꺼내 그대로 모델에 넘겼다.

AI는 옆으로 누운 얼굴을 편집하고 있었다.

그림 9-1 · 우리만 옆으로 보고 있었다
그림 9-1 · 우리만 옆으로 보고 있었다

여기서 모든 것이 설명된다. 얼굴이 90도 돌아가 있으니 모델은 그것을 얼굴로 제대로 인식하지 못했고, 인식하지 못한 채로 "이 얼굴을 유지하라"는 지시를 받았고, 그래서 유지하지 못했다. 그리고 우리 변화량 측정기는 원본(누운 것)과 결과(누운 것)를 비교하고 있었으니, 그 수치마저 방향이 뒤틀린 상태에서 잰 값이었다.

프롬프트를 백 번 고쳐도 못 찾았을 문제다. 입력이 틀려 있었다.

고친 방법 — 관문을 하나로

고치는 방법 자체는 라이브러리 한 줄이다. 파이썬 이미지 라이브러리에 exif_transpose라는 함수가 있어서 태그를 읽어 픽셀을 실제로 돌려준다.

중요한 것은 어디에 넣느냐였다.

이미지가 들어오는 경로가 여러 개다. 편집할 원본, 참조로 넘기는 사진, 얼굴을 고정하려고 주는 기준 이미지, 카드 만들 때 쓰는 재료. 각 경로마다 보정을 넣으면 하나는 반드시 빠진다. 1장에서 이미지 비용 로그를 네 번 놓친 것과 정확히 같은 구조다.

그래서 모든 이미지가 반드시 지나는 한 곳을 찾았다. 브라우저에서 올라온 데이터를 실제 바이트로 바꾸는 함수다.

def _decode_image_b64(image_b64):
    ...
    raw = base64.b64decode(image_b64)
    # ★모든 입력이 이 관문을 지난다 —
    #   여기서 세워두면 아래 전 경로가 같은 방향을 본다
    return _apply_exif_rotation(raw)

주석에 적어둔 문장이 이 장의 규칙이다.

여기서 한 번 바로잡으면 모델 입력·저장본·변화량 비교가 전부 같은 방향을 본다.

방향이 틀린 것보다 나쁜 것은 어디는 맞고 어디는 틀린 것이다. 모델에는 똑바로 보내면서 비교는 누운 것으로 하면, 지표가 거짓말을 시작한다.

그 안에 방어가 네 겹 있다

보정 함수는 열 몇 줄인데, 그 안에 방어가 넷 들어 있다. 이 넷이 이 장에서 가장 실무적인 부분이다.

① 회전 정보가 없으면 아무것도 하지 않는다.

if (im.getexif() or {}).get(274, 1) in (1, None):
    return data      # 재인코딩하지 않는다 — 무손실

태그가 없는 사진(스크린샷, 이미 처리된 이미지)은 원본 바이트를 그대로 돌려준다. 열었다 다시 저장하면 그 자체로 화질이 깎이기 때문이다. 고칠 게 없으면 손대지 않는다.

② 재인코딩이 입력 한도를 넘지 않게 한다.

방향을 고치려면 이미지를 다시 저장해야 하는데, 그 결과가 원본보다 커질 수 있다. 우리 서비스의 입력 한도는 8MB다. 방향을 고치려다 편집 자체가 거부되면 본말전도다.

if max(fixed.size) > 3000:
    fixed.thumbnail((3000, 3000), LANCZOS)

긴 변을 3000px로 줄인다. 근거가 주석에 있다 — 모델 출력은 어차피 100만 화소 수준이라, 2400만 화소를 그대로 보내도 화질 이득이 없다.

③ 그래도 크면 품질을 세 단계로 조인다.

for quality in (92, 85, 75):
    ...
    if len(out) <= 7_500_000:
        return out

92로 저장해 보고, 크면 85, 그래도 크면 75. 8MB 한도에 7.5MB를 목표로 잡은 것은 여유분이다.

④ 보정에 실패하면 원본을 쓴다.

except Exception as e:
    logger.warning("EXIF 방향 보정 실패(원본 사용)")
    return data

이게 가장 중요하다. 방향 보정은 품질을 높이는 장치이지 편집의 전제 조건이 아니다. 어떤 이상한 파일이 들어와서 보정이 실패하더라도, 편집은 되어야 한다. 4장에서 요약이 실패해도 대화가 이어지게 만든 것과 같은 원칙이다.

부가 기능은 실패해도 본 기능을 막지 않는다.

실측 결과는 이랬다. 5712×4284 가로(인물이 누워 있음) → 2250×3000 세로(똑바로), 1.7MB로 한도 안이었다.

같은 병이 출력에도 있었다

이 장을 쓰면서 이력을 뒤지다가, 두 달 전에 같은 계열의 사고가 있었다는 걸 알았다.

7월, 세로 사진(896×1195)을 편집했는데 결과가 가로(1200×896)로 나왔다. 사용자 입장에서는 사진이 통째로 다시 잘린 셈이라 "더 이상해진" 결과다.

원인은 우리가 출력 비율을 지정하지 않았기 때문이었다. 지정하지 않으면 모델이 알아서 하는데, 대개는 입력 비율을 따라가지만 간헐적으로 뒤집힌다. 그래서 입력 사진의 비율을 재서 가장 가까운 값을 명시적으로 지정하도록 고쳤다.

_ASPECTS = {"1:1", "2:3", "3:2", "3:4", "4:3", "4:5", "5:4", "9:16", "16:9", "21:9"}
# 입력 비율에 가장 가까운 것을 골라 명시 지정

그리고 8월에 그 고침이 다시 문제를 만들었다. 기념 카드를 만드는 기능이 가로로 된 표지 사진을 재료로 쓰자, 카드까지 가로로 나왔다. 입력 비율을 따르는 규칙이 "편집"에는 맞지만 "새로 만들기"에는 틀렸던 것이다. 그래서 호출하는 쪽이 비율을 덮어쓸 수 있는 통로를 따로 냈다.

세 사건을 나란히 놓으면 하나의 주제가 보인다.

시점무엇이 틀렸나
7월출력 비율을 안 정해서 뒤집혔다
8월비율을 입력에서 가져오게 해서 카드가 뒤집혔다
9월입력 방향을 안 읽어서 얼굴이 누웠다

이미지에서 방향과 비율은 조용히 틀리는 값이다. 에러가 안 나고, 로그에 안 찍히고, 결과만 이상해진다. 그리고 사용자는 "AI가 이상하다"고 말한다.

나머지 두 가지 결함

그날 여섯 건에서 EXIF 말고도 둘이 더 나왔다. 둘 다 짧지만 성격이 다르다.

얼굴 참조가 배경까지 끌어왔다. 얼굴을 고정하려고 원본 사진을 참조로 함께 넘기는데, 지시문이 *"이 참조와 동일하게 유지"*라고만 되어 있었다. 그래서 모델이 참조의 배경까지 가져와서, 앞 턴에서 바꿔놓은 배경을 원래대로 되돌렸다. 사용자가 "배경은 그대로 두고"라고 명시한 바로 그 턴에서.

원인은 명확하다. 가져올 것만 말하고, 가져오면 안 될 것을 말하지 않았다. 그래서 지금은 배경·장소·조명·색감·구도·의상·소품은 반영 금지라고 명시한다.

참조를 줄 때는 "무엇을 보라"와 "무엇을 보지 마라"를 같이 말해야 한다.

두 글자 요청에 임의 해석 + 허위 안내. 사용자가 "아이" 두 글자만 보냈다. 우리 의도 해석기는 그걸 "화질 개선"으로 멋대로 읽었고, 실제로는 거의 바뀌지 않았는데 "화질과 디테일을 개선했습니다"라고 답했다.

두 개의 잘못이 겹쳐 있다. 모르는 요청을 추측한 것, 그리고 하지 않은 일을 했다고 말한 것. 후자가 더 나쁘다. 사용자는 결과를 보고 "이게 개선된 건가?" 하며 자기 눈을 의심하게 된다.

지금은 네 글자 미만이면 생성하지 않고 되묻는다.

모르면 추측하지 말고 묻는다. 그리고 안 한 일을 했다고 말하지 않는다.

무엇을 배웠나

첫째, 프롬프트를 고치기 전에 입력을 본다. 나는 두 달 동안 모델과 문장을 의심했다. 원인은 파일 안의 태그 한 줄이었다. AI 기능이 이상할 때 모델은 가장 나중에 의심할 것이다.

둘째, 관문은 하나여야 한다. 입력 경로마다 보정을 넣으면 반드시 하나가 빠진다. 모든 것이 지나는 지점을 찾아 거기 한 번만 세운다.

셋째, 조용히 틀리는 값을 찾아야 한다. 방향, 비율, 좌표계, 시간대, 인코딩 — 이런 것들은 에러를 내지 않는다. 결과만 이상해지고, 그 이상함은 사용자가 발견한다.

넷째, 헛돈은 세어야 보인다. 저 여섯 건의 성적표는 우리가 편집 결과의 변화량을 매번 기록했기 때문에 만들 수 있었다. 그 지표가 없었다면 "요즘 편집이 잘 안 되는 것 같다"는 느낌으로 남았을 것이고, 나는 계속 프롬프트를 고치고 있었을 것이다.

다음 장은 그 "프롬프트를 고치던 두 달"의 이야기다. 같은 요청이 표현에 따라 되기도 하고 안 되기도 했다. 그 이유는 모델이 아니라 우리가 붙인 문장에 있었다.