‹ 차례20장

20장

영상 파이프라인을 두 번 만들고 두 번 지웠다

AI 챗봇, 직접 만들면 월 5,400원 · 7분

앞 장이 "상한이 없는 것"이었다면, 이 장은 "벽이 있는 것"⁠이다.

나는 AI 영상 파이프라인을 두 번 만들었다. 각각 나흘이 걸렸고, 둘 다 지웠다.

1차   7월 5일 → 7월 8일    나흘 만에 만들고 사흘 뒤 삭제
2차   7월 21일 → 7월 24일   나흘 만에 만들고 사흘 뒤 비활성

여드레다. 그리고 이 장에서 가장 아픈 사실은 첫 번째를 지우면서 이미 답을 알고 있었다는 것이다.

벽부터 확인했다

시작은 단순한 질문이었다. AI로 30초짜리 영상을 만들 수 있나.

당시 최고 수준의 영상 모델에 16초를 요청해 봤다. 답이 이랬다.

Unsupported output video duration 16 seconds,
supported durations are [8, 4, 6]

4초, 6초, 8초만 된다. 8초가 최대다.

이건 프롬프트로 넘을 수 있는 벽이 아니다. API가 요청 자체를 거부한다. 그래서 30초를 만들려면 8초짜리 네 개를 이어 붙이는 수밖에 없다.

여기서 두 갈래가 있었다.

확장(extend) — 직전 클립의 끝을 씨앗으로 이어서 생성한다. 편하지만 즉흥이다. 분위기는 이어지는데 의도한 전개가 안 된다.

경계 프레임 공유 — 클립 1의 끝 프레임을 뽑아서 클립 2의 시작 이미지로 준다. 픽셀이 실제로 이어진다.

후자를 택했고, 그게 2차 파이프라인의 뼈대가 됐다.

만든 것의 목록

두 번에 걸쳐 만든 것들을 늘어놓으면 이렇다.

① 경계 프레임 공유 — 끝 프레임을 다음 클립의 시작으로
② 끝에서 0.15초 앞 프레임을 뽑기
③ 정지 구간 자동 감지·트림
④ 흩어진 정지 보고를 하나로 병합
⑤ 상대 임계 판정
⑥ 최종 길이 맞춤 + 페이드아웃
⑦ 미지원 길이를 요청 전에 4/6/8로 맞추기
⑧ 폐기된 모델 ID를 걸러내고 살아 있는 것만 남기기
⑨ 응답 대기 시간 단축 — 멈춘 모델을 빨리 포기
⑩ 감독 프롬프트: "8초를 끝까지 채우는 동작을 써라"

며칠씩 붙잡고 만든 것들이다. 그리고 이 목록을 다시 보면 하나가 보인다.

그림 20-1 · 만든 것의 정체
그림 20-1 · 만든 것의 정체

열 개 중 아홉 개가 "8초를 넘기기 위한 배관"이다.

②는 왜 필요했나. 클립의 마지막 0.5~1초가 뭉개지기 때문이다. 8초가 아니었으면 뭉개진 끝을 피해 프레임을 뽑을 이유가 없다. ③은 왜 필요했나. 이어 붙인 자리에서 화면이 멈추기 때문이다. 이어 붙이지 않으면 그 자리가 없다. ⑥은 왜 필요했나. 클립이 8초 배수라 "15초"라는 목표에 안 맞기 때문이다.

영상을 만드는 코드가 아니라, 모델이 8초밖에 못 만든다는 사실을 감추는 코드였다.

그중 하나는 배울 만했다

배관이라고 다 무의미한 건 아니다. ③을 만드는 과정에서 얻은 것이 있다.

이어 붙인 영상을 운영자가 보고 이렇게 말했다.

"반도체 광고는 8초에 안 멈추는데 우리 건 멈췄다 간다."

내 첫 가설은 "클립 1의 끝이 얼어붙는다"⁠였다. 앞에서 말한 그 드리프트 문제니까 당연해 보였다. 움직임을 시간 순서로 재봤다.

클립1 끝    3.8 → … → 1.9  1.3  1.4  1.9  1.3   (느려지지만 멈추진 않는다)
클립2 시작  0.2  0.4  1.6  2.4  4.0 …            ← 여기가 범인
벤치마크    6.7  3.1  3.9  7.9  9.6  11.9        (경계에서도 활발)

내 가설이 틀렸다. 멈추는 건 앞 클립의 끝이 아니라 뒤 클립의 시작이었다. 시작 이미지를 첫 프레임으로 그대로 쓰기 때문에 처음 0.2~0.3초가 정지 상태로 출발하고, 그게 앞 클립의 감속과 겹쳐 "멈췄다 간다"가 된다.

그리고 벤치마크 영상을 다시 재보니 컷 전환이 8.0초가 아니라 7.88초와 8.08초로 어긋나 있었다. 그들도 그 구간을 잘라내고 있었던 것이다.

눈에 보이는 증상의 원인은 눈이 향하는 곳에 없을 수 있다. 시계열로 재기 전까지 나는 계속 앞 클립을 고치고 있었다.

15장의 F0 이야기와 같은 계열이다. 재봐야 알고, 잘못 재면 엉뚱한 것을 고친다.

그런데 12장의 그 교훈을 여기서도 반복했다

정지를 잡는 장치를 만들었는데 두 번 연속 통과시켰다. 원인은 감지와 판정을 둘 다 절대값으로 했기 때문이다.

"움직임이 1.2 이하면 정지"

같은 1.2라도 그 클립의 보통 움직임이 3이면 괜찮고, 10이면 멈춘 것이다. 절대값으로는 못 가른다.

12장에서 이미지 변화량을 다루며 "임계는 분포에서 찾는다"고 썼는데, 그 교훈이 영상에서 다시 필요했다. 같은 실수를 다른 영역에서 또 했다.

값을 매겨보면

만든 것이 작동은 했다. 15초짜리를 완주시켰고 이음새가 눈에 안 보였다. 그런데 값이 이랬다.

8초 클립 하나 (경량 모델)약 650원
30초 한 편 (이미지·재시도 포함)약 20,000원
8초 클립 하나 (고화질 모델)약 5,000원
30초 한 편 (고화질)50,000원 이상
7월 영상 실험 총액약 27,800원

30초 한 편에 2만 원에서 5만 원이다.

'AI 영상 자동화로 수익'이라는 이야기가 산수에서 막히는 지점이 여기다. 편당 몇만 원을 광고 수익으로 회수하려면 조회수가 필요하고, 조회수는 인지도가 만든다. 회수 구조가 없으면 자동화는 적자의 자동화다.

두 번째로 지운 이유

7월 24일에 비활성하면서 사유를 세 줄로 적었다.

어떤 AI 영상도 깔끔한 2D 애니를 못 만든다 (최고 모델도 흐물거린다)
30초 한 편에 2만 원
다른 후보 모델은 우리 캐릭터를 거부하고 두 달 뒤 종료 예정

셋 다 자체 제작으로는 못 고치는 것이다. 모델의 한계이지 파이프라인의 한계가 아니었다. 이음새는 넘었는데, 넘고 나니 그 너머에 다른 벽이 있었다.

그리고 이 장에서 가장 아픈 부분

첫 번째 파이프라인을 지운 것은 7월 8일이다. 그날 나는 그 경험을 정리해 글로 발행했고, 제목에 결론을 박아 넣었다.

자체 제작의 천장 — 왜 결국 특화 플랫폼인가

내용도 명확했다. 벤치마크 앞에서 천장을 인정했고, 연속 스펙터클은 전용 플랫폼의 영역이며 유료로 쓰는 게 효율적이라고 썼다.

그리고 2주 뒤에 두 번째를 만들었다.

결론을 몰라서 만든 게 아니다. 이미 알고 있었고, 심지어 공개적으로 써놓기까지 했다. 그런데도 만들었다.

왜 그랬는지 지금 정직하게 적어보면 이렇다. 8초 벽을 넘는 방법이 떠올랐기 때문이다. 경계 프레임 공유라는 아이디어가 있었고, 그게 될 것 같았고, 실제로 됐다. 되는 게 재미있었다.

바이브 코딩의 진짜 함정은 못 만드는 것이 아니라, 만들 수 있어서 만드는 것이다.

AI 도구는 "만들 수 있는가"의 답을 거의 항상 '예'로 바꿔놓는다. 그래서 판단의 기준이 "만들 수 있는가"에서 "만들어야 하는가"로 옮겨가야 하는데, 그게 잘 안 된다. 만들 수 있다는 감각이 만들지 말아야 할 이유를 계속 이긴다.

사서 쓰면 무엇이 사라지나

같은 것을 전용 플랫폼으로 하면 어떻게 되는지 대조해 보면 이렇다.

내가 만든 것왜 필요했나전용 플랫폼에서는
경계 프레임 공유8초 벽더 긴 클립을 그냥 준다
0.15초 앞 프레임끝이 뭉개진다불필요
정지 구간 트림이어 붙인 자리가 멈춘다불필요
상대 임계 판정위 장치의 부속불필요
길이 맞춤·페이드8초 배수라 안 맞는다불필요
미지원 길이 클램프API가 조용히 실패한다불필요
모델 ID 관리폐기된 ID가 404여러 모델을 한 자리에서
감독 프롬프트8초를 채우는 동작 설계남는다 — 창작은 사람 몫

아홉 개가 사라지고 하나가 남는다. 그리고 남는 하나가 진짜 창작이다.

이게 이 장의 결론이다. 자체 제작으로 얻는 것은 통제권이고, 잃는 것은 그 통제권을 유지하는 데 드는 전부다. 모델이 새로 나올 때마다 저 여덟 개를 다시 맞춰야 한다.

정리하면

  1. 영상 파이프라인을 두 번 만들고 두 번 지웠다. 각각 나흘.
  2. 8초 벽은 API가 요청 자체를 거부하는 벽이다. 프롬프트로 못 넘는다.
  3. 만든 것 열 개 중 아홉 개가 8초 우회 배관이었다. 영상을 만드는 코드가 아니라 한계를 감추는 코드였다.
  4. 그 과정에서 배울 만한 것도 있었다 — 증상의 원인은 눈이 향하는 곳에 없을 수 있다. 멈추는 건 앞 클립의 끝이 아니라 뒤 클립의 시작이었다.
  5. 그리고 12장의 교훈(절대 임계값의 함정)을 다른 영역에서 또 반복했다.
  6. 30초 한 편에 2만~5만 원. 회수 구조가 없으면 적자의 자동화다.
  7. 지운 사유 셋은 전부 자체 제작으로 못 고치는 것이었다.
  8. 첫 번째를 지우며 이미 결론을 써서 발행해놓고, 2주 뒤에 두 번째를 만들었다.
  9. 만들 수 있어서 만드는 것 — 이게 진짜 함정이다.
  10. 사서 쓰면 여덟 개가 사라지고 감독 프롬프트 하나가 남는다. 그게 창작이다.

다음 장은 같은 이야기의 세 번째 판이다. 이번엔 영상이 아니라 에이전트를 만들었고, 마흔 번을 돌려 하나를 건졌다.