20장
영상 파이프라인을 두 번 만들고 두 번 지웠다

앞 장이 "상한이 없는 것"이었다면, 이 장은 "벽이 있는 것"이다.
나는 AI 영상 파이프라인을 두 번 만들었다. 각각 나흘이 걸렸고, 둘 다 지웠다.
1차 7월 5일 → 7월 8일 나흘 만에 만들고 사흘 뒤 삭제
2차 7월 21일 → 7월 24일 나흘 만에 만들고 사흘 뒤 비활성
여드레다. 그리고 이 장에서 가장 아픈 사실은 첫 번째를 지우면서 이미 답을 알고 있었다는 것이다.
벽부터 확인했다
시작은 단순한 질문이었다. AI로 30초짜리 영상을 만들 수 있나.
당시 최고 수준의 영상 모델에 16초를 요청해 봤다. 답이 이랬다.
Unsupported output video duration 16 seconds,
supported durations are [8, 4, 6]
4초, 6초, 8초만 된다. 8초가 최대다.
이건 프롬프트로 넘을 수 있는 벽이 아니다. API가 요청 자체를 거부한다. 그래서 30초를 만들려면 8초짜리 네 개를 이어 붙이는 수밖에 없다.
여기서 두 갈래가 있었다.
확장(extend) — 직전 클립의 끝을 씨앗으로 이어서 생성한다. 편하지만 즉흥이다. 분위기는 이어지는데 의도한 전개가 안 된다.
경계 프레임 공유 — 클립 1의 끝 프레임을 뽑아서 클립 2의 시작 이미지로 준다. 픽셀이 실제로 이어진다.
후자를 택했고, 그게 2차 파이프라인의 뼈대가 됐다.
만든 것의 목록
두 번에 걸쳐 만든 것들을 늘어놓으면 이렇다.
① 경계 프레임 공유 — 끝 프레임을 다음 클립의 시작으로
② 끝에서 0.15초 앞 프레임을 뽑기
③ 정지 구간 자동 감지·트림
④ 흩어진 정지 보고를 하나로 병합
⑤ 상대 임계 판정
⑥ 최종 길이 맞춤 + 페이드아웃
⑦ 미지원 길이를 요청 전에 4/6/8로 맞추기
⑧ 폐기된 모델 ID를 걸러내고 살아 있는 것만 남기기
⑨ 응답 대기 시간 단축 — 멈춘 모델을 빨리 포기
⑩ 감독 프롬프트: "8초를 끝까지 채우는 동작을 써라"
며칠씩 붙잡고 만든 것들이다. 그리고 이 목록을 다시 보면 하나가 보인다.

열 개 중 아홉 개가 "8초를 넘기기 위한 배관"이다.
②는 왜 필요했나. 클립의 마지막 0.5~1초가 뭉개지기 때문이다. 8초가 아니었으면 뭉개진 끝을 피해 프레임을 뽑을 이유가 없다. ③은 왜 필요했나. 이어 붙인 자리에서 화면이 멈추기 때문이다. 이어 붙이지 않으면 그 자리가 없다. ⑥은 왜 필요했나. 클립이 8초 배수라 "15초"라는 목표에 안 맞기 때문이다.
영상을 만드는 코드가 아니라, 모델이 8초밖에 못 만든다는 사실을 감추는 코드였다.
그중 하나는 배울 만했다
배관이라고 다 무의미한 건 아니다. ③을 만드는 과정에서 얻은 것이 있다.
이어 붙인 영상을 운영자가 보고 이렇게 말했다.
"반도체 광고는 8초에 안 멈추는데 우리 건 멈췄다 간다."
내 첫 가설은 "클립 1의 끝이 얼어붙는다"였다. 앞에서 말한 그 드리프트 문제니까 당연해 보였다. 움직임을 시간 순서로 재봤다.
클립1 끝 3.8 → … → 1.9 1.3 1.4 1.9 1.3 (느려지지만 멈추진 않는다)
클립2 시작 0.2 0.4 1.6 2.4 4.0 … ← 여기가 범인
벤치마크 6.7 3.1 3.9 7.9 9.6 11.9 (경계에서도 활발)
내 가설이 틀렸다. 멈추는 건 앞 클립의 끝이 아니라 뒤 클립의 시작이었다. 시작 이미지를 첫 프레임으로 그대로 쓰기 때문에 처음 0.2~0.3초가 정지 상태로 출발하고, 그게 앞 클립의 감속과 겹쳐 "멈췄다 간다"가 된다.
그리고 벤치마크 영상을 다시 재보니 컷 전환이 8.0초가 아니라 7.88초와 8.08초로 어긋나 있었다. 그들도 그 구간을 잘라내고 있었던 것이다.
눈에 보이는 증상의 원인은 눈이 향하는 곳에 없을 수 있다. 시계열로 재기 전까지 나는 계속 앞 클립을 고치고 있었다.
15장의 F0 이야기와 같은 계열이다. 재봐야 알고, 잘못 재면 엉뚱한 것을 고친다.
그런데 12장의 그 교훈을 여기서도 반복했다
정지를 잡는 장치를 만들었는데 두 번 연속 통과시켰다. 원인은 감지와 판정을 둘 다 절대값으로 했기 때문이다.
"움직임이 1.2 이하면 정지"
같은 1.2라도 그 클립의 보통 움직임이 3이면 괜찮고, 10이면 멈춘 것이다. 절대값으로는 못 가른다.
12장에서 이미지 변화량을 다루며 "임계는 분포에서 찾는다"고 썼는데, 그 교훈이 영상에서 다시 필요했다. 같은 실수를 다른 영역에서 또 했다.
값을 매겨보면
만든 것이 작동은 했다. 15초짜리를 완주시켰고 이음새가 눈에 안 보였다. 그런데 값이 이랬다.
| 8초 클립 하나 (경량 모델) | 약 650원 |
| 30초 한 편 (이미지·재시도 포함) | 약 20,000원 |
| 8초 클립 하나 (고화질 모델) | 약 5,000원 |
| 30초 한 편 (고화질) | 50,000원 이상 |
| 7월 영상 실험 총액 | 약 27,800원 |
30초 한 편에 2만 원에서 5만 원이다.
'AI 영상 자동화로 수익'이라는 이야기가 산수에서 막히는 지점이 여기다. 편당 몇만 원을 광고 수익으로 회수하려면 조회수가 필요하고, 조회수는 인지도가 만든다. 회수 구조가 없으면 자동화는 적자의 자동화다.
두 번째로 지운 이유
7월 24일에 비활성하면서 사유를 세 줄로 적었다.
어떤 AI 영상도 깔끔한 2D 애니를 못 만든다 (최고 모델도 흐물거린다)
30초 한 편에 2만 원
다른 후보 모델은 우리 캐릭터를 거부하고 두 달 뒤 종료 예정
셋 다 자체 제작으로는 못 고치는 것이다. 모델의 한계이지 파이프라인의 한계가 아니었다. 이음새는 넘었는데, 넘고 나니 그 너머에 다른 벽이 있었다.
그리고 이 장에서 가장 아픈 부분
첫 번째 파이프라인을 지운 것은 7월 8일이다. 그날 나는 그 경험을 정리해 글로 발행했고, 제목에 결론을 박아 넣었다.
자체 제작의 천장 — 왜 결국 특화 플랫폼인가
내용도 명확했다. 벤치마크 앞에서 천장을 인정했고, 연속 스펙터클은 전용 플랫폼의 영역이며 유료로 쓰는 게 효율적이라고 썼다.
그리고 2주 뒤에 두 번째를 만들었다.
결론을 몰라서 만든 게 아니다. 이미 알고 있었고, 심지어 공개적으로 써놓기까지 했다. 그런데도 만들었다.
왜 그랬는지 지금 정직하게 적어보면 이렇다. 8초 벽을 넘는 방법이 떠올랐기 때문이다. 경계 프레임 공유라는 아이디어가 있었고, 그게 될 것 같았고, 실제로 됐다. 되는 게 재미있었다.
바이브 코딩의 진짜 함정은 못 만드는 것이 아니라, 만들 수 있어서 만드는 것이다.
AI 도구는 "만들 수 있는가"의 답을 거의 항상 '예'로 바꿔놓는다. 그래서 판단의 기준이 "만들 수 있는가"에서 "만들어야 하는가"로 옮겨가야 하는데, 그게 잘 안 된다. 만들 수 있다는 감각이 만들지 말아야 할 이유를 계속 이긴다.
사서 쓰면 무엇이 사라지나
같은 것을 전용 플랫폼으로 하면 어떻게 되는지 대조해 보면 이렇다.
| 내가 만든 것 | 왜 필요했나 | 전용 플랫폼에서는 |
|---|---|---|
| 경계 프레임 공유 | 8초 벽 | 더 긴 클립을 그냥 준다 |
| 0.15초 앞 프레임 | 끝이 뭉개진다 | 불필요 |
| 정지 구간 트림 | 이어 붙인 자리가 멈춘다 | 불필요 |
| 상대 임계 판정 | 위 장치의 부속 | 불필요 |
| 길이 맞춤·페이드 | 8초 배수라 안 맞는다 | 불필요 |
| 미지원 길이 클램프 | API가 조용히 실패한다 | 불필요 |
| 모델 ID 관리 | 폐기된 ID가 404 | 여러 모델을 한 자리에서 |
| 감독 프롬프트 | 8초를 채우는 동작 설계 | 남는다 — 창작은 사람 몫 |
아홉 개가 사라지고 하나가 남는다. 그리고 남는 하나가 진짜 창작이다.
이게 이 장의 결론이다. 자체 제작으로 얻는 것은 통제권이고, 잃는 것은 그 통제권을 유지하는 데 드는 전부다. 모델이 새로 나올 때마다 저 여덟 개를 다시 맞춰야 한다.
정리하면
- 영상 파이프라인을 두 번 만들고 두 번 지웠다. 각각 나흘.
- 8초 벽은 API가 요청 자체를 거부하는 벽이다. 프롬프트로 못 넘는다.
- 만든 것 열 개 중 아홉 개가 8초 우회 배관이었다. 영상을 만드는 코드가 아니라 한계를 감추는 코드였다.
- 그 과정에서 배울 만한 것도 있었다 — 증상의 원인은 눈이 향하는 곳에 없을 수 있다. 멈추는 건 앞 클립의 끝이 아니라 뒤 클립의 시작이었다.
- 그리고 12장의 교훈(절대 임계값의 함정)을 다른 영역에서 또 반복했다.
- 30초 한 편에 2만~5만 원. 회수 구조가 없으면 적자의 자동화다.
- 지운 사유 셋은 전부 자체 제작으로 못 고치는 것이었다.
- 첫 번째를 지우며 이미 결론을 써서 발행해놓고, 2주 뒤에 두 번째를 만들었다.
- 만들 수 있어서 만드는 것 — 이게 진짜 함정이다.
- 사서 쓰면 여덟 개가 사라지고 감독 프롬프트 하나가 남는다. 그게 창작이다.
다음 장은 같은 이야기의 세 번째 판이다. 이번엔 영상이 아니라 에이전트를 만들었고, 마흔 번을 돌려 하나를 건졌다.