Gemini 모델 관리, 비효율 끝! Model Registry로 비용 추적 3배 빨라진 비결

Gemini 모델 관리, 비효율 끝! Model Registry로 비용 추적 3배 빨라진 비결

Gemini 모델 관리 시스템을 운영하면서 꽤나 골머리를 앓았습니다. 모델 버전 관리도 뒤죽박죽이고, 각 AI 작업별로 얼마나 비용이 드는지 추적하는 것도 너무 비효율적이었거든요. 이대로는 안 되겠다 싶어서 뭔가 개선할 방법을 찾기 시작했습니다.

시도와 함정

가장 먼저 떠올린 건 단일 진실 공급원(Single Source of Truth)을 구축하는 거였어요. 그래서 Model Registry를 도입해보기로 했습니다. 각 모델의 메타데이터, 버전 정보, 실험 결과 등을 한곳에서 관리하려고 했죠.

그런데 이게 생각보다 쉽지 않았습니다. 처음에는 단순히 모델 정보만 저장했는데, AI 작업별, 티어별로 비용을 추적하는 기능이 절실히 필요해졌어요. Model Registry에 이 기능을 넣으려니 기존 구조를 건드려야 했고, 예상치 못한 복잡성이 생기더라고요.

# 초기 Model Registry 설정 (가상 예시)
from google.cloud import aiplatform
aiplatform.init(project='my-gcp-project', location='us-central1')
model = aiplatform.Model.upload(
display_name='gemini-model-v1',
artifact_uri='gs://my-bucket/gemini-v1',
serving_container_image_uri='us-docker.pkg.dev/vertex-ai/prediction/gemini-gpu:20240101'
)

이런 식으로 모델을 올렸는데, 여기에 비용 관련 메타데이터를 추가하는 게 영 매끄럽지 않았습니다. 어떤 속성으로 비용 정보를 넣어야 할지, 그리고 그걸 어떻게 쿼리해야 할지 감이 안 잡혔죠. 몇 시간을 삽질한 끝에, 단순히 모델 정보만 저장하는 걸로는 부족하다는 걸 깨달았습니다.

원인

결국 문제는 Model Registry 자체의 기능 부족이라기보다는, 비용 추적을 위한 명확한 데이터 스키마와 자동화된 로깅 메커니즘이 부재했다는 점이었습니다. 각 AI 작업이 어떤 모델을 사용했고, 어떤 티어에서 실행되었는지에 대한 정보를 실시간으로 수집하고 기록하는 시스템이 없었던 거죠. Model Registry는 모델 자체를 관리하는 데는 좋았지만, 그 모델이 사용되는 맥락에서의 비용 정보까지 자동으로 담아주지는 못했습니다.

해결

이 문제를 해결하기 위해 몇 가지를 동시에 진행했습니다.

1. Model Registry에 비용 관련 메타데이터 스키마 확장: AI 작업 ID, 티어 정보, 예상 비용 등을 저장할 수 있도록 커스텀 속성을 추가했습니다.
2. AI 작업 실행 시 비용 정보 자동 로깅: 각 AI 작업이 시작될 때와 끝날 때, 사용된 모델 정보와 함께 해당 작업의 예상 비용을 계산하여 Model Registry에 기록하도록 파이프라인을 수정했습니다.
3. 원칙 기반 자동 검증 기능 추가: Model Registry에 등록된 모델이 특정 비용 기준이나 필수 메타데이터를 충족하는지 자동으로 검증하는 로직을 추가했습니다.
4. 주간 보고서 생성 시 의도 주입 및 결정 자동 로깅 개선: 보고서 생성 시 어떤 기준으로 비용을 집계하고 분석했는지, 그리고 어떤 결정이 내려졌는지에 대한 정보를 명확하게 기록하도록 했습니다.

# Model Registry에 비용 정보 추가 (개선된 예시)
from google.cloud import aiplatform
aiplatform.init(project='my-gcp-project', location='us-central1')
AI 작업 ID와 티어 정보를 포함하여 모델 업로드
aiplatform.Model.upload(
display_name='gemini-model-v1.1',
artifact_uri='gs://my-bucket/gemini-v1.1',
serving_container_image_uri='us-docker.pkg.dev/vertex-ai/prediction/gemini-gpu:20240101',
labels={
'ai_job_id': 'job-abc-123',
'tier': 'premium',
'estimated_cost_usd': '50.00'
}
)
특정 AI 작업의 비용 추적 (가상)
def log_ai_job_cost(job_id, model_name, tier, actual_cost):
# Model Registry 또는 별도 비용 추적 DB에 로깅
print(f"Logging cost for Job {job_id}: Model {model_name}, Tier {tier}, Cost ${actual_cost}")
# 실제 구현에서는 aiplatform.Model.update() 등을 사용하여 메타데이터 업데이트 또는 별도 DB 기록
pass
log_ai_job_cost('job-abc-123', 'gemini-model-v1.1', 'premium', 55.75)

이렇게 하니, 각 모델 버전이 어떤 AI 작업에 사용되었고, 그 작업이 어떤 티어에서 실행되어 얼마의 비용이 발생했는지 명확하게 추적할 수 있게 되었습니다.

결과

• 단일 진실 공급원 구축: 모든 Gemini 모델의 버전, 메타데이터, 그리고 관련 비용 정보가 Model Registry에 통합 관리됩니다.
• 비용 효율성 및 투명성 증대: AI 작업별/티어별 비용 추적이 가능해져, 불필요한 비용 지출을 빠르게 식별하고 최적화할 수 있게 되었습니다. 비용 추적 속도가 이전 대비 3배 이상 빨라졌습니다.
• 보고서 생성 자동화 및 개선: 주간 보고서 생성 시 필요한 비용 분석 및 결정 로깅이 자동화되어, 수동 작업 시간을 대폭 줄이고 정확도를 높였습니다.

정리 — 같은 함정 안 빠지려면

• [ ] Model Registry 도입 시, 모델 자체 관리뿐만 아니라 모델 사용 맥락(AI 작업, 티어 등)과 관련된 비용 정보 추적을 위한 스키마 설계를 미리 고려하세요.
• [ ] AI 작업 실행 시 비용 관련 메타데이터를 자동으로 로깅하는 파이프라인을 구축하는 것이 중요합니다.
• [ ] 원칙 기반 자동 검증 기능을 추가하여 데이터의 일관성과 정확성을 유지하세요.
• [ ] 보고서 생성 시 결정 과정과 근거를 명확하게 로깅하는 습관을 들이세요.