길어지는 프롬프트와 흔들리는 출력 품질
- 문제
- 요구와 예외가 늘며 프롬프트가 길어지고, 분기마다 중복 지침을 수정하다 일부가 누락됨
- 해결
- 요구사항부터 간결하게 재정의하고 프롬프트 구조를 재정리. 공통 지침은 섹션 단위로 모듈화
- 결과
- 초기 버전 대비 LLM 비용 52% 절감 · 유지보수성 개선
개요
사내에서 한 차례 실패했던 영상 내 브랜드·제품 정보 추출 과제를 맡았습니다. 영상 메타데이터와 자막을 분석해 서비스 데이터로 구조화하고, 검색·브랜드 대시보드가 활용하는 파이프라인을 단독 설계·구현·운영했습니다.
담당 업무
정기 배치와 요청 기반 서버에서 같은 분석 기능을 활용. V2는 JavaScript 처리 그래프로 구성돼 있으며, 모델 선택은 API 기반 품질·비용 비교를 통해 진행
- 성과
- 특허 출원 10-2025-0102127 · 사내 프롬프트 엔지니어링 세미나
- 일 평균 처리량
- 24만 건
- 초기 대비 LLM 비용
- 52% ↓
- 배치 처리 시간
- 40% ↓
구조
- 01영상 정보·자막OpenSearch · AWS S3
- 02요약·브랜드·제품 추출Gemini 2.0 Flash
- 03브랜드 정리·맥락 분류브랜드 매핑 · 84개 유형
- 04검증·저장검색 · 브랜드 대시보드 활용
문제 및 해결
실패 재시도가 전체 배치를 늦추는 문제
- 문제
- LLM 요청 한 건에 20-30초가 걸려 같은 배치 안의 재시도가 정상 작업까지 지연시킴
- 해결
- 실패 영상 ID를 S3에 저장하고 다음 작업을 진행. 전체 배치 종료 후 실패 건을 모아 재처리
- 결과
- 배치 처리 시간 40% 감소 · 실패 건수 0건으로 운영
구현 내용
- 처리 경로
- 영상 조건에 따라 요약 생략·요약만 생성·전체 분석을 나눔. 모든 영상에 같은 분석 비용을 쓰지 않음
- 실행 방식
- 정기 배치는 Cron·Argo Workflows로, 요청 기반 작업은 SQS 이벤트를 받는 서버 흐름으로 처리
- 출력 검증
- 필수 필드·JSON 형식을 확인하고 복구. 필요 시 LLM 기반 형식 복구를 거쳐 정상 결과만 서비스 데이터로 적재
- 브랜드 정리
- 브랜드 매핑과 언급·제품 병합으로 표현 차이와 중복을 정리. 발언 시점과 감성 정보도 저장
- 복구 정책
- 배치의 정상 진행과 실패 복구를 분리. 재시도할 오류와 차단된 요청을 구분하고 종료 후 재처리