모든 채널을 매번 다시 처리하는 비용
- 문제
- 변화가 없는 채널까지 재생성하면 요약·임베딩 비용과 처리량이 늘어남
- 해결
- 신규·기존 채널을 나누고 최근 새 영상과 임베딩 시점을 비교. 유효한 인사이트 요약은 재사용
- 결과
- 채널의 변화에 따라 입력 확보와 임베딩 갱신을 선택하는 흐름을 구성
개요
영상 요약과 채널 AI 인사이트를 재사용해 유사 채널 조회·자연어 검색에 필요한 임베딩을 생성. 신규 생성과 갱신을 구분하고 한·영 입력, 요약 확보, 임베딩 생성과 재시도를 연결
담당 업무
채널 임베딩의 신규 생성·갱신 흐름을 구현. 검색 품질 평가 모듈은 후보 관련성 판단과 순위 지표 계산을 별도 단계로 처리
- 생성 대상
- 임베딩이 없는 채널과 새 영상이 생긴 기존 채널을 구분
- 입력 전략
- 최근 영상들을 묶은 설명과 채널 전체를 요약한 인사이트를 활용
- 평가 구조
- 검색 후보의 관련성 판단과 순위 지표를 비교하는 평가 모듈도 포함됨
- 기본 임베딩 차원
- 512차원
- 언어별 입력·결과 관리
- 한·영
- AI 인사이트·영상 요약
- 재사용
구조
- 01대상 채널 선택신규 · 갱신 필요 채널
- 02입력 확보영상 요약 · AI 인사이트
- 03한·영 텍스트 구성요약 데이터 재사용
- 04임베딩 생성Bedrock Titan
- 05검색 데이터 저장OpenSearch · 후속 검색
문제 및 해결
외부 호출 실패와 일부 요약 응답 누락
- 문제
- 요약 API와 임베딩 호출에서 제한 초과·시간 초과·일부 응답 누락이 생길 수 있음
- 해결
- 빈 입력을 확인하고 단계별 결과를 검사. 일시 오류에는 지수 백오프를 적용
- 결과
- 요약 확보와 임베딩 생성의 오류를 각각 다루는 복구 경로를 구성
구현 내용
- 임베딩 설정
- 기본 모델은 Titan Text Embeddings V2. 512차원·정규화 설정으로 한·영 결과를 생성
- 갱신 조건
- 기존 채널은 최근 30일 내 새 영상 여부와 최신 영상·임베딩 시점을 비교해 갱신 대상을 정함
- 오류 처리
- 입력과 한·영 결과를 확인하며 제한 초과·일시 장애·시간 초과에 백오프를 적용. 최대 5회 시도
- 후보 평가
- 평가 모듈은 벡터 검색·속성·관심사 후보를 모으고 여러 LLM의 관련성 판단을 조합하도록 설계됨
- 순위 지표
- Precision·Recall·nDCG@5/10/20, MRR로 검색 결과의 관련성과 순위를 평가