트웰브랩스, '미디어 에이전트' 시대 연다… 방송부터 커머스·제조로 확장

[이데일리 윤정훈 기자]“수십 년 축적된 방송·미디어 아카이브나 스포츠, 커머스 현장에서 원하는 특정 영상을 찾기 위해 담당자의 기억이나 일일이 사람이 확인하는 방식에 의존하는 시대는 끝났습니다. 텍스트 중심의 대형언어모델(LLM)에 영상을 단순히 입력하는 것은 프레임 간 동작과 시간 흐름, 긴 문맥의 맥락을 놓치기 쉬웟는데, 이제는 영상 전용 멀티모달 AI 모델이 필수입니다.”

송동운 트웰브랩스 자키 PM은 23일 서울 강남 파르나스타워에서 열린 'AWS AI 서밋'에서 발표하고 있다(사진=윤정훈 기자)

송동운 트웰브랩스 자키 PM은 23일 서울 강남 파르나스타워에서 열린 ‘AWS AI 서밋’ 발표에서 영상 데이터의 효율적 활용을 저해하는 현업의 페인 포인트를 짚으며 자사의 비디오 AI 기반 멀티모달 솔루션과 글로벌 고객 사례를 제시했다.

누적 투자 유치액 3000억 원을 기록하며 글로벌 비디오 AI 분야를 선도하는 트웰브랩스는 아마존웹서비스(AWS)의 아마존 베드락을 통해 영상 검색 모델 ‘머랭고(Marengo)’, 영상 이해 및 데이터 요약 모델 ‘페가수스(Pegasus)’, 비디오 전용 에이전트 모델 ‘자키(Jockey)’를 서버리스(Serverless) 형태로 제공하고 있다.

영상 검색 97% 시간 절감… ‘머랭고 3.0’ 서울 리전 출시

송 PM은 화면, 소리, 대화, 화면 속 텍스트 등 4가지 정보를 동시 처리하는 영상 검색 모델 ‘머랭고’를 먼저 소개했다. 머랭고는 자연어 질문이나 사진, 로고 한 장만으로 영상 안의 가장 적합한 구간(시작 및 종료 시간)을 정확히 찾아내는 것이 특징이다. 특히 최근 출시된 ‘머랭고 3.0’은 아마존 베드락 서울 리전을 통해 제공되어 국내 기업들의 데이터 레지던시 요건을 완벽히 충족한다.

현장 도입 효과는 가시적이다. 캐나다 스포츠 엔터테인먼트 기업 MLSE는 스포츠 영상 검색 및 추출에 걸리던 시간을 기존 16시간에서 단 9분으로 97% 줄였다. 유니세프 한국위원회는 아마존 S3와 머랭고를 연동해 8테라바이트(TB) 규모의 자료 검색 시간을 95% 단축했다. 국내에서는 게티이미지코리아가 27만 개 이상의 콘텐츠를 문장 기반으로 검색할 수 있도록 연동을 마쳤다.

아울러 AWS의 ‘베드락 지식 기반’과 결합할 경우, 별도의 벡터 데이터베이스 구축 없이도 아마존 S3에 영상만 올리면 즉각 영상 검색 인프라를 운용할 수 있어 엔터프라이즈의 도입 문턱을 대폭 낮췄다.

송동운 트웰브랩스 자키 PM은 23일 서울 강남 파르나스타워에서 열린 'AWS AI 서밋'에서 발표하고 있다(사진=윤정훈 기자)

“영상 소구점 자동 분석”… GS샵, 추가 촬영 없이 매출 20배 폭증

영상 속 맥락을 추론하고 데이터를 JSON 형태로 구조화해 주는 파운데이션 모델 ‘페가수스 1.5’는 커머스 및 미디어 시장에서 커머셜 가치를 입증하고 있다.

대표적 사례인 GS샵은 머랭고로 PD용 영상 검색 체계를 고도화하는 한편, 페가수스를 활용해 30초 분량의 ‘숏핑’ 영상을 분석했다. 페가수스가 영상 속 상품의 소구점과 맥락 데이터를 추출해 개인화 추천 신호로 활용한 결과, 주문 고객 수 29.4% 증가, 전환율 57.5% 상승이라는 성과를 거뒀다. 단순히 러닝화 영상을 본 고객에게 러닝화만 추천하는 것이 아니라, 영상 맥락을 읽어 양말, 윈드브레이커, 레깅스 등 연관 상품으로 추천 영역을 대폭 확대한 결과다.

커머스 분야의 한 고객사는 보유 방송 영상에서 페가수스로 구간별 상품 특징을 추출해 유튜브 쇼핑에 재가공 적용한 결과, 추가 촬영 비용 없이 투입 대비 20배에 달하는 신규 매출을 창출하기도 했다.

제조 현장 가동률 분석부터 비디오 에이전트 ‘자키’ 활용까지

비디오 AI의 영역은 미디어를 넘어 제조 및 마케팅 산업으로 빠르게 확산하고 있다. 영국의 뉴스 미디어 기술조직 맨티스(Mantis)는 뉴스 영상의 위험 신호를 판별해 브랜드 세이프티를 검증하는 데 걸리던 수시간의 작업을 단 수분으로 단축했다.

제조 현장에서는 2시간 분량의 공정 작업 영상을 20분 만에 공정별·동작별 단위로 분할 분석해 작업 시간을 정밀하게 측정하고, 로봇 학습용 데모 데이터로 활용하는 모범 사례를 만들어내고 있다.

나아가 에이전트 모델 ‘자키(Jockey)’는 1000개가 넘는 숏폼 영상에서 유사 소스를 추출해 편집본을 생성하거나, 경쟁사 영상 1000편 이상의 반응도를 정밀 비교·분석해 마케팅 기획의 성공 확률을 높이는 도구로 활용되고 있다.

송 PM은 “기업의 비디오 활용 단계는 사람이 직접 태그를 달던 1단계에서 음성·객체 감지의 2단계를 거쳐, 현재는 의미 이해(3단계)와 워크플로우 자동화(4단계), 그리고 비디오 에이전트(5단계)로 급격히 진화하고 있다”며 “트웰브랩스의 멀티모달 기술과 AWS 인프라의 결합을 통해 기업들이 영상 데이터 속에 묻혀 있던 비즈니스 가치를 극대화할 수 있도록 지원할 것”이라고 말했다.