운동화 영상 봤는데 바람막이 뜨는 이유…AI가 '취향' 읽었다

GS샵에 트웰브랩스 영상 이해 AI '마렝고·페가수스' 적용

주문 고객 57.5% 증가…클릭 순방문자 21.7% 증가

AI가 1시간짜리 홈쇼핑 방송서 원하는 장면 수초 만에 찾아내

[서울=뉴시스]오동현 기자 = #. 운동화 영상을 봤을 뿐인데 레깅스와 바람막이 외투 영상이 따라 뜬다. 엉뚱한 추천일까. AI가 주목한 건 '운동화'라는 상품이 아니라 영상 속 '야외 활동'이라는 맥락이었다.

영상 이해 인공지능(AI) 기업 트웰브랩스는 GS샵의 숏폼 커머스 서비스 '숏픽'에 자사 AI 모델 '마렝고'와 '페가수스'를 공급했다고 11일 밝혔다. 국내 홈쇼핑 숏폼 커머스에 영상 이해 AI가 상용 적용된 첫 사례다.

상품이 아니라 '왜 봤는지'를 읽는다

기존 숏픽의 추천은 상품 정보 중심이었다. 운동화 영상을 본 고객에게는 계속 운동화 영상만 따라붙는 식이다. 고객이 영상의 어떤 장면, 어떤 특징에 반응했는지는 추천에 반영되지 못했다. 이창민 GS샵 검색추천파트 파트장은 "고객이 클립에 반응하는 이유를 시스템이 이해하지 못하는 것 자체가 문제의 본질이었다"고 말했다.

트웰브랩스 AI가 들어오면서 추천의 기준이 바뀌었다. 고객이 워킹화 영상을 보면 AI는 영상 속에서 통기성, 착화감, 야외 활동 같은 요소를 분석한다. 아울러 같은 활동 맥락을 공유하는 레깅스, 바람막이, 양말 영상까지 추천 대상에 올린다. 상품 ID나 카테고리가 아니라 고객의 '취향'을 읽어내는 셈이다.

트웰브랩스에 따르면 방송 후 생성되는 약 30초 분량의 숏픽 클립을 영상 추론 모델 페가수스가 분석해 기능성·스타일·사용 상황·실용성 등 고객에게 어필할 만한 포인트를 추출하고, 이를 고객 행동 데이터와 결합해 추천에 활용하는 구조다.

주문 고객 57.5% 증가…숫자로 검증

성과는 A/B 테스트로 확인됐다. GS샵이 동일 슬롯·동일 기간 50대 50 테스트를 진행한 결과 주문 고객 수는 57.5% 늘었다. 전환율은 29.4%, 클릭 순방문자는 21.7% 증가했고 평균 시청 시간도 6.3초에서 8.0초로 길어졌다.

운영 효율도 개선됐다. 도입 검증 단계에서 멀티모달 임베딩 모델 마렝고로 영상 검색 성능을 테스트한 결과, "쇼핑호스트가 수육에 김치 한 점을 올려 젓가락으로 맛있게 집어먹는 모습" 같은 복합적인 한국어 문장으로 검색해도 1시간 분량의 방송에서 해당 장면을 수초 내 찾아냈다. 방송 1회당 1~2시간 걸리던 클립 검색·검수 작업이 몇 초로 줄었다.

GS샵은 기존 추천 엔진을 갈아엎는 대신 영상 맥락 신호를 레이어로 얹는 하이브리드 방식을 택했고, 아마존 베드록을 통해 별도 AI 인프라 구축 없이 상용 적용했다.

2021년 설립된 트웰브랩스는 영상·오디오·텍스트를 통합 이해하는 멀티모달 파운데이션 모델을 자체 개발하는 기업으로, 한국 AI 모델 최초이자 영상 AI 모델 최초로 아마존 베드록에 공급됐다. 엔비디아, NEA 등으로부터 누적 1억700만 달러 규모의 투자를 유치했으며, CB인사이트 선정 글로벌 100대 AI 스타트업에 4년 연속 이름을 올렸다.

이재성 트웰브랩스 대표는 "이번 협업은 영상을 단순한 콘텐츠가 아니라 고객의 관심과 의도를 담은 데이터로 활용할 수 있음을 보여준 사례"라며 "영상 속 맥락을 실제 추천 성과로 연결했다는 점에서 커머스 분야에서 영상 AI가 만들어낼 수 있는 비즈니스 가치를 수치로 입증했다는 의미가 있다"고 밝혔다.


◎공감언론 뉴시스 [email protected]