나나인 듯 이한별인 듯…'마스크걸' BJ 목소리 어떻게 제작됐나

하이브 자회사 '수퍼톤', 다화자 음성 모핑 기술 활용

목소리 음색, 발화, 음량 등으로 자유롭게 분해 가능

배우 나나와 이한별 목소리 다양한 비율로 재조합

수퍼톤은 고유 기술인 ‘다화자 음성 모핑 기술’을 활용해 마스크걸의 김모미 역을 맡은 배우 나나와 이한별의 목소리를 조합했다고 30일 밝혔다. (출처=넷플릭스) *재판매 및 DB 금지

[서울=뉴시스]최은수 기자 = 넷플릭스 시리즈 '마스크걸'에 등장하는 BJ 마스크걸 목소리가 화제다. 실제 배우들의 목소리를 합성했으면서 자연스러운 제3의 목소리는 어떻게 만들어진 것일까.

31일 하이브 자회사 수퍼톤에 따르면 이 회사 고유 기술인 ‘다화자 음성 모핑 기술’을 활용해 마스크걸에 등장하는 BJ 마스크걸의 새로운 목소리를 생성해냈다. 마스크걸의 김모미 역을 맡은 배우 나나와 이한별의 목소리를 조합하는 방식이다.

다화자 음성 모핑 기술은  2명 이상의 목소리를 조합해 새로운 목소리를 만들어 낼 수 있는 기술이다. 이 회사의 NANSY(Neural Analysis and Synthesis) 프레임워크는 목소리를 음색, 발화 스타일, 음량, 음높이 등으로 자유롭게 분해하고 합성할 수 있다.

2명 이상의 목소리 연기를 자유롭게 조합해 새로운 극사실적인 목소리 연기의 생성이 가능하다는 게 회사 측의 설명이다.

수퍼톤은 두 연기자의 목소리를 분석해 감독의 의도에 맞는 마스크걸BJ에 적합한 목소리를 만들어 낸 후, 연기와 음색을 다양한 비율로 조합해 각 씬에 맞도록 적절히 배치했다. 시청자들이 일부는 한별로, 일부는 나나로 상상했던 이유이기도 하다.

마스크걸은 외모 콤플렉스를 가진 평범한 직장인 김모미가 마스크로 얼굴을 가린 채 인터넷 방송 BJ로 활동하면서 벌어지는 이야기를 다룬 7부작 드라마다. 배우 고현정, 나나, 이한별이 3인 1역을 맡아 화제가 됐다. 740만 조회수를 돌파하며 넷플릭스 글로벌 톱10 TV 부문(비영어) 1위를 기록하는 등 인기다.

제작진은 마스크를 쓰면 다른 인물로 돌변하는 주인공의 캐릭터를 연출하기 위해 BJ 마스크걸만의 새로운 목소리를 생성하기로 결정했다.

수퍼톤 다화자 음성 모핑 기술(사진=수퍼톤 제공) *재판매 및 DB 금지

김용훈 마스크걸 감독은 녹음 스튜디오에서 각 장면에 맞는 다양한 목소리 모델을 매칭하며 가장 적합한 모델을 선정했다. 파트너사 라이브톤은 사운드 디자인을 담당해 작품 연출 의도에 부합하는 섬세한 기술 조정을 맡았다. 앞서 지난 7월 수퍼톤과 라이브톤은 음향 기술 개발 및 상호 협력을 위한 업무협약(MOU)을 맺은 바 있다.

이교구 수퍼톤 대표는 “BJ 마스크걸이 기존 배역과 다른 인격을 보여주는 만큼, 제3의 목소리가 필요하다는 제작진의 연출 의도를 충족시키기 위해 수퍼톤의 기술을 활용하게 됐다”며 “수퍼톤의 기술력이 콘텐츠 제작 환경의 혁신과 콘텐츠 퀄리티 향상에 기여할 수 있게 돼 뜻 깊다”고 밝혔다.

마스크걸 목소리가 음성 기술력을 활용해 생성된 것이 알려지자 시청자들도 관심을 보이고 있다. 목소리 자체에 대한 호감을 나타내는 한편, “어쩐지 기존 배우 목소리와 좀 다르게 느껴졌다”, “나나, 한별 배우 목소리가 같이 들려 신기했다” 등 반응을 나타냈다.

AI 오디오 기술 전문 기업 수퍼톤은 하이브 자회사다. 지난 2021년 수퍼톤에 40억원을 투자해 18.2%의 지분을 최초 취득했고 이어 지난 1월 450억원을 투자해 총 지분 56.1%를 확보했다. 하이브는 성장전략 일환인 음악산업과 기술의 융합을 현실화하기 위한 차원에서 수퍼톤 인수를 추진했다고 설명했다.

수퍼톤은 특정 인물 음성과 창법 등을 딥러닝한 AI가 해당 인물 목소리를 그대로 구현해내는 기술을 보유하고 있다. 고인이 된 가수 목소리로 최신 가요를 녹음하거나 국내 드라마를 외국어로 더빙할 때 원래 배우 목소리를 합성하는 등 다양한 서비스 개발이 가능하다.

예를 들어 디즈니+ ‘카지노’ 시리즈에서는 최민식 배우의 젊은 시절 회상 장면을 위해 60대 배우의 목소리를 30대의 목소리로 변환하는 기술을 선보인 바 있다. 또 TV프로그램을 통해 ‘김광석’, ‘김현식’ ‘거북이’, ‘유재하’, ‘임윤택’ 등 다양한 아티스트들의 목소리를 다시 들을 수 있는 기술력을 선보였다.

하이브 자회사 하이브IM과 함께 진행한 미드낫(Midnatt) 프로젝트에서는 세계 최초로 6개 언어 음원을 선보였으며, 공연 현장에서는 실시간으로 다른 사람의 목소리로 가창하는 무대를 선보였다.


◎공감언론 뉴시스 [email protected]