"마치 살아있는 응삼이와 대화하듯"…전원일기 동료들 감동시킨 디지털휴먼 기술

디지털휴먼 스타트업 '빔스튜디오'가 구현

실시간 대화…기존 '딥페이크' 한계 넘어

고인의 외모·목소리로 실시간 소통 나눈다

'전원일기' 동료 배우들 "살아있는 것 같다"

헐리우드서도 초기 단계…"상용화 사례 전무"

가상인간 개발에 따른 소요 비용과 기간 단축

빔스튜디오, 현재 해외 대작 제작에 참여 중

[서울=뉴시스] 오동현 기자 = "우리 전원일기 식구들, 우리는 늦게, 나중에 늦게 또 다시 만납시다."

지난 2020년 12월 폐섬유증을 앓다 세상을 떠난 고(故) 박윤배 배우가 디지털 휴먼(가상 인간)으로 돌아와 드라마 '전원일기' 동료 배우들에게 남긴 말이다.

'전원일기'에서 영원한 양촌리 청년 '응삼이' 역을 맡았던 고 박윤배씨는 빔스튜디오의 '비엠리얼 솔루션'을 통해 가상인간으로 복원됐다.

빔스튜디오는 지난 구정 연휴 때 tvN에서 방영된 '회장님네 사람들'에서 박윤배씨의 가상인간을 구현하며 실시간 인공지능(AI) 딥페이크 솔루션의 첫 상용화를 완수했다.

'전원일기' 출연진은 고 박윤배씨가 모니터 화면에 등장하자 놀라움을 감추지 못했다. 가상인간이라 할 수 없을 정도로 얼굴과 표정, 입 모양까지 생전 박윤배씨의 모습을 생동감 있게 재현했기 때문이다.

박윤배 배우의 가상인간은 출연진들과 실시간으로 자연스럽게 대화를 이어갔다. 동료들은 "왜 거기 앉아있어", "너랑 술 많이 마셨다" 등 그와의 추억을 회상하며 다양한 이야기를 나눴다.

김용건 배우가 "손 한 번 잡아 볼 수 있어?"라고 말하자, 박윤배 배우의 가상인간은 "모니터 앞으로 가까이 와 주세요"라며 화면 속에서 악수하는 자세를 취했다.

특히 방송 막바지에는 딸 박혜미씨가 출연해 아버지와 안부를 나누며 시청자들에게 큰 감동을 전했다. 전원일기 동료들과 혜미씨는 그를 다시 만난 기쁨과 그리움으로 눈물을 흘리기도 했다.

해당 영상은 유튜브에도 공개돼 4일만에 400만 조회수를 기록, 인기 급상승 동영상 1위에 오르는 등 연일 화제가 됐다.

'회장님네 사람들' 촬영 모습 (사진 제공=빔스튜디오) *재판매 및 DB 금지

기존 딥페이크 기술 넘어선 '실시간 대화' 장점…"살아있는 것 같다"

고 박윤배씨의 가상인간이 '불쾌한 골짜기' 없이 사람들에게 감동을 줄 수 있었던 이유는 실시간 인터랙티브 대화 시스템 덕분이다. AI가 기존의 데이터를 조합해 학습하고, 실제 사람의 얼굴이나 특정 부위를 가상의 인물과 합성하는 기존 딥페이크 기술에서 더 나아가 가상인간과의 실시간 소통까지 가능하다.

심지어 방송에서 가상인간은 동료들만 알 수 있는 추억담까지 나눈다. 이창환 배우에겐 "우리 함께 술 참 많이도 마셨는데"라고 말했고, 김용건 배우에겐 "제 (몰래 카메라) 결혼식에 오셨던 거 기억나요?", "늙어도 알랭들롱 같다"고 농담까지 건넨다. 이에 동료들은 마치 그가 "살아있는 것 같다"고 탄복한다.  

하지만 이는 실시간 대화 변수 예측을 위한 대화 범위를 한정하고, 사전에 습득한 정보를 토대로 새도우 액터(그림자 배우)가 상황에 알맞게 대답한 것이다. 그럼에도 실제 박윤배 배우가 말한 것처럼 사람들이 감쪽같이 속을 수 밖에 없었던 것은 새도우 액터 목소리에 '보이스 클론'(AI학습·음성필터) 기술을 적용했기 때문이다. 게다가 말하는 입 모양이나 표정까지 실시간으로 자연스럽게 구현하며 어색함을 없앴다.

최근 다수의 방송 프로그램에서 고인이 된 가수들의 목소리를 가상인간으로 재현한 AI 기술과는 확연히 차별된다. 빔스튜디오의 '실시간 인터랙티브 대화 시스템'은 딥페이크 콘텐츠 개발이 활발한 헐리우드에서도 초기 보급 단계로 현재까지 상용화 사례가 전무하다. 빔스튜디오는 세계 최초로 이 시스템을 상용화한 '비엠리얼 솔루션'의 기술특허를 진행 중이다.

하이브리드 딥페이크 제작 시스템(사진 자료=빔스튜디오) *재판매 및 DB 금지

'비엠리얼 솔루션' 통해 제작 비용·시간 단축…올해 중국·할리우드 시장 진출 예정

비엠리얼 솔루션은 큰 자본이 투입된 대작 영화를 대처할 수 있을 뿐만 아니라 중소 규모 프로젝트에도 활용이 가능하도록 알고리즘이 구현돼 있어, 가상인간 개발에 따른 소요 비용과 기간도 획기적으로 줄여준다.

정영범 빔스튜디오 대표는 "기존에는 컴퓨터그래픽(CG) 혹은 딥페이크 기술을 통해 미리 만들어 놓은 녹화본이거나, 현장에서 가상인간 없이 촬영 후 보정하는 후속 작업을 거쳐야 했다"며 "비엠리얼 솔루션은 실시간으로 기술 구현이 가능하기 때문에 후보정 작업에 드는 시간과 비용을 획기적으로 줄일 수 있다"고 말했다.

현재 빔스튜디오는 글로벌 대규모 영상 프로젝트에 참여해 비엠리얼 솔루션을 활용할 예정이며, 연내 중국 및 헐리우드 콘텐츠 시장에 순차적으로 진출할 계획이다.

정 대표는 "tvN 프로젝트를 통해 세계 최초로 방송제작 현실에 적합한 실시간 AI 딥페이크 기술을 검증받게 됐다"며 "국내 기술력이 글로벌 시장에서 인정받아 딥페이크 기술의 순기능을 보여주는 좋은 사례가 되길 바란다"고 전했다.

빔스튜디오는 27년간 '스타제이엔터테인먼트'를 운영한 정영범 프로듀서가 2021년 창업한 디지털 휴먼 스타트업으로, 지난해 스타트업 액셀러레이터 및 벤처캐피탈인 스파크랩을 통해 초기 투자를 유치한 바 있다.


◎공감언론 뉴시스 [email protected]