'비꼬네' 음성감정 알아채 얼굴표정 바꾼다…AI기술 개발

UNIST 김태환 교수팀, C-MET 개발

[울산=뉴시스] C-MET와 기존 방법들의 감정 편집 결과를 비교한 연구. (사진=울산과학기술원 제공) 2026.06.18. [email protected] 
 *재판매 및 DB 금지

[울산=뉴시스] 구미현 기자 = 같은 "잘한다"는 말도 어조에 따라 칭찬이 되거나 비꼼이 될 수 있다.

국내 연구진이 음성 속 미묘한 감정 신호를 읽어 영상 속 화자의 얼굴 표정을 자연스럽게 바꾸는 인공지능(AI) 기술을 개발했다. 이 기술은 별도의 참조 이미지 없이도 학습하지 않은 감정까지 표현할 수 있다. 기존 최고 수준 기술보다 감정 표현 정확도를 14%p 이상 높였다. 

울산과학기술원(UNIST)은 인공지능대학원 김태환 교수팀이 음성 신호에서 감정을 추출해 별도의 참조 이미지 없이도 영상 속 화자의 표정을 원하는 감정으로 바꿀 수 있는 인공지능 모듈인 C-MET(Cross-Modal Emotion Transfer)을 개발했다고 18일 밝혔다.

C-MET은 음성에 담긴 감정의 '변화량'을 얼굴 표정의 '변화량'으로 옮기는 것이 특징이다. 중립적 음성과 감정이 실린 음성의 차이를 벡터, 즉 변화의 방향과 크기를 담은 숫자 정보로 계산하고 이 벡터가 얼굴에서는 어떤 표정 변화로 나타나는지를 AI가 학습하는 것이다.

이 덕분에 음성 안에 말의 내용과 감정이 함께 섞여 있어도 표정 변화에 필요한 감정 신호를 따로 읽어낼 수 있다. 같은 문장이라도 어조가 달라지면 입꼬리, 눈썹, 눈 주변 움직임이 다르게 나타나도록 표정을 바꿀 수 있는 것이다.

또 각각의 감정에 슬픔, 기쁨 같은 이름표를 붙여 학습시키는 방식과 달리 두 감정 사이의 변화량을 보기 때문에 비꼼, 공감, 카리스마처럼 학습 과정에서 직접 보지 못한 미묘한 감정도 얼굴 표정에 반영할 수 있다. 감정이 담긴 음성을 입력으로 쓰기 때문에 감정을 표현한 고품질 정면 사진과 같은 참조 이미지도 필요없다.
 

[울산=뉴시스] 울산과학기술원(UNIST) 김태환 교수(좌측)와 최찬혁 연구원 (사진=UNIST 제공) 2026.06.18. [email protected] *재판매 및 DB 금지

이 기술은 최신 말하는 얼굴 표정 편집 기술인 이디톡(EDTalk)과 비교해 감정 표현 정확도가 14%p 이상 높았다. C-MET은 부품처럼 끼워 쓸 수 있는 모듈 형태다. 기존 EDTalk 모델의 표정 인코더를 C-MET으로 대체해 실험한 결과 MEAD 데이터셋 기준 감정 정확도가 41.99%에서 55.91%로 향상됐다.

또 다른 말하는 얼굴 생성 모델인 PD-FGC에도 C-MET을 적용한 결과 감정 정확도가 33.36%에서 36.82%로 높아졌다. 두 모델 모두에서 추론 속도도 빨라졌다. C-MET이 특정 모델에만 묶이지 않고 여러 얼굴 생성 AI 모델에 적용될 수 있음을 보여주는 결과다.

김 교수는 "이번 연구는 참조 이미지 없이 음성만으로 얼굴 영상의 감정을 바꿀 수 있다는 점에서 기존 방식들의 한계를 실질적으로 해결했다"며 "가상 인간 제작, 영화·콘텐츠 후반 작업, 감정 인식 AI 등 다양한 분야에 폭넓게 활용될 수 있는 기반 기술"이라고 설명했다.

이번 연구 최찬혁 UNIST 인공지능대학원 석사과정생이 제1저자로 참여했다. 성과는 인공지능 및 컴퓨터 비전 분야 최우수 국제학회 CVPR(Computer Vision and Pattern Recognition) 2026에 채택됐다.


◎공감언론 뉴시스 [email protected]