"얼굴만 찍어도 나 닮은 아바타로" UNIST, AI 기술 개발

얼굴·상반신·전신 영상에 모두 적용 가능한 '플렉시아바타' 개발

보이지 않는 신체 부위 계산 줄여 정확도 높이고 데이터 용량 절감

[울산=뉴시스] 촬영된 신체 범위에 맞춰 정교한 3D 아바타를 만드는 플렉시아바타 기술 (사진=UNIST 제공) [email protected] *재판매 및 DB 금지

[울산=뉴시스] 구미현 기자 = 얼굴만 촬영한 영상으로도 실제 인물의 특징을 살린 3차원(3D) 아바타를 만들 수 있는 인공지능(AI) 기술이 개발됐다.

영상에 담긴 신체 범위에 맞춰 필요한 부분을 집중적으로 복원해 아바타의 정교함을 높이고 데이터 용량과 구동 부담까지 줄인 것이 특징이다.

울산과학기술원(UNIST) 인공지능대학원 백승렬 교수팀은 영국 애버딘대 연구진 등과 공동으로 얼굴부터 상반신과 전신까지 다양한 촬영 범위에 적용할 수 있는 아바타 생성 기술 '플렉시아바타(FlexiAvatar)'를 개발했다고 27일 밝혔다.

3D 아바타는 실제 인물의 외모를 본떠 만든 가상 인물로 표정이나 동작을 자유롭게 바꿀 수 있어 가상현실(VR)과 영화·게임 등 다양한 디지털 콘텐츠 제작에 활용된다. 실제로 춤을 추는 모습을 촬영하지 않아도 아바타에 춤 동작을 적용해 가상공간에서 구현할 수 있다.

기존 아바타 제작 기술은 촬영 영상에 나오지 않는 신체 부위까지 함께 복원하는 과정에서 문제가 발생했다. 다리나 등처럼 영상에 담기지 않은 부위의 형태를 추정하고 계산하는 과정에서 오히려 얼굴이나 몸통 등 실제로 보이는 부위의 모양이 흐려지거나 뒤틀리는 현상이 나타날 수 있었다.

얼굴이나 상반신에 특화된 기술도 있지만 촬영 범위가 달라지면 별도의 기술을 적용해야 하는 한계가 있었다.

플렉시아바타는 하나의 기술로 얼굴·상반신·전신 영상을 모두 처리할 수 있도록 설계됐다. 영상에서 아바타를 구성하는 3D 요소가 얼마나 자주 관찰되는지 분석한 뒤 충분한 정보가 확보된 부위를 중심으로 형태와 색상을 정교하게 다듬는다. 이를 통해 영상에 나타나지 않은 부위를 무리하게 복원하면서 발생하는 오류를 줄이고 불필요한 계산도 덜어냈다.

특히 얼굴과 양손은 별도로 세밀하게 보정하도록 설계해 표정 변화와 손의 세부 형태를 더욱 정교하게 표현할 수 있도록 했다.

영상에 담기지 않은 등이나 머리 뒤쪽은 생성형 AI가 만든 보조 영상으로 보완한다. 인물이 한 바퀴 도는 모습을 생성해 다양한 방향에서 보이는 형태를 추정하는 방식이다. 다만 AI가 만들어낸 모습은 실제와 다를 수 있는 만큼 실제 촬영 영상의 정보를 우선 반영하고 보조 영상의 영향은 제한적으로 적용하도록 했다.

[울산=뉴시스] 백승렬 교수(좌측)와 이할렘 이몰랄 (Yihalem Yimolal)연구원 (사진=UNIST 제공) [email protected] *재판매 및 DB 금지

연구팀이 전신 촬영 영상의 3D 복원 성능을 평가하는 표준 데이터셋 '뉴먼(NeuMan)'으로 실험한 결과 영상 재현 품질을 나타내는 PSNR 지표는 35.77dB를 기록했다. 이는 비교 기술인 '엑스아바타(ExAvatar)'의 34.80dB보다 높은 수치다. PSNR은 값이 높을수록 원본 영상과 유사하게 재현됐음을 의미한다.

상반신 영상과 얼굴 중심 영상 실험에서도 비교 기술보다 높은 PSNR을 기록해 다양한 촬영 범위에서 성능을 확인했다.

효율성도 개선됐다. 얼굴 중심 영상으로 제작한 아바타의 3D 구성 데이터 용량은 엑스아바타보다 49.8% 작았다. 같은 실험 환경에서 학습을 마친 아바타를 움직여 화면에 표시하는 속도는 초당 29.18장에서 39.15장으로 약 34% 빨라졌다.

연구팀은 이 수치가 완성된 아바타의 3D 구성 데이터 용량과 구동 속도를 비교한 결과라고 설명했다. 아바타 제작에 필요한 전체 시간이나 그래픽처리장치(GPU) 메모리 사용량까지 같은 비율로 줄어드는 것은 아니다.

백승렬 교수는 "이번 연구는 촬영된 신체 범위에 맞춰 아바타를 정교하게 만들면서 불필요한 계산을 줄인 기술"이라며 "화상회의와 가상현실 서비스는 물론 영화와 게임 등 다양한 디지털 콘텐츠 제작 분야에 활용할 수 있을 것"이라고 말했다.

이번 연구는 지난 9월 스웨덴 말뫼에서 열린 '유럽컴퓨터비전학회(ECCV) 2026'에서 정식 공개됐다. 연구는 과학기술정보통신부 재원으로 한국연구재단(NRF)과 정보통신기획평가원(IITP) 및 InnoCORE 사업의 지원을 받아 수행됐다.


◎공감언론 뉴시스 [email protected]