"멀티모달 AI는 왜 더 똑똑할까"…UNIST, 성능 향상 원리 첫 수학적 규명

ICML 2026 논문 채택…'손실 지형 평탄화' 원리 밝혀

새로운 학습기법 DML 제안…정확도·강건성 모두 향상

[울산=뉴시스] UNIST 윤성환 교수(왼쪽)와 이재준 연구원 (사진=UNIST 제공) [email protected] *재판매 및 DB 금지

[울산=뉴시스] 구미현 기자 = 이미지와 음성, 텍스트를 함께 학습하는 멀티모달 인공지능(AI)이 단일 데이터만 학습한 AI보다 더 정확하고 안정적인 이유를 국내 연구진이 처음으로 수학적으로 규명했다.

여러 데이터를 함께 학습할수록 AI의 '손실 지형(Loss Landscape)'이 평탄해져 새로운 환경에서도 성능이 안정적으로 유지된다는 원리를 밝혀내고, 이를 활용한 새로운 학습기법까지 제안했다.

 울산과학기술원(UNIST) 인공지능대학원 윤성환 교수 연구팀은 멀티모달 AI의 성능 향상 원리를 '손실 지형의 평탄화' 관점에서 설명하고, 이를 활용한 새로운 학습 기법인 '분포 기반 멀티모달 학습(DML·Distributional Multimodal Learning)'을 제안했다고 28일 밝혔다.

멀티모달 학습은 이미지와 음성, 텍스트 등 서로 다른 모달리티(Modality)의 데이터를 함께 활용해 하나의 대상이나 상황을 이해하도록 학습하는 방식이다. 기존에도 단일모달 AI보다 높은 성능을 보인다는 사실은 알려져 있었지만, 이를 딥러닝 학습 과정과 연결해 설명한 이론적 근거는 부족했다.

연구팀은 여러 모달리티를 동시에 학습하면 손실 지형이 더욱 평탄해지면서 학습 과정에서 접하지 못한 새로운 데이터에도 안정적으로 대응하는 강건성(Robustness)이 향상된다는 점을 확인했다.

손실 지형은 AI 학습 과정에서 발생하는 오차와 모델 내부 설정값의 관계를 산과 계곡 형태로 표현한 개념이다. 지형이 넓고 완만할수록 새로운 환경이나 데이터가 입력돼도 성능이 쉽게 흔들리지 않는다.

연구팀은 이러한 현상이 서로 다른 데이터가 오차의 급격한 변화를 평균화하는 '합성곱 스무딩 효과(Convolution Smoothing Effect)' 때문이라고 설명했다. 이미지 하나만으로 학습할 때 나타나는 뾰족한 오차 변화가 음성이나 텍스트 정보가 함께 학습되면서 완화돼 더욱 안정적인 학습이 가능해진다는 것이다.

이를 바탕으로 연구팀은 새로운 멀티모달 학습 방식인 DML도 개발했다. 기존 방식이 이미지와 이에 대응하는 음성 또는 문장을 고정된 쌍으로 학습했다면, DML은 같은 정답 범주 안에서 서로 다른 모달리티 데이터를 무작위로 재조합해 학습 데이터를 다양화하는 방식이다.

[울산=뉴시스] 다양한 형태의 데이터를 함께 학습할 때 나타나는 '합성곱 스무딩' 효과[email protected] *재판매 및 DB 금지

실험 결과 DML은 다양한 멀티모달 데이터셋에서 기존 학습 방식보다 높은 분류 정확도를 기록했다. 사진과 설명문을 서로 찾아 연결하는 이미지-텍스트 검색 실험에서도 정답률이 향상된 것으로 나타났다.

이번 연구에는 UNIST 인공지능대학원 이재준 연구원이 제1저자로 참여했다.

윤성환 교수 연구팀은 "멀티모달 AI가 왜 더 강건하게 일반화되는지를 설명하는 이론적 근거를 제시하고, 이를 활용한 단순하면서도 효율적인 새로운 샘플링 학습 방법을 제안했다"며 "향후 데이터를 더욱 효율적으로 활용하면서 외부 노이즈나 교란에도 안정적으로 작동하는 차세대 AI 개발의 기반 기술이 될 것으로 기대한다"고 했다.

이번 연구는 인공지능 분야 최고 권위 국제학술대회인 ICML 2026(국제 머신러닝 학회)에서 발표될 예정이며, 올해 학회는 다음 달 6일부터 서울에서 열린다.

연구는 과학기술정보통신부·한국연구재단의 중견연구사업과 과학기술정보통신부·정보통신기획평가원의 초거대산업AI연구지원(R&D)사업, 인공지능대학원지원사업, AI 스타펠로우십사업, 지역지능화혁신인재양성사업의 지원을 받아 수행됐다.


◎공감언론 뉴시스 [email protected]