AI 몸집 줄어도 언어 이해력 그대로…"전문가 모듈 공유"

UNIST 김태환 교수팀, 전문가 혼합 구조 'GMoE' 개발

[울산=뉴시스] 모든 신경망층이 함께 쓰는 공용 전문가와 해당 층에만 있는 전용 전문가를 혼합하는 기술의 모식도 (사진=UNIST 제공) [email protected] *재판매 및 DB 금지

[울산=뉴시스] 구미현 기자 = 챗GPT와 같은 대형언어모델의 '몸집'을 키우지 않고도 다양한 방식으로 언어를 이해할 수 있는 새로운 인공지능 구조가 국내 연구진에 의해 개발됐다. 여러 신경망 층이 같은 '전문가' 모듈을 공유하도록 설계해 언어 이해 성능은 유지하면서 모델의 매개변수를 크게 줄인 것이 핵심이다.

울산과학기술원(UNIST) 인공지능대학원 김태환 교수팀은 여러 신경망 층이 '전문가' 신경 모듈을 함께 활용하는 새로운 전문가 혼합 구조 'GMoE(Global Mixture of Experts)'를 개발했다고 10일 밝혔다.

챗GPT 같은 대형언어모델은 여러 개의 작은 인공지능 모듈인 '전문가'를 두고, 입력되는 토큰에 따라 일부 전문가만 선택해 사용하는 '전문가 혼합(Mixture of Experts)' 방식을 주로 활용한다. 하지만 기존 방식은 각 신경망 층마다 별도의 전문가 집단을 두기 때문에 비슷한 기능을 하는 모듈과 매개변수가 반복되는 문제가 있었다.

GMoE는 모든 신경망 층이 함께 사용하는 '공용 전문가'와 각 층에 하나씩 배치되는 '전용 전문가'로 구성된다. 기존 방식은 신경망 층이 늘어날 때마다 새로운 전문가 집단을 추가해야 하지만, GMoE는 여러 층이 공용 전문가를 함께 사용하도록 설계했다.

가령 신경망 층이 100개이고 각 층에 전문가 1천 명을 둔다면 기존 방식에서는 모두 10만 명의 전문가가 필요하다. 반면 GMoE는 각 층에 전용 전문가를 1명씩 두고 1천 명의 공용 전문가를 함께 사용해 총 1천100명의 전문가로 구성할 수 있다. 여러 층에서 비슷한 기능을 하는 모듈과 매개변수를 반복해 저장하지 않아도 되기 때문에 모델 파일 크기와 필요한 메모리를 줄일 수 있다.

연구팀은 입력된 토큰을 어떤 전문가 모듈로 보낼지 결정하는 '라우팅' 방식도 개선했다. 앞선 신경망 층의 라우터가 계산한 전문가별 선택 점수를 다음 층으로 전달해 이전 선택 정보를 참고하면서 전문가를 고르도록 한 것이다.

기존 모델에서는 각 신경망 층의 라우터가 앞선 층의 전문가 선택 결과를 전달받지 않고 매번 새롭게 전문가를 선택한다. 이 때문에 특정 전문가 조합에 입력이 반복적으로 몰리는 현상이 나타날 수 있다. GMoE는 이전 층의 선택 정보를 활용해 이러한 쏠림 현상도 완화했다.

연구팀은 GMoE를 소형·중형·대형 언어모델에 적용하고 독해, 문법 판단, 상식 추론 등 7개 시험을 통해 성능을 비교했다. 그 결과 기존 모델과 비슷한 성능을 유지하면서도 매개변수 수를 크게 줄일 수 있는 것으로 나타났다.

중간 크기 모델의 경우 매개변수를 기존 5억4천900만 개에서 2억400만 개로 약 63% 줄였지만, 평균 정답률은 39.51%를 기록했다. 기존 모델의 평균 정답률 39.55%와 비교해 성능 차이가 거의 없었다.

전문가 활용 방식도 더욱 다양해졌다. 연구팀이 분석한 결과 GMoE에서 확인된 서로 다른 전문가 경로는 8만1천561개로 기존 방식보다 3배 이상 많았다. 가장 많이 사용된 하나의 경로에 입력이 몰린 비율 역시 기존 25.65~45.55%에서 11.15%로 낮아졌다.

[울산=뉴시스] 김태환 교수(좌측)와 홍건우 연구원. [email protected] *재판매 및 DB 금지

이번 연구에는 홍건우 UNIST 인공지능대학원 석사과정생이 제1저자로 참여했다.

김태환 교수는 "기존 전문가 혼합 모델은 서로 다른 신경망 층이 비슷한 기능을 반복해서 학습하고, 각 층 안에서도 일부 전문가만 주로 활용되는 '복합 중복성' 문제가 있었다"며 "이번 연구는 이러한 문제를 하나의 구조 안에서 함께 완화하는 새로운 아키텍처를 제시한 연구"라고 설명했다.

이어 김 교수는 "대형언어모델이 더 적은 매개변수로도 다양한 전문가 조합을 활용하고, 같은 크기의 모델에서도 더 많은 방식으로 입력을 처리하는 데 기여할 것"이라고 말했다.

이번 연구 성과는 자연어 처리 분야 권위 국제학회인 ACL(Association for Computational Linguistics) 2026에 채택됐다. 연구 코드는 연구팀 프로젝트 페이지에 공개됐다.


◎공감언론 뉴시스 [email protected]