임희석 고려대 교수팀, 한국어 특화 임베딩 모델 'KURE' 공개

RAG 기술로 LLM 환각현상 혁신적 완화에 기여

임희석 고려대 교수 (사진=고려대 제공) *재판매 및 DB 금지

[서울=뉴시스]문효민 인턴 기자 = 고려대(총장 김동원)는 임희석 정보대학 컴퓨터학과 교수가 이끄는 NLP&AI 연구실과 Human Inspired AI 연구원(HIAI 연구원)이 최근 한국어에 특화된 임베딩 모델인 'Korea University Retrieval Embedding model(KURE)'를 공개했다고 2일 밝혔다.

NLP&AI 연구실과 HIAI 연구원은 지난해 6월 국내 대학 최초로 한국어 특화 거대언어모델(LLM) '구름(KULLM)'을 공개했으며 이후 한국어 생성 능력을 향상한 '구름3(KULLM3)'를 공개하며 한국어 자연어처리 기술 발전에 꾸준히 기여하고 있다.

최근 인공지능 분야에서 주목받고 있는 RAG(Retrieval-Augmented Generation) 기술은 거대 언어모델의 생성 능력과 외부에서 검색된 정보를 결합해 더 정확하고 신뢰할 수 있는 답변을 제공하는 기술이다.

KURE는 LLM이 잘못된 답변을 생성하는 환각 현상을 완화하고 최신 정보를 반영해 올바른 답변을 제공하는데 핵심적 기술이다.

KURE와 같은 한국어 임베딩 모델은 사용자의 질의와 가장 관련성 높은 문맥을 찾아내 정확하고 유의미한 답변을 생성하는 데 필수적인 역할을 한다.

KURE는 한국어의 특성에 최적화된 검색모델로 연구팀은 이를 위해 모델 학습에 필요한 질문, 정답 및 오답문서로 구성된 트리플 한국어 데이터 셋을 제작했다.

마이크로소프트의 다국어 모델을 기반으로 학습을 진행했다.

KURE는 다양한 한국어 특화 검색 태스크에서 우수한 성능을 보였으며 실제 산업현장에서도 효과를 입증하고 있다.

주식회사 온더아이티는 KURE를 기술 이전 받아 기존 자사 검색모델보다 정교하고 정확한 검색 결과를 제공하는 생성형 AI 기반의 질의응답 솔루션을 출시했다.

임희석 교수는 "KURE 모델 개발은 한국어 자연어처리 기술의 새로운 가능성을 제시하는 중요한 연구 성과"라며 "앞으로도 거대언어모델과 검색 기술의 융합으로 혁신적인 연구를 지속해 산학협력의 좋은 예를 만들어 나가겠다"고 말했다.

고려대는 이번 KURE 모델 공개가 한국어 자연어처리 기술 발전에 새로운 장을 열었으며 향후 국내 AI 산업 전반에 긍정적인 영향을 미칠 것으로 기대된다고 설명했다.

이러한 연구 성과를 바탕으로 고려대 NLP&AI 연구실과 HIAI 연구원은 '2024 산학협력 우수사례 경진대회'에서 기술협력 분야 우수상(부총리 겸 교육부장관상)을 수상하며 산학협력을 통한 혁신적인 성과를 인정받았다고 덧붙였다.

또한 자연어처리 분야 최우수 학술대회인 EMNLP 2024에서 총 5편의 논문을 발표하며 세계적인 연구 역량을 다시 한번 입증했다고 강조했다.

EMNLP는 자연어처리 분야에서 세계적으로 가장 권위 있는 국제학술대회로 이곳에서의 논문 발표는 연구의 독창성과 우수성을 인정받는 의미가 크다고 짚었다.


◎공감언론 뉴시스 [email protected]