법률 AI의 '헛소리' 잡았다…GIST, 신뢰성 높인 'LQ-RAG' 기술 개발

국제학술지`IEEE Access' 게재

[광주=뉴시스]연구팀이 제안한된 LQ-RAG 시스템의 개략적인 설계.

 [광주=뉴시스] 배상현 기자 = 광주과학기술원(GIST) 연구팀이 AI가 법률 정보를 잘못 제공하는 '할루시네이션' 문제를 획기적으로 줄이는 기술을 개발해 국제학술지에 게재했으며, 정확한 법률 상담부터 계약서 작성까지 다양한 분야에 적용될 전망이다.

광주과학기술원(GIST)은 전기전자컴퓨터공학과 이흥노 교수 연구팀이 법률 분야에 특화된 ‘검색 증강 생성(Retrieval-Augmented Generation, RAG)’ 프레임워크 기술을 개발했다고 27일 밝혔다.



  이 기술은 기존 AI 기반 법률 추론에서 발생하는 ‘할루시네이션(hallucination: 잘못된 정보, 환각)’ 문제를 획기적으로 줄이며, 정확도와 투명성, 신뢰성을 높여 취약 계층을 위한 법률 지원뿐 아니라 법률 실무 전반에 폭넓게 활용될 수 있을 것으로 기대된다.

 기존의 법률 AI 시스템은 58~82%의 할루시네이션 발생률을 보이는 것으로 보고되었다. 이에 따라 AI가 정확히 검색한 법률 정보를 반영하는 기술이 주목받고 있지만, 기존 방식도 정보 검색의 한계와 법률 문맥에 대한 적용력 부족이라는 문제를 안고 있다.

연구팀은 법률 데이터를 효율적으로 검색하고 활용하는 동시에 답변의 신뢰성과 정확도를 높인 법률 분야에 최적화된 ‘Legal Query RAG(LQ-RAG)’ 프레임워크를 개발했다.



 LQ-RAG는 ▲맞춤형 평가 에이전트(Evaluation Agent) ▲응답 생성 LLM(Response Generator LLM) ▲프롬프트 엔지니어링 에이전트(Prompt Engineering Agent) ▲임베딩 생성 LLM(Embedding Generator LLM) 등 네 가지 핵심 요소를 통합했다.

[광주=뉴시스]이흥노 교수(왼쪽)와 라만 S M 와히두르 학생.

 이 구조는 할루시네이션을 효과적으로 최대한 줄이고, 도메인별 정확도를 개선하며 복잡한 질문에도 명확하고 수준 높은 답변을 제공한다. 또 재귀적 피드백 과정을 통해 성능을 지속적으로 개선할 수 있도록 했다.

 LQ-RAG는 추론 과정에서 에이전트 기반의 반복적 개선 메커니즘을 명시적으로 적용해 최적의 답변을 도출한다. 생성된 답변은 평가 에이전트를 통해 맥락의 적절성과 사실적 정확성을 기준으로 평가된다.

 LQ-RAG는 AI가 생성한 답변을 지속적으로 개선하는 재귀적 피드백 메커니즘을 통해 신뢰성을 높였으며, 연구팀은 법률 문서를 체계적으로 임베딩해 고차원 벡터로 변환하고, 이를 바탕으로 AI가 보다 정확한 법률 정보를 제공할 수 있도록 했다.



 중국의 생성형 AI ‘딥시크(DeepSeek)-R1’과 연구팀의 LQ-RAG를 비교하면 두 모델 모두 더 정확하고 정교한 답변을 제공하기 위해 고유한 기법을 사용하지만, 응답을 개선하는 방식에서 차이를 보인다.

 LQ-RAG를 적용한 결과 기존 RAG 시스템 대비 법률 문서 검색 및 응답 정확도가 23% 향상되었으며, 파인 튜닝된 LLM과 비교해도 14% 높은 성능을 기록했다.

 이흥노 교수는 “이 기술을 법률 문서 분석, 계약서 작성 자동화, 준법 감시 등 다양한 법률 업무에 적용할 계획”이라며, “검색 증강 생성(RAG)과 다중 에이전트 협업 기술을 결합해 신뢰성 높은 법률 AI 시스템을 구축하고, 보다 정확한 법률 분석과 신뢰할 수 있는 AI 기반 법률 솔루션을 제공할 것”이라고 밝혔다.

 이번 연구는 과학기술정보통신부 및 정보통신기획평가원(IITP)의 지원을 받았다. 연구 결과는 국제학술지 `IEEE ACCESS'에 지난 14일 온라인 게재됐다.


◎공감언론 뉴시스 [e-mail]