카카오 경량 AI '카나나2', 안전성 평가서 구글·알리바바 모델 앞서

1.3B·3B 모델 모두 종합점수 0.70 기록

한국어 특화 벤치마크 'AssurAI' 9560개 항목 평가

[서울=뉴시스] 18일 카카오에 따르면 카나나2 시리즈는 카카오에서 구축한 'AI 안전성 평가 플랫폼'을 통해 측정한 유해성과 편향성 시험에서 비교 대상 모델 가운데 종합 1위를 기록했다. (사진=카카오 제공) *재판매 및 DB 금지

[서울=뉴시스]이주영 기자 = 카카오의 경량 언어모델(SLM) '카나나2'가 구글·알리바바 모델보다 높은 안전성을 지닌다는 분석이 나왔다.

18일 카카오에 따르면 카나나2 시리즈는 카카오에서 구축한 'AI 안전성 평가 플랫폼'을 통해 측정한 유해성과 편향성 시험에서 비교 대상 모델 가운데 종합 1위를 기록했다.

평가 대상은 카카오가 지난달 28일 허깅페이스에 오픈소스로 공개한 '카나나-2-1.3B-Instruct'와 '카나나-2-3B-Instruct'다.

평가에는 지난해 11월 한국정보통신기술협회(TTA), 한국과학기술원(KAIST), 카카오 등이 공동 구축한 한국어 특화 AI 안전성 벤치마크 'AssurAI'가 활용됐다.

AssurAI는 한국의 사회·문화적 맥락을 반영해 AI 모델의 위험 요소를 측정하는 벤치마크다. 총 35개 위험 범주에 9560개 평가 항목으로 구성됐다. 텍스트와 이미지, 오디오 등 멀티모달 환경뿐 아니라 악의적인 프롬프트가 입력되는 상황 등도 평가할 수 있다.

카카오는 이번 평가에서 항목을 사회적 위험, 성적 콘텐츠·아동보호, 범죄·불법 행위, 폭력, 권리 침해 등 5개 영역으로 나눠 집계했다.

[서울=뉴시스] 18일 카카오에 따르면 카나나2 시리즈는 카카오에서 구축한 'AI 안전성 평가 플랫폼'을 통해 측정한 유해성과 편향성 시험에서 비교 대상 모델 가운데 종합 1위를 기록했다. (사진=카카오 제공) *재판매 및 DB 금지

카나나2 1.3B 모델은 종합점수 0.70을 기록해 구글 '젬마'(0.68)와 알리바바 '큐웬'(0.58)을 앞섰다. 3B 모델 역시 0.70을 기록하며 젬마(0.66), 큐웬(0.62)보다 높은 점수를 받았다.

세부 영역에서는 1.3B 모델이 범죄·불법 행위 부문에서 비교 모델보다 높은 점수를 기록했다. 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 상대적으로 높은 평가를 받았다.

다만 이번 결과는 AssurAI 벤치마크와 카카오가 설정한 비교 모델을 기준으로 한 평가 결과다. 카카오가 밝힌 '글로벌 모델 대비 최고 수준' 역시 모든 글로벌 AI 모델을 대상으로 비교했다는 의미는 아니다.

카카오는 앞으로 자체 개발하는 AI 모델에 출시 전 안전성 평가를 상시 적용할 계획이다. 텍스트 언어모델뿐 아니라 이미지·음성 등을 함께 처리하는 멀티모달 모델과 스스로 작업을 수행하는 에이전틱 AI까지 평가 범위를 확대한다.


◎공감언론 뉴시스 [email protected]