독자 AI 2차 평가, '점수 맞춤 학습' 논란 해소…글로벌 평가기관도 점검

글로벌 평가기관 AA 직접검토…체계적 암기·과적합 입증 단서 없어

벤치마크 40점 중 글로벌 평가는 25점…전문가·사용자 평가도 종합

글로벌 평가 최고점 모티프는 탈락…정부 "사용성·활용성 상대적으로 낮아"

[서울=뉴시스] 조수정 기자 = 류제명 과학기술정보통신부 2차관이 18일 오전 서울 종로구 정부서울청사에서 독자 AI파운데이션 모델 프로젝트 2차 단계평가 결과 발표를 하고 있다. 2026.08.18. [email protected]

[서울=뉴시스]심지혜 기자 = 특정 벤치마크에서 높은 점수를 받도록 인공지능(AI) 모델을 사후학습하는 이른바 '벤치맥싱'이 국가대표 AI 선발을 둘러싼 논란으로 번졌지만 정부는 이를 실제 평가에 반영하지 않았다고 밝혔다. 글로벌 벤치마크 평가기관에 검증을 요청한 결과 특정 평가를 겨냥한 체계적 암기나 과적합을 입증할 단서를 찾지 못했다는 답변을 받았다는 설명이다.

류제명 과학기술정보통신부 2차관은 18일 진행한 독자 AI 파운데이션 모델 프로젝트 2차 단계평가 결과 브리핑에서 "벤치맥싱 관련 이슈는 평가에 반영되지 않았다”며 "아티피셜 애널리시스(AA)의 공식 답변을 토대로 하고 전문가 평가 등을 통해 검증한 결과 경쟁의 불공정성을 초래할 만한 부분은 없었다는 결론을 내렸다”고 밝혔다.

벤치마크 40점 놓고 '벤치맥싱' 논란…평가 과정서 검증했다

벤치맥싱 논란은 독자 AI 2차 단계평가를 앞두고 불거졌다. 이번 평가에서는 전체 100점 가운데 벤치마크 평가에 40점이 배정됐다. 이 가운데 글로벌 AI 모델 평가기관 아티피셜 애널리시스(AA)가 운영하는 '인공지능 지능지수(AAII)'를 활용한 평가가 25점, 한국지능정보사회진흥원(NIA) 벤치마크 평가가 15점을 차지했다.

특히 최근 특정 벤치마크와 유사한 데이터 등을 활용해 사후학습을 진행하면 모델의 전반적인 성능 향상과 별개로 해당 평가 점수를 끌어올릴 수 있다는 지적이 나오면서 독자 AI 평가에서도 벤치맥싱 여부가 쟁점으로 떠올랐다.

AA 역시 이 같은 벤치맥싱 논란을 인지하고 이를 고려해 정예팀 모델을 평가한 것으로 확인됐다. 정부도 AA에 관련 사안을 공식적으로 검토해달라고 요청했다. AA는 높은 평가 점수를 목적으로 모델을 최적화하는 시도를 차단하기 위한 장치를 적용해 평가했으며, 국내 정예팀 모델을 검토한 결과 평가를 위한 체계적인 암기나 과적합을 입증할 만한 단서를 찾지 못했다는 입장을 정부에 전달했다.

AAII에서는 모티프테크놀로지스의 '모티프 3'가 47점으로 정예팀 가운데 가장 높은 점수를 기록했다. 이어 업스테이지 '솔라 오픈2' 37점, SK텔레콤 'A.X K2' 35점, LG AI연구원 'K-엑사원 2.0' 31점 순이었다. 모티프 3는 당시 글로벌 AI 기업별 최고 성능 모델을 기준으로 세계 10위에 올랐으며 미국과 중국을 제외한 국가의 AI 기업 가운데 가장 높은 점수를 기록했다

류 차관은 "결론적으로 벤치맥싱 관련 이슈는 평가에 반영되지 않았다”며 "AA의 공식적인 답변을 토대로 하고 전문가 평가를 통해 검증한 결과 경쟁의 불공정한 부분은 없었다는 결론을 내렸다”고 강조했다.

벤치마크만 본 건 아니다…전문가·사용자 평가도 종합

2차 단계평가는 벤치마크 성적뿐 아니라 전문가 평가와 실제 사용자 평가 등을 종합해 100점 만점으로 진행됐다. 벤치마크 평가는 글로벌 평가 25점과 한국지능정보사회진흥원(NIA) 평가 15점을 합쳐 40점이다. 여기에 전문가들이 기술적 독자성과 개발 성과, 사용성·실용성, 국내외 AI 생태계 파급효과 등을 살폈고, AI 전문 사용자와 일반 국민이 직접 모델을 사용한 결과도 반영했다.

평가별 격차는 크지 않았다. 벤치마크는 4개 정예팀 평균 22.5점에 1위와 4위 간 격차가 4점이었고, 전문가 평가는 평균 28.8점에 2.4점, 사용자 평가는 평균 17.6점에 5점 차이였다. 각 평가 영역에서 1위를 차지한 팀도 모두 달랐다고 과기정통부는 설명했다.

류 차관은 "특별히 어떤 항목이 결정적이었다고 보기 어려울 정도로 각 항목별 격차가 미세했다”며 "각 평가 결과가 종합적으로 만들어낸 결과”라고 말했다.

이를 바탕으로 최종적으로 업스테이지와 SK텔레콤, LG AI연구원이 다음 단계에 진출했다. 모티프는 글로벌 벤치마크에서 정예팀 가운데 가장 높은 성적을 거뒀지만 사용성·활용성 측면에서는 다른 정예팀보다 상대적으로 낮은 평가를 받은 게 결정적이었다.

류 차관은 "모티프의 AA 점수는 정말 눈에 띄는 뛰어난 성과를 보여준 것이 분명하다”면서도 "100점 만점에서 25점의 배점일 뿐”이라고 말했다.

이어 "기술력은 뛰어났지만 나머지 75점의 배점에 상당한 무게중심이 있었던 사용성·활용성 부분에서는 다른 기업들에 비해 약간 낮은 평가를 받았다고 해석할 수 있다”고 말했다.


◎공감언론 뉴시스 [email protected]