카카오 '오케스트레이션 벤치마크' 논문, 세계적 AI학회 채택

LLM의 에이전틱 AI 고도화 트렌드 착안

다양한 작업 계획하고 처리하는 능력 평가에 초점

작업 계획·도구 실행 분리해 정밀 검증…깃허브에 오픈소스로 공개

[서울=뉴시스]  카카오 CI. (사진=카카오 제공) 2025.12.24. [email protected] *재판매 및 DB 금지

[서울=뉴시스] 신효령 기자 = 카카오는 자사의 '오케스트레이션 벤치마크' 관련 논문이 세계 3대 AI(인공지능) 학술대회인 'ICLR 2026'에 채택됐다고 3일 밝혔다.

ICLR(국제표현학습학회)은 글로벌 빅테크 기업들이 주목하는 인공지능 분야의 최고 학술대회다. 올해는 1만 9000여 건의 논문 중 상위 28%만 통과할 정도로 경쟁이 치열했다.

이번 연구는 최근 AI 흐름이 단순 문답형 LLM(거대언어모델)에서 스스로 계획하고 도구를 사용해 임무를 완수하는 '에이전틱(Agentic) AI'로 진화함에 따라, 이에 맞는 정밀한 평가 기준을 제시했다는 데 의의가 있다.

기존 벤치마크는 단편적 성능 평가에 그쳐 복잡한 명령 수행 능력을 검증하는 데 한계가 있었다. 이에 카카오는 AI 모델의 작업 계획(Planning)과 도구 실행(Tool Execution) 능력을 분리해 평가하는 새로운 프레임워크를 개발했다. 특히 실제 서비스 환경에서 요구되는 '멀티 스텝' 및 '멀티 도메인' 처리 능력 검증에 초점을 맞췄다.

평가 모델은 여행·쇼핑·금융 등 17개 도메인과 100여 개의 가상 도구를 활용해 구성됐다. 사용자의 변덕스러운 요청이나 추가 질문 등 실제 대화 흐름을 시나리오에 반영해 실용성을 높였다. 데이터는 전문가의 수작업 검증을 거쳤다. 영어뿐만 아니라 한국어의 문화적 맥락까지 반영해 국내외 기술 생태계 모두에 적용 가능하다.

카카오는 AI 생태계 활성화를 위해 해당 논문과 데이터를 오픈소스 플랫폼 '깃허브'에 공개했다.

카카오 관계자는 "오케스트레이션 벤치마크는 에이전틱 AI가 실제 서비스 환경에서 안정적으로 작동하는지를 평가하는 핵심 도구로, 스스로 판단하고 이행하는 에이전틱 AI로 진화하는 현 시점에서 의미있는 연구 성과"라며 "향후에도 에이전트 간 협업 및 오케스트레이션 능력 강화를 위한 연구를 지속할 예정이며, 카카오의 에이전틱 AI 방향성에 부합하는 기술의 고도화를 추진해 갈 계획"이라고 말했다.


◎공감언론 뉴시스 [email protected]