국가대표 AI 5개팀, AI 학습 데이터 방출…'1.5조 토큰' 데이터 무료 개방

과기정통부·NIA, 네이버·업스테이지·SKT·NC·LG 구축 데이터 3544만건 공개

사전학습·멀티모달·레드티밍 등 3544만건…AI허브서 무료 다운로드

4개팀 검증 데이터 전량 공개…LG AI연구원은 50% 이상 선별 개방

[서울=뉴시스] 과학기술정보통신부가 '독자 AI 파운데이션 모델' 프로젝트 착수식을 갖고 K-AI 명칭을 공식 부여했다. (사진=과기정통부 제공) *재판매 및 DB 금지

[서울=뉴시스]윤현성 기자 = 정부의 '독자 인공지능(AI) 파운데이션 모델' 프로젝트에 참여한 국내 대표 AI 5개 팀이 확보한 인공지능(AI) 학습용 데이터를 공개한다. 이번에 풀리는 데이터는 총 29종, 약 3544만 건에 달한다. 토큰(AI가 앍고 이해하는 단위)으로 환산하면 약 1조5600억 개 규모다.

과학기술정보통신부와 한국지능정보사회진흥원(NIA)은 독자 AI 파운데이션 모델 프로젝트 5개 정예팀이 확보한 데이터를 AI허브를 통해 공개한다고 27일 밝혔다. 참여팀은 네이버클라우드·업스테이지·SK텔레콤·엔씨에이아이(NC AI)·LG AI연구원이다.

1.56조 토큰 규모…사전학습부터 멀티모달·레드티밍까지

이번 데이터는 5개 정예팀이 지난해 정부 예산 150억원을 지원받아 직접 기획하고 가공한 핵심 자산이다.

AI의 기초 지식을 쌓는 사전학습 데이터는 물론 영상과 음성을 아우르는 멀티모달 데이터, AI의 유해 답변을 막는 보안·안전성(레드티밍) 데이터까지 두루 갖췄다. 약 1조5600억 토큰 규모로 추정되며, 이론적으로 매개변수 700억~800억(약 70~80B) 수준의 대형 AI 모델 학습에 사용될 수 있다.

네이버클라우드는 공개 영상 234만건과 방송 영상 52만건, 해당 영상클립 기반 텍스트 1550만건, 음성 질의응답 1200만건을 구축했다. 텍스트에는 장면을 문장 단위로 기술한 캡션 등이 포함돼 AI 모델의 영상 이해능력과 이미지 생성 모델 학습에 활용될 수 있다.

업스테이지는 1조 토큰 규모의 대규모 사전학습 데이터와 50만건의 사후학습 데이터를 구축했다. 사전학습 데이터셋은 대규모 AI 모델을 처음부터 학습하는 데, 사후학습 데이터는 추론·판단·실행 등 AI 에이전트 개발에 활용될 수 있다.

SK텔레콤은 수학·과학·법률 등 전문 도메인 영역의 고난도 다단계 추론 데이터와 음성·이미지 등 사후학습용 데이터, 국내 법령과 한국 사회의 보편적 가치관을 반영한 한국형 레드티밍 데이터 약 1만건을 구축했다. AI모델의 실무 해결역량 강화와 안전성·신뢰성 향상 등에 활용될 수 있다.

엔씨에이아이는 제조 분야 기술문서와 민원 상담 음성 등 현장의 실제 데이터를 기반으로 긴 문맥 이해·단계별 추론·멀티턴 대화·질의응답·멀티모달리티 등 거대언어모델(LLM) 핵심 역량 데이터 7종을 구축했다. 사후학습 성능 고도화와 산업 현장에 필요한 텍스트-이미지-음성 통합학습에 활용될 수 있다.

LG AI연구원은 국내 50개 실제 가정환경에서 50종 이상의 가사 활동을 촬영해 17만개 이상의 영상 클립 등을 구축했다. 객체·분할·자세·맥락 정보 등을 다층 라벨링해 비전·VLM 학습과 연구·상용서비스 개발 등에 활용할 수 있도록 했다.

품질·개인정보·유해성 검증…AI허브서 무료 공개

NIA와 한국정보통신기술협회(TTA)는 1차 단계평가가 끝난 뒤 각 정예팀으로부터 데이터 구축·가공 예산으로 확보한 데이터 전체를 제공받았다. 이후 품질검증과 개인정보·유해성 검증을 진행해 라이선스 제약이 있는 데이터 등은 공개 대상에서 제외했다.

독자 AI 파운데이션 모델 사업 공고상 데이터 구축·가공 예산으로 확보한 데이터는 50% 이상을 개방해야 한다. 네이버클라우드·업스테이지·SK텔레콤·엔씨에이아이는 품질검증 등을 거친 데이터 전체를 개방하기로 했다. LG AI연구원은 의무 개방량인 50% 이상을 준수해 공개 대상 데이터를 통계적으로 선별해 개방하기로 했다.

이번에 공개되는 29종의 데이터는 국내 기업·연구자·학생 등 대한민국 국민이라면 누구나 AI허브에서 무료로 내려받아 활용할 수 있다. AI허브의 '독자AI모델 데이터' 항목에서 팀별·데이터 종류별로 검색할 수 있으며 일부 데이터는 별도 신청을 거쳐 이용 가능하다.

과기정통부는 앞으로도 독자 AI 파운데이션 모델 고도화 지원을 이어가고, 향후 2차 단계평가 과정에서 데이터 구축·가공 예산으로 확보한 데이터도 품질검증 등을 거쳐 개방할 예정이다.

김경만 과기정통부 인공지능정책실장은 "독자 AI 파운데이션 모델 프로젝트는 단순히 AI 모델 개발을 넘어 개발 과정에서 축적된 경험과 노하우를 통해 AI 생태계 전반의 질적 성장에 기여한다는 점에서 큰 의미가 있다"며 "오늘 개방된 데이터는 정예팀의 AI 학습 전략이 담긴 귀중한 자산인 만큼 AI 생태계의 성장과 자생력 강화를 이끄는 밑거름이 될 것"이라고 말했다.


◎공감언론 뉴시스 [email protected]