KT, 국산 AI반도체·자체 LLM 한 서버에…'모두의 AI'에도 활용

리벨리온 NPU '아톰-MAX'·KT '믿음 K 2.5 프로' 결합

공공·국방·금융 등 보안 민감 산업 AX 공략

[서울=뉴시스]KT가 국산 NPU와 자체 LLM, 운영 플랫폼을 한데 묶은 일체형 AI 서버 ‘KT NPU LLM 스테이션’을 출시했다. (사진=KT 제공) *재판매 및 DB 금지

[서울=뉴시스]심지혜 기자 = KT가 국산 인공지능(AI) 반도체인 신경망처리장치(NPU)와 자체 개발 언어모델(LLM)을 하나의 서버에 결합한 기업용 소버린 AI 제품을 내놨다. 이를 정부의 ‘모두의 AI’ 프로젝트에도 활용해 국산 AI 반도체 기반의 대국민 서비스 구현에 나선다는 계획이다.

KT는 국산 NPU와 자체 LLM을 통합한 AI 어플라이언스 ‘KT NPU LLM 스테이션’을 출시했다고 19 밝혔다.

이는 리벨리온의 NPU ‘아톰-MAX’와 KT의 자체 LLM ‘믿음 K 2.5 프로’, 운영 응용프로그램 인터페이스(API) 플랫폼을 하나의 서버에 탑재한 일체형 제품이다.

아톰-MAX는 추론에 특화 NPU로, 공인 시험을 통해 동급 그래픽처리장치(GPU) 대비 높은 처리 성능과 전력 효율을 검증받았다. 믿음 K 2.5 프로는 고난도 추론과 에이전트 활용에 초점을 맞춘 KT 독자 모델이다.

KT가 이번 제품에서 가장 강조한 부분은 보안이다. 장비를 고객사 내부에 설치하고 데이터와 AI 연산을 모두 사내에서 처리하는 방식이다. 이에 따라 망분리 등 규제로 해외 생성형 AI 도입에 제약이 있었던 공공과 국방, 제약, 제조, 금융 분야에서도 활용할 수 있도록 했다.

도입 부담도 낮췄다. 서버와 AI 모델, 플랫폼이 하나의 장치에 통합돼 별도 구축 과정 없이 설치 당일부터 사내 문서를 기반으로 한 질의응답(RAG) 등의 기능을 사용할 수 있다. 업계 표준 API를 지원해 기존 AI 서비스도 접속 정보만 변경하면 별도 코드 수정 없이 연동할 수 있다는 설명이다.

KT는 앞으로 회의록 작성과 코딩 지원, 업무 자동화 에이전트 ‘K-Claw(가칭)’ 등 자체 개발 AI 에이전트를 순차적으로 탑재할 계획이다. 에이전트 전문 개발사와 협력해 고객 맞춤형 구축 사업으로도 확대한다.

장기적으로는 KT NPU LLM 스테이션의 활용 범위를 피지컬 AI용 엣지 데이터센터까지 넓혀 저전력·저지연 AI 인프라 구축에 활용할 예정이다.

이진형 KT AX사업본부장(상무)은 "KT NPU LLM 스테이션은 KT의 AX 풀스택 역량과 국산 반도체를 결합해 소버린 AI를 실제 산업 현장에서 즉시 사용할 수 있도록 만든 것"이라며 "데이터 주권을 지키면서 AI 전환을 시작하려는 기업과 기관에 현실적인 선택지가 될 것"이라고 말했다.


◎공감언론 뉴시스 [email protected]