"AI 답변 비용·품질까지 본다"…와탭랩스, LLM 관측 기능 출시

GPU·LLM·AI 운영 통합 전략 공개

장애 대응 시간 최대 70% 단축 기대

[서울=뉴시스] 와탭 LLM 옵저버빌리티 대시보드 화면. (사진=와탭랩스 제공) *재판매 및 DB 금지

[서울=뉴시스]윤정민 기자 = 와탭랩스가 거대언어모델(LLM) 기반 서비스 성능과 비용, 품질을 추적하는 옵저버빌리티 기능을 출시하고 인공지능(AI) 운영 시장 공략에 나선다.

와탭랩스는 9일 서울 서초구 본사에서 'LLM 옵저버빌리티 미디어 데이'를 열고 그래픽처리장치(GPU), LLM, AI 운영을 연결하는 통합 전략을 발표했다.

와탭랩스는 지난해 'AI 네이티브 옵저버빌리티' 비전을 선언하고 GPU 모니터링을 출시한 데 이어 이번 행사에서 LLM 옵저버빌리티 기능을 정식 출시했다. 회사는 대화형 AI '와탭 AI'를 통해 자동 이상 탐지, 원인 추론, 조치 기능도 고도화하고 있다고 전했다.

기업의 AI 도입이 실제 서비스 운영 단계로 옮겨가면서 관측 대상도 서버와 애플리케이션을 넘어 GPU 자원, LLM API 호출, 토큰 비용, 답변 품질까지 확대되고 있다. AI 서비스는 장애 원인이 인프라, 모델, 검색, 애플리케이션 계층에 걸쳐 발생할 수 있어 기존 IT 모니터링 방식만으로는 운영 리스크를 파악하기 어렵다는 지적이 나온다.

LLM 옵저버빌리티는 LLM 기반 애플리케이션의 요청 흐름, 성능, 비용, 답변 품질을 추적·분석한다. 사용자 요청이 들어온 순간부터 응답이 반환되기까지 전 과정을 트레이스 단위로 기록해 벡터 검색, LLM API 호출, 에이전트 반복 실행 등 성능 병목 원인을 식별한다.

모든 LLM 호출의 입출력 토큰도 요청, 기능, 모델 단위로 집계해 토큰 사용량과 비용을 모니터링할 수 있다. AI 환각 감지 등 답변 품질 평가 기능도 제공한다.

와탭랩스는 LLM 옵저버빌리티를 GPU 모니터링과 AI 기반 자율 운영으로 연결해 AI 운영 효율을 높인다는 계획이다. 와탭은 애플리케이션, 서버, 데이터베이스, 쿠버네티스, GPU 등 IT 운영 환경을 통합 관측하는 모니터링 플랫폼이다. 회사는 이 플랫폼에 LLM 관측 기능을 더해 AI 서비스 운영 전 과정을 하나의 대시보드에서 분석할 수 있도록 지원한다는 설명이다.

기존 와탭 고객은 별도 도구를 추가하지 않고 기존 모니터링 환경에 LLM 관측 기능을 더할 수 있다. 와탭랩스는 자사 플랫폼 활용 시 GPU 작업량을 2~3배 늘리고 LLM 운영 비용을 약 30% 절감할 수 있다고 설명했다. 장애 발생 시 탐지부터 조치까지 대응 시간도 최대 70% 단축해 잠재적 손실을 줄이고 서비스 안정성을 높일 수 있다고 밝혔다.

[서울=뉴시스] 이동인 와탭랩스 대표. (사진=와탭랩스 제공) *재판매 및 DB 금지

이동인 와탭랩스 대표는 "이제 AI 시장의 무게중심이 'AI 실행'에서 'AI 운영'으로 빠르게 이동하고 있다"며 "와탭랩스는 LLM 옵저버빌리티를 비롯한 AI 내재 제품군을 지속 강화해, AI 운영 파트너로서 기업이 AI를 더 잘 활용하고 운영할 수 있도록 지원해 나갈 것"이라고 말했다.


◎공감언론 뉴시스 [email protected]