"AI 답변 비용 최대 6배 낮춘다?"…구글 '터보퀀트' 뭐길래 [터보퀀트 쇼크 ①]

KV 캐시 저비트 압축 기술 공개…메모리 점유율 1/6로 줄여 비용 혁신

GPU 한 대당 처리량 최대 8배 증가 기대, API 가격 인하 경쟁 촉발 가능성

실서비스 검증 여부 주목…확인될 경우 AI 인프라 투자·경쟁 구도 재편

[뉴욕=AP/뉴시스] 사진은 미국 뉴욕에 있는 구글 본사. 2023.11.30 *재판매 및 DB 금지

[서울=뉴시스]윤정민 기자 =

"(터보퀀트는) 구글판 딥시크와 같은 기술이다. 속도, 메모리 사용량, 전력 소비량 등 활용도 측면에서 AI 추론을 최적화할 수 있는 여지가 훨씬 많다."
(매튜 프린스 클라우드플레어 최고경영자, 지난 25일 엑스 공식 계정)

구글이 메모리 사용량을 최대 6분의 1 수준으로 줄이면서도 성능을 유지하는 기술을 공개해 화제다. 삼성전자, SK하이닉스, 마이크론 등 국내외 메모리 반도체 기업 주가까지 흔들면서 '구글판 딥시크'로 평가 받는 이 기술이 무엇인지 관심이 쏠리고 있다.

27일 업계에 따르면 구글 리서치는 최근 자사 공식 블로그에 거대언어모델(LLM) 메모리 사용 효율을 높이는 기술 '터보퀀트'를 소개했다.

[서울=뉴시스] 27일 구글 리서치가 AI(인공지능) 구동에 필요한 메모리 사용량을 최대 6분의 1로 줄이는 압축 기술 ‘터보퀀트(TurboQuant)’를 공개했다. AI 답변 생성 과정인 ‘추론(Inference)’ 단계에서 ‘KV 캐시’를 최대 6배 압축해 효율을 높이는 것이 핵심이다. (그래픽=전진우 기자) [email protected]

이 기술은 인공지능(AI)이 이전 대화나 문맥 정보를 저장하는 '키-값(KV) 캐시'를 저비트로 압축한다. 메모리 사용량을 최대 6분의 1 수준으로 줄이면서도 같은 성능을 유지할 수 있다.

KV 캐시는 AI가 긴 문맥을 이해하고 답변을 생성하는 데 필수적인 요소다. 다만 문맥 길이가 길어질수록 메모리 사용량이 급격히 증가해 비용과 속도 측면에서 한계로 지적돼 왔다.

이에 그동안 AI 성능 경쟁은 더 많은 그래픽처리장치(GPU)와 연산 능력을 확보하는 방향으로 전개돼 왔다. 하지만 터보퀀트는 이러한 문제를 해결한다.

터보퀀트 연구에 참여한 한인수 한국과학기술원(카이스트) 전기·전자공학부 교수는 "AI 모델의 성능이 커질수록 메모리 사용량이 급격히 증가하는 것이 가장 큰 한계로 지적돼 왔다"며 "이번 연구는 이러한 병목을 효과적으로 줄이면서도 정확도를 유지할 수 있는 새로운 방향을 제시했다"고 밝혔다.

"같은 GPU로 더 많은 성능 구현"…AI 답변 비용 낮춘 구글

[서울=뉴시스] 27일 업계에 따르면 구글 리서치는 최근 자사 공식 블로그에 거대언어모델(LLM) 메모리 사용 효율을 높이는 기술 '터보퀀트'를 소개했다. 사진은 '터보퀀트' 관련 이미지. 2026.03.27. (사진=구글 리서치 블로그) *재판매 및 DB 금지

메모리 사용량이 줄어들면 같은 GPU로 더 많은 요청을 처리할 수 있다. 이는 곧 AI가 답변을 생성할 때 드는 단위 비용 감소로 이어진다. 같은 인프라로 더 많은 서비스를 제공할 수 있어 AI API나 클라우드 서비스 요금 인하 경쟁을 촉발할 수 있다.

클라우드 업계 한 관계자는 "AI 서비스 기업 입장에서는 비용이 낮아지면 더 많은 기능과 서비스를 시도할 수 있다"며 "결국 이용자는 더 저렴한 가격에 더 긴 문맥과 고도화된 AI 서비스를 사용할 수 있게 될 것"이라고 말했다.

구글이 이 기술을 개발한 이유는 급증하는 AI 수요에 비해 데이터센터 인프라 부담이 빠르게 커지고 있기 때문이다. 생성형 AI 확산 이후 빅테크는 GPU와 메모리 확보에 막대한 자금을 투입해 왔다. 실제 서비스 단계에서의 추론 비용이 급증하면서 단순한 하드웨어 확장만으로는 수익성 확보가 어려워졌다.

이에 빅테크와 학계는 모델을 줄이거나 KV 캐시를 압축하는 등 효율을 높여 비용을 낮추는 연구를 강화하고 있다.

유회준 카이스트 전기·전자공학부 교수는 "모델 경량화는 이미 다양한 방식으로 연구되고 있는 흐름 중 하나"라며 "뉴럴 네트워크(신경망) 자체를 줄이는 방법, KV 캐시를 줄이는 방법, 웨이트 매트릭스(가중치 행렬)를 줄이는 등 여러 가지 방법이 있다"고 말했다.

아마존웹서비스(AWS)도 지난해 12월 '리인벤트(re:Invent)'에서 자체 AI 반도체 '트레이니엄', '인퍼렌시아'를 앞세워 비용 효율적인 AI 인프라 전략을 강조했다. 트레이니엄3 울트라서버는 이전 세대 대비 최대 4.4배 높은 연산 성능과 4배 수준의 에너지 효율을 제공한다고 설명했다.

또 메모리 부담이 줄어들면 AI 활용 범위도 넓어질 수 있다. 스마트폰·노트북 등 기기 내부에서 구현되는 '온디바이스 AII'와 다중 작업을 수행하는 AI 에이전트 서비스가 확대될 수 있다.

권석준 성균관대 반도체융합공학과·화학공학부 교수는 "추론 비용이 낮아지면 지금까지 비용 때문에 시도하지 못했던 긴 프롬프트 처리나 여러 프롬프트를 동시에 돌리는 작업 등이 가능해질 것"이라며 "효율이 높아질수록 AI 활용량이 오히려 더 늘어나는 '메모리판 제본스의 역설'이 나타날 수 있다"고 말했다.

구글, 내달 글로벌 AI 학회서 발표…"실서비스 검증이 관건"

[그래픽=뉴시스] 재판매 및 DB금지. [email protected]

터보퀀트와 같은 기술이 확산될 경우 데이터센터 전략에도 변화가 나타날 전망이다. 기존에는 GPU와 HBM을 대규모로 확보하는 방식이었다면 앞으로는 효율 최적화가 더 중요한 경쟁 요소로 떠오를 수 있다.

업계 관계자는 "효율 개선 기술이 본격 적용되면 데이터센터 투자 방식 자체가 바뀔 수 있다"며 "하드웨어 중심에서 소프트웨어 기반 최적화 경쟁이 강화될 것"이라고 말했다.

다만 터보퀀트는 아직 연구 단계 기술로 실제 상용화까지는 추가 검증이 필요하다. 구글은 다음 달 머신러닝·딥러닝 학회 'ICLR 2026'에서 관련 연구를 발표할 예정이다.

학계에서는 특정 모델과 환경에서 측정된 결과인 만큼 실제 서비스 환경에서도 동일한 효과가 재현되는지 확인이 필요하다는 신중론이 나온다.

유 교수는 "이번 기술도 특정 환경에서의 결과인 만큼 실제 서비스 환경에서 동일한 효과가 나는지 검증이 필요하다"며 "메모리를 줄이려는 시도는 계속 이어지겠지만 활용이 늘어나면서 시장은 더 커질 가능성이 있다"고 말했다.

업계에서는 향후 6개월 내 기술 한계와 효과가 보다 명확히 드러날 것으로 보고 있다. 한 관계자는 "이 기술이 실제 서비스 환경에서도 효과를 입증한다면 AI 인프라 경제성에 큰 변곡점이 될 수 있다”며 "이 기술이 정말 현실에서 기술우위를 가지고 확대된다면 수많은 스타트업의 숨통을 트이게 될 것"이라고 평가했다.


◎공감언론 뉴시스 [email protected]