구글, 8세대 TPU 4종 완성…"AI 메모리 병목 뚫는다"

구글, AI 에이전트용 TPU 2종 공개…같은 공간에 더 많이 연산

8i 맥스, 메모리 대역폭 두 배…8tx는 연산 중 민감 정보 보호

외부 응답 기다리는 AI 세션 멈춰 칩 자원 낭비 줄여

AI 설비 투자 부담 속 자체 칩·SW로 운영비 절감 겨냥

[서울=뉴시스] 구글 클라우드가 9일 공개한 8세대 텐서처리장치(TPU) 시스템 '8tx'(왼쪽)와 '8i 맥스'. (사진=구글 클라우드 제공) *재판매 및 DB 금지

[서울=뉴시스]이주영 기자 = 인공지능(AI) 수요에 힘입어 미국 빅테크의 클라우드 매출이 빠르게 늘고 있지만, 데이터센터와 서버에 들어가는 투자비도 덩달아 불어나고 있다. AI가 질문에 답하는 수준을 넘어 여러 단계의 업무를 직접 수행하면서 더 많은 연산 자원이 필요해지고 있다.

구글 클라우드는 이 같은 문제를 해결하기 위해 자체 인프라를 손봤다. 같은 공간에 더 많은 연산 자원을 넣고 AI가 일을 멈추고 기다릴 때는 칩을 다른 작업에 돌려 쓸 수 있도록 한 것이다.

구글은 9일 자체 AI 가속기인 텐서처리장치(TPU)를 기반으로 한 8세대 시스템 '8i 맥스'와 '8tx'를 공개했다. 지난 4월 선보인 대규모 학습용 '8t'와 실시간 추론용 '8i'에 이어 두 종을 추가했다. 구글이 한 해에 TPU 시스템 4종을 선보인 것은 이번이 처음이다.

AI에 업무 맡기자 메모리가 병목…기존 칩 두 개 묶었다

[서울=뉴시스] 구글 클라우드의 8세대 TPU 시스템 4종. 왼쪽부터 대규모 학습용 '8t', 실시간 추론용 '8i', 연산 중 데이터 보호에 특화한 '8tx', 대용량 데이터 처리에 특화한 '8i 맥스'. (사진=구글 클라우드 제공) *재판매 및 DB 금지

마크 로메이어 구글 클라우드 AI·컴퓨팅 인프라 부문 부사장 겸 사장은 지난 6일 온라인 미디어 간담회에서 "AI는 검색과 요약을 넘어 실제 업무를 수행하고 있다"며 "이제는 TPU나 그래픽처리장치(GPU)를 얼마나 많이 갖고 있느냐보다 메모리를 얼마나 효율적으로 쓰느냐가 중요하다"고 말했다.

가령 프로그램 오류 수정을 맡은 AI는 코드를 고친 뒤 테스트를 돌리고, 실패하면 앞서 읽은 코드와 실행 결과를 다시 불러온다. 여러 에이전트가 동시에 이런 작업을 하면 메모리에서 데이터를 가져오는 속도가 전체 처리 속도를 좌우할 수 있다.

구글은 이 병목을 줄이기 위해 8i 맥스에 기존 8i 칩 두 개를 한 패키지에 담았다. 기존 8i 대비 HBM 용량은 288기가바이트(GB)에서 384GB로 늘었고, 메모리 대역폭은 초당 8.6테라바이트(TB)에서 17.2TB로 두 배가 됐다.

구글은 서버 랙이 차지하는 공간을 늘리지 않고도 더 많은 연산 자원을 배치할 수 있다고 설명했다. 로메이어 사장은 자체 AI 모델 '제미나이'를 구동할 때도 성능 개선을 확인했다고 밝혔다.

기업이나 정부 기관이 AI에 업무를 맡기려면 AI가 자료를 처리하는 동안에도 민감한 정보를 보호할 수 있어야 한다.

구글은 이를 위해 8tx에 기존 8t 칩과 맞춤형 AMD 중앙처리장치(CPU)를 결합했다. 연산 중에도 민감한 데이터와 모델 가중치를 하드웨어 수준에서 보호하는 구조다.

기업은 사내 자료를 별도 장비로 옮기지 않고 한 시스템에서 모델을 미세조정하고 실행할 수 있다.

클라우드 매출 뛰어도 현금 부담…구글, 칩 활용도 높인다

[뉴욕=AP/뉴시스] 2022년 9월23일 미국 뉴욕증권거래소(NYSE) 건물 밖에 성조기가 펄럭이고 있다. 2022.09.23. *재판매 및 DB 금지

구글이 자체 칩을 늘리고 운영 소프트웨어까지 손본 배경에는 AI 인프라 투자 부담이 있다.

구글 모회사 알파벳의 3분기 클라우드 매출은 1년 전보다 두 배 넘게 늘었다. 하지만 서버와 데이터센터에 대규모 자금을 투입하면서 영업활동으로 벌어들인 현금에서 설비 투자비를 뺀 잉여현금흐름은 마이너스 90억6500만 달러(약 12조3000억원)를 기록했다.

아마존도 3분기 클라우드 매출이 39.3% 늘었지만, 9월 말 기준 최근 12개월 잉여현금흐름은 마이너스 423억5700만 달러(약 57조5000억원)였다. 아마존은 AI 설비 투자 증가를 주된 원인으로 꼽았다.

구글은 이미 확보한 칩을 더 효율적으로 쓰는 데도 눈을 돌렸다. AI 에이전트가 외부 시스템의 응답이나 사람의 승인을 기다릴 때는 당장 연산할 일이 없어도 작업 상태가 칩 메모리에 남는다. 대기 중인 작업이 많을수록 다른 업무에 쓸 수 있는 메모리가 줄어든다.

신형 TPU와 함께 공개한 '에이전트 컴퓨트 엔진'은 대기 중인 작업을 자동으로 멈추고 진행 상태를 밀리초(ms) 단위로 칩 밖 메모리에 옮긴다. 이렇게 비워 둔 메모리를 다른 작업에 돌려 운영 비용을 줄이겠다는 구상이다.

구글은 칩과 서버의 메모리, 저장장치를 함께 관리해 AI가 앞서 처리한 정보를 더 빠르게 불러오도록 돕는 'TPU 싱크'도 오픈소스로 공개한다.


◎공감언론 뉴시스 [email protected]