무제한 AI 쓰다 청구서 '눈덩이'…美 기술업계, AI 다이어트 착수

[뉴욕=AP/뉴시스] 2024년 7월5일 미국 뉴욕에서 컴퓨터 화면에 앤트로픽 홈페이지가, 휴대전화 화면에 앤트로픽 애플리케이션이 표시돼 있다. 2024.07.05.

[서울=뉴시스]김수빈 인턴 기자 = 미국 기업들이 생성형 인공지능(AI) 사용량을 경쟁적으로 늘리는 이른바 '토큰맥싱'(tokenmaxxing) 열풍에서 벗어나 비용 대비 효율을 따지기 시작했다.

'토큰맥싱'은 생성형 AI가 문장을 읽고 답변을 만드는 데 사용하는 기본 단위인 '토큰'의 사용량을 최대한 늘린다는 뜻이다. 영문 기준으로 토큰 4개는 단어 약 3개에 해당한다. 일반적으로 가격이 비싼 AI 요금제일수록 사용할 수 있는 토큰 한도가 높다.

28일 AP통신에 따르면 올봄까지만 해도 미국 기술업계에서는 오픈AI의 챗GPT와 앤트로픽의 클로드 등을 이용해 가능한 한 많은 업무를 처리하는 것이 유행했다. 토큰을 많이 사용하는 직원을 업무 능력이 뛰어난 인재로 평가하는 분위기도 형성됐다.

샘 올트먼 오픈AI 최고경영자(CEO)는 지난 5월 토큰맥싱을 적용하는 스타트업들이 어떻게 일하고 어떤 제품을 만들지 기대된다고 밝혔다. 젠슨 황 엔비디아 CEO도 "연봉 50만 달러(약 7억3000만원)를 받는 엔지니어가 25만 달러(약 3억6500만원)어치의 토큰을 사용하지 않는다면 무언가 잘못된 것"이라고 말했다. 메타는 사내에서 토큰 사용량에 따라 직원을 포상하는 경쟁도 진행했다.

그러나 AI 사용료가 쌓이면서 기업들은 토큰 사용량과 업무 성과가 반드시 비례하지 않는다는 점에 주목하기 시작했다. 빈센트 구스도프 무디스레이팅스 AI 분석 책임자는 "AI를 이용하면 필요하지 않은 것까지 너무 쉽게 만들 수 있다"며 "청구서가 쌓이자 새로운 도구가 상당히 비싸고 신중하게 사용해야 한다는 사실을 깨달았다"고 설명했다.

왕쥐 베인앤드컴퍼니 컨설턴트는 일부 기업의 토큰 비용이 거의 두 달마다 두 배로 늘고 있다고 전했다. 그는 "모든 업무에 클로드 오퍼스 4.6이 필요한 것은 아니다"라며 "많은 기업과 이용자가 이메일을 작성할 때조차 고성능 모델을 기본으로 사용한다"고 지적했다.

이에 기업들은 AI 업무를 적절한 모델에 자동으로 배분하는 '모델 라우팅'에 관심을 보이고 있다. 간단한 질문은 더 저렴하고 효율적인 AI 시스템으로 보내고, 복잡한 작업만 고성능 모델에 맡기는 방식이다. 미국 업체의 제품보다 저렴하면서도 성능이 비슷한 중국 문샷AI의 키미와 즈푸AI의 GLM 등 오픈소스 모델도 대안으로 떠오르고 있다.

라피 크리코리안 모질라 최고기술책임자(CTO)는 토큰맥싱이 과거 프로그래머가 작성한 코드의 줄 수를 생산성 지표로 여겼던 것과 비슷하다고 설명했다. 그는 "토큰맥싱도 같은 과정을 거치고 있다"며 "1년 뒤 모두가 돌아보며 웃게 될 단기 유행이 될 것"이라고 내다봤다.


◎공감언론 뉴시스 [email protected]