HBM 다음은 '추론'…삼성전자·SK하이닉스, 차세대 메모리 승부

美 AI 인프라 서밋서 차세대 메모리 기술 발표

삼성, 가속기 위 HBM 쌓고…SK하닉, HBF·PIM으로 데이터 처리

[서울=뉴시스] 삼성전자는 4일부터 6일까지(현지 시간) 미국 캘리포니아주 산타클라라 컨벤션센터에서 열리는 'FMS 2026'에 참가해 차세대 3D 메모리 아키텍처인 zHBM과 zNAND-O의 목업(Mock-up)을 업계 최초로 공개한다.

사진은 4일 미국 실리콘밸리에서 열린 'FMS 2026'에서 김경륜 삼성전자 D램개발실 상무가 발표를 하고 있다. (사진=삼성전자 제공) 2026.08.05. [email protected] *재판매 및 DB 금지

[서울=뉴시스]박나리 기자 = 인공지능(AI)이 이용자의 요청에 답을 생성하는 '추론'으로 활용 범위를 넓히면서 메모리의 역할도 달라지고 있다.

AI가 긴 대화의 맥락을 기억하고 여러 작업을 동시에 처리하려면 많은 데이터를 저장하는 동시에 필요한 순간 빠르게 불러와야 한다.

삼성전자와 SK하이닉스는 이 과정에서 발생하는 데이터 이동을 줄이고, 용도에 맞게 저장 공간을 활용하는 기술을 개발하고 있다.

25일 업계에 따르면 두 회사는 지난 16일(현지 시간) 미국 캘리포니아주 산타클라라에서 열린 ‘AI 인프라 서밋 2026’에서 차세대 메모리 기술을 각각 발표했다.

삼성전자, 가속기 위에 HBM 쌓아 데이터 이동 줄인다

삼성전자는 메모리의 배치를 바꾸는 3차원 구조를, SK하이닉스는 연산 기능을 갖춘 메모리와 새로운 저장 계층을 소개했다.

삼성전자 미주총괄법인(DSA)의 김인동 메모리 상품기획 담당 상무는 행사에서 AI 가속기 위에 HBM을 직접 쌓는 'zHBM'을 제시했다.

현재는 HBM을 그래픽처리장치(GPU) 등 연산장치 옆에 배치한다.

zHBM은 두 장치를 수직으로 결합해 데이터가 이동하는 거리를 줄이는 구조다.

삼성전자는 지난달 FMS 2026에서 zHBM 목업을 처음 공개하며, 이를 적용한 차세대 인터페이스 시스템이 HBM5 기반 시스템보다 최대 8배 높은 성능을 낼 수 있다고 설명했다.

김 상무는 이번 서밋에서 대화형 AI의 응답 속도를 이용자당 초당 100토큰 수준에서 1000토큰으로 높이는 목표를 제시했다.

에이전트형 AI가 더 많은 작업을 수행하려면 메모리와 연산장치 사이의 데이터 이동을 줄여야 한다는 설명이다.

삼성전자는 낸드플래시 기반의 3차원 저장장치 'zNAND-O'도 개발하며 2028 샘플 공급을 시작할 계획이다. 

AI 워크스테이션에서 거대 모델을 구동할 때 zNAND-O를 활용하면, 필요한 저장 공간을 D램만으로 구성할 때보다 비용을 줄일 수 있다.

[서울=뉴시스] SK하이닉스는 지난 15일부터 17일까지 미국 캘리포니아주 산타클라라에서 열린 'AI 인프라 서밋 2026'에 참가했다고 21일 밝혔다. 사진은 SK하이닉스의 전시 부스. 2026.09.21. [email protected] *재판매 및 DB 금지

SK하이닉스, HBM과 SSD 사이 저장 공간 마련

같은 행사에서 임의철 SK하이닉스 부사장은 HBF(High Bandwidth Flash), PIM, 'SALT-KV'를 소개했다.

빠른 응답이 필요한 데이터와 대용량으로 보관해야 하는 데이터를 구분하고, 메모리 안에서 일부 연산까지 처리하는 기술이다.

HBF는 낸드플래시에 HBM처럼 실리콘관통전극(TSV) 기술을 적용해 용량과 데이터 전송 속도를 함께 높인다.

SK하이닉스는 HBF가 빠른 HBM과 대용량 저장장치인 솔리드스테이트드라이브(SSD) 사이에서 새로운 저장 공간 역할을 할 것으로 보고 있다.

긴 문맥을 처리하는 AI 서비스처럼 많은 데이터를 다뤄야 하는 환경을 겨냥한다.

대화가 길어질수록 앞서 계산한 결과를 임시로 저장하는 'KV 캐시'도 커진다.

SK하이닉스의 SALT-KV는 이를 문맥 단위로 나누고 재사용 가능성과 저장 비용을 따져 HBM·D램·SSD 가운데 적절한 곳에 배치한다.

임 부사장은 "초저지연 에이전트 서비스부터 비용 효율성이 중요한 장문 콘텍스트 서비스까지 AI 워크로드가 다양해지면서, 기존의 GPU-HBM 구조만으로는 새로운 요구사항을 충족하기 어려워지고 있다"며 "변화한 워크로드에 맞춰 하드웨어와 소프트웨어를 아우르는 새로운 설루션으로 PIM과 HBF, SALT-KV를 준비하고 있다"고 말했다.


◎공감언론 뉴시스 [email protected]