한양대·리벨리온 연구팀, AI 추론 데이터 처리량 최대 3.9배 높여

LRM 배포 난제 해결한 '4비트 양자화 기술' 개발

'ICML 2026' 스포트라이트 및 구두 발표 논문 선정

[서울=뉴시스] 한양대와 리벨리온이 공동 개발한 4비트 부동소수점 양자화 인식 학습 기술 'ReQAT'의 동작 방식을 설명한 연구 모식도. (사진=한양대 제공) 2026.07.06. [email protected] *재판매 및 DB 금지

[서울=뉴시스]박시은 인턴 기자 = 한양대학교는 인공지능(AI) 반도체 팹리스 기업 리벨리온과의 공동 연구를 통해 대규모 추론 모델(LRM)의 성능 저하를 최소화하면서 연산 효율을 높이는 새로운 기술을 개발했다고 6일 밝혔다.

대규모 추론 모델은 복잡한 다단계 논리 문제를 해결하는 데 탁월한 성능을 보이고 있지만, 막대한 연산량과 지속적으로 증가하는 키-값 캐시(KV cache) 메모리 사용량으로 인해 실제 서비스로 배포하기 어려웠다. 때문에 모델의 가중치, 활성화 값 등을 모두 4비트로 압축해 이를 해결할 수 있는 양자화 기술이 주목받았다.

다만 기존의 방식은 숫자나 연산자와 같이 예측이 비교적 확실한 낮은 엔트로피(low-entropy) 토큰에서 오류를 만들어 전체 추론 과정의 정확도를 떨어뜨리는 문제가 있었다.

이에 연구진은 4비트 양자화의 핵심 오류가 낮은 엔트로피 토큰에 집중된다는 점을 규명하고 ▲추론 경로 정렬 학습(TAQ) ▲선택적 엔트로피 최소화(SEM) ▲양자화 친화적 초기화(Q-FIT) 등 세 가지 핵심으로 구성된 4비트 부동소수점 양자화 인식 학습 기술 'ReQAT'를 제안했다.

실험 결과 ReQAT를 적용한 4비트 양자화 모델은 기존 16비트(BF16) 정밀도 미세조정 모델과 동일하거나 이를 뛰어넘는 수준의 추론 정확도를 달성했다. 또한 이 기술을 엔비디아(NVIDIA) 시스템에 적용한 결과 ▲B200 환경에서 최대 3.1배 ▲DGX 스파크(Spark) 환경에서 최대 3.9배의 데이터 처리량 향상을 기록했다.

이번 연구 논문 'ReQAT: 4비트 부동소수점 양자화 인식 학습을 통해 완전한 정밀도의 추론 정확도 달성(Achieving Full-Precision Reasoning Accuracy with 4-bit Floating-Point Quantization-Aware Training)'에는 한양대 융합전자공학부 이장환 연구원이 제1 저자로, 최정욱 교수가 교신저자로 참여했다.

또한 해당 논문은 올해 기계학습 학회 '국제머신러닝학회(ICML 2026)'에서 스포트라이트(Spotlight) 및 구두 발표(Oral presentation) 논문으로 최종 선정됐다.


◎공감언론 뉴시스 [email protected]