연세대학교(총장 윤동섭) 시스템반도체공학과(삼성전자 계약학과) 박민재 학생(석사과정)과 전기전자공학부 김수성 학생(석박사통합과정)이 세계 최고 권위의 인공지능 학회인 'ICML 2026'에 공동 1저자로 논문이 채택됐다. 두 학생 모두 대학원 진학 후 불과 1년 반 만에 이뤄낸 결과로 더욱 주목받고 있다.

이번에 채택된 논문 'GSRQ: Gain–Shape Residual Quantization for Sub-1-bit KV Cache'는 하드웨어-AI 융합(HAI) 연구실을 이끄는 정재용 교수(교신저자)와 정의영 교수의 지도 아래 진행됐다.

KV 캐시 압축 기술로 AI 메모리 효율 향상

최근 AI는 단순한 챗봇을 넘어 복잡한 임무를 자율적으로 수행하는 에이전틱 AI로 진화하고 있다. 이 과정에서 AI는 핵심 맥락을 잃지 않기 위해 'KV 캐시(KV Cache)'라는 임시 '메모장'을 사용한다. 하지만 처리해야 할 문맥이 길어질수록 '메모장'이 꽉 차, 정작 AI 모델 자체보다 캐시가 저장 공간을 더 차지하는 '기억의 병목' 현상이 발생한다. 이를 해결하기 위해 업계는 캐시에 저장되는 숫자 하나하나를 더 적은 비트로 압축하는 '양자화(Quantization)' 기술에 주목해 왔다.

최근 구글 등 글로벌 빅테크가 숫자 하나를 3.5비트 수준으로 압축하는 '터보퀀트(TurboQuant)'를 선보인 것도 이와 같은 이유다. 연세대 연구팀은 여기서 한발 더 나아가, 하나의 숫자를 1비트 이하(Sub-1-bit)로 압축하면서도 정보 손실을 최소화하는 'GSRQ' 기술을 개발했다. 특히 지난 70년간 머신러닝의 표준으로 쓰인 'K-means' 알고리즘이 초고차원 데이터에서 갖는 구조적 한계를 규명하고, 이를 극복할 해법까지 제시했다.

차세대 AI 하드웨어 아키텍처 적용 가능성 제시

이번 연구는 단순히 메모리 용량을 줄이는 것을 넘어, 미래 AI 하드웨어 아키텍처의 진화와 직결된다. 에이전틱 AI 환경에서는 끊임없는 '콘텍스트 스위칭(Context Switching)'이 발생하며, 이는 GPU 독주 체제를 벗어나 시스템 통제에 유리한 CPU와 GPU가 메모리를 공유하는 이기종(Heterogeneous) 아키텍처로의 전환을 요구한다. 연구팀의 초고도 압축 기술은 이러한 차세대 아키텍처 환경에서 데이터 처리 효율을 극대화하는 핵심 열쇠가 될 전망이다.

본 연구를 총괄한 교신저자 정재용 교수는 "KV 캐시 압축과 새로운 컴퓨팅 아키텍처의 결합은 전 세계 AI 학계와 산업계가 가장 치열하게 경쟁하는 승부처"라며, "해외 빅테크가 선점하기 전에 우리 학생들이 주도권을 확보했다는 점에서 의미가 매우 크다"고 강조했다.

이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 'AI반도체혁신연구소(연구소장 임준서)' 사업의 일환으로 수행됐다. 올해 7월 한국(서울 코엑스)에서 개최확정된 ICML 2026은 NeurIPS, ICLR과 함께 글로벌 3대 AI 학회로 꼽히며, 전 세계 AI 연구의 최신 동향을 가늠하는 핵심 무대다. 김수성, 박민재 학생은 ICML 2026 학술대회에서 전 세계 AI 석학들을 대상으로 연구 결과를 직접 발표할 예정이다.