입력 2026.05.13 14:29
- 에너지 기반 생성모델의 학습 병목에 양자어닐러 기반 해법 제시
- 약 2,000개 큐비트 규모 실험으로 고전적 샘플링 대비 속도와 정확도 개선 확인
연세대학교(총장 윤동섭) 응용통계학과·양자정보학과 박경덕 교수 연구팀은 양자컴퓨팅을 통해, 볼츠만 머신(Boltzmann Machine) 기반 생성형 인공지능의 새로운 가능성을 열었다. 볼츠만 머신은 샘플링 난제로 인해 오랫동안 실용적 활용이 제한됐다. 이번 연구는 양자어닐러를 실제 볼츠만 머신 학습 과정에 적용한 것으로, 통계물리학·양자 컴퓨팅· 생성형 인공지능을 연결하는 새로운 ‘양자-AI 학습 프레임워크’를 제안했다. 연구 결과는 2026년 3월 물리학 분야 국제 학술지 ‘Physical Review E’에 게재됐다.
볼츠만 머신은 현대 인공지능의 통계물리학적 뿌리 중 하나로 꼽히는 에너지 기반 생성모델이다. 데이터가 만들어지는 확률 구조를 물리학적 개념으로 표현하기 때문에, 복잡한 데이터의 패턴을 에너지 관점에서 해석할 수 있고 학습 과정을 열역학 관점에서 이해할 수 있다. 특히 일반적인 볼츠만 머신은 변수 간 연결을 자유롭게 허용해 데이터의 복잡한 상관관계를 풍부하게 표현할 수 있어 큰 잠재력을 지닌다.
그러나 일반적인 볼츠만 머신은 학습 과정에서 볼츠만 분포로부터 많은 샘플을 얻어야 하는데, 이 과정이 계산이 매우 어렵다는 근본적인 한계가 있었다. 이러한 어려움을 우회하기 위해 과거에는 노드 간 연결 구조를 단순화한 제한 볼츠만 머신(Restricted Boltzmann Machine)과 근사적 학습법이 개발됐다. 이는 2000년대 딥러닝 연구가 다시 주목받는 중요한 계기 중 하나가 됐지만, 일반적인 구조의 볼츠만 머신은 여전히 샘플링 난제로 인해 실용적 학습이 어려운 모델로 남아 있었다.
연구팀은 이 문제를 양자 컴퓨팅 기술, 특히 양자어닐러 기반 샘플링을 통해 새롭게 접근했다. 그동안 양자어닐러는 주로 조합 최적화 문제에서 낮은 에너지 해를 찾는 장치로 연구됐다. 반면, 이번 연구는 양자어닐러가 단순한 최적화 장치를 넘어 볼츠만 머신 학습에 필요한 확률분포를 생성하는 물리적 샘플러로 활용될 수 있음을 보였다. 특히 양자어닐러에서 볼츠만 분포와 유사한 샘플을 얻는 데 그치지 않고, 이 샘플을 모델 파라미터 업데이트에 직접 사용해 생성모델 학습 성능 개선으로 연결했다. 구체적으로 연구팀은 다이아바틱 양자어닐링(Diabatic Quantum Annealing, DQA)에서 어닐링 스케줄과 유효 온도 사이의 해석적 관계를 활용했다. 양자어닐러가 목표 볼츠만 분포에 맞는 샘플을 만들도록 제어하고, 이 양자 샘플로 모델 기대값을 계산해 볼츠만 머신을 반복적으로 학습시켰다.
연구팀은 연세대 양자사업단 양자선도융합사업본부에서 도입한 양자 컴퓨터 클라우딩 서비스 D-Wave Advantage2 양자어닐러를 이용해 MNIST와 Fashion-MNIST 이미지 데이터셋에 대한 학습 실험을 수행했다. 실험에서는 총 1,984개 노드 규모의 모델을 사용했으며, 28×28 전체 픽셀 데이터를 차원 축소 없이 직접 다뤘다. 이는 현재 활용 가능한 양자 하드웨어에서 약 2,000개 큐비트 규모의 볼츠만 머신 샘플링을 실제 생성모델 학습에 적용한 사례라는 점에서 의미가 크다. 실험 결과, DQA를 사용한 학습은 고전적 방식에 비해 더 빠르게 수렴하고, 더 낮은 검증 오류를 보였다. 또한 단일 샘플을 얻는 평균 시간 비교에서도 DQA 기반 샘플링이 기존 방식보다 빠른 것으로 나타났다. 이는 양자어닐러가 단순한 소규모 개념 검증을 넘어, 실제 데이터 기반 생성모델 학습에서 유의미한 샘플링 장치로 활용될 수 있음을 보여준다. 또한 연구팀은 실제 아날로그 양자컴퓨터에서 발생하는 유효 온도 불일치 문제를 체계적으로 분석했다. 양자어닐러가 생성하는 샘플의 유효 온도는 이론적으로 예측한 값과 일정하게 어긋날 수 있는데, 이는 열적 효과, 잡음, 제어 오차 등 실제 하드웨어의 특성에서 비롯된다. 연구팀은 이러한 불일치를 보정하기 위해 에너지 함수의 결합 세기를 해석적으로 재조정하는 방법을 제안했으며, 이를 적용했을 때 목표 볼츠만 분포에 더 가까운 샘플을 얻고 학습 성능을 개선할 수 있음을 보였다.
이번 연구의 핵심 의의는 볼츠만 머신 학습의 병목을 고전 알고리즘의 샘플링 복잡도 문제에서 양자 하드웨어의 구현 문제로 전환했다는 데 있다. 기존 접근법은 효율적인 샘플링을 위해 모델 구조를 단순화해야 했고, 그 과정에서 일반 볼츠만 머신의 자유로운 연결 구조와 표현력을 충분히 활용하기 어려웠다. 반면 DQA 기반 양자 샘플링은 이러한 구조적 제약에 의존하지 않으며, 양자 하드웨어의 큐비트 연결 구조가 곧 인공신경망의 연결 구조를 결정한다. 이는 샘플링 난제로 인해 오랫동안 실용적 활용이 어려웠던 일반 볼츠만 머신을 양자 하드웨어 발전과 함께 다시 검토할 수 있는 새로운 계산 경로를 제시한 것으로 평가된다.
양자 샘플링은 2019년 구글의 양자우월성 실험을 비롯해 양자컴퓨팅의 계산적 우위를 보여주는 핵심 개념으로 주목받아 왔다. 그러나 양자장치가 고전적으로 모사하기 어려운 확률분포에서 샘플을 생성할 수 있다는 사실을 실제 과학·산업 문제에 어떻게 연결할 것인지는 여전히 중요한 과제로 남아 있었다. 이번 연구는 볼츠만 머신 학습이라는 인공지능의 구체적 문제에서 양자 샘플링을 활용했다는 점에서, 양자컴퓨팅과 생성형 AI 사이의 실질적 접점을 제시한 사례로 볼 수 있다.
연구팀은 이번 성과를 바탕으로 에너지 기반 생성모델과 양자 샘플링을 결합한 다양한 후속 연구를 진행하고 있다. 특히 분자의 구조와 특성을 에너지 지형으로 표현하고, 원하는 물성을 갖는 후보 분자를 생성하는 분자설계 및 신약개발 응용으로 확장하는 방안을 연구 중이다. 이는 양자 샘플링 기반 생성모델이 표현학습, 이상탐지, 데이터 생성, 의미 기반 편집, 분자 역설계 등 다양한 인공지능 문제에 활용될 수 있음을 보여주는 중요한 후속 방향이다.
박경덕 교수는 “이번 연구는 양자 컴퓨팅 기술을 통해 과거에는 현실적으로 어렵다고 여겨졌던 에너지 기반 생성모델의 한 경로를 다시 열었다는 점에서 의미가 크다”며, “특히 물리학에서 출발한 인공지능 모델을 물리 시스템의 샘플링 과정으로 학습시킨다는 점에서, 복잡한 물리 현상을 양자 시스템으로 모사하자는 양자컴퓨팅의 초기 비전과도 맞닿아 있다”고 밝혔다.
이어 박 교수는 “이번 결과는 양자 하드웨어가 아직 발전 과정에 있음에도, 알고리즘을 잘 설계하면 현재 장치로도 유의미한 인공지능 연구를 수행할 수 있음을 보여준다”며, “특히 약 2,000개 큐비트를 사용해 실제 이미지 데이터 학습에서 고전적 샘플링 방식 대비 속도와 정확도 개선을 동시에 확인했다는 점에서 중요하다”고 설명했다.
또한 “양자 샘플링은 양자컴퓨팅의 우월성을 보여주는 핵심 개념 중 하나였지만, 실제 응용 분야와 연결하는 것은 여전히 중요한 과제였다”며, “볼츠만 샘플링은 다양한 AI 문제와 연결될 수 있어, 양자컴퓨팅과 생성형 AI를 잇는 중요한 응용 분야가 될 수 있다”고 말했다.
이번 연구에는 연세대 김길한 연구원과 서울대 김주연 연구원이 공동 제1 저자로 참여했으며, 연세대 박경덕 교수가 교신저자로 참여했다. 연구는 과학기술정보통신부 정보통신기획평가원, 한국연구재단 양자컴퓨팅기반양자이득도전사업, 산업통상부 한국산업기술진흥원의 산업혁신기반구축사업, 보건복지부 한국보건산업진흥원의 한국형 ARPA-H 프로젝트의 지원을 받아 수행됐다.