서강대학교(총장 심종혁) 화학과 정근홍 교수 연구팀이(제1저자 백주희 박사과정, 경북대(現 미네소타대) 임성민 연구원) 양자 인공지능 분야의 최대 난제로 꼽혀온 '배런 플래토(barren plateau)' 문제를 해결하고, 이를 통해 화학물질의 독성을 예측하는 새로운 양자 회로 설계법을 개발했다.
화학물질의 독성을 미리 예측하는 일은 신약 개발, 화학 사고 예방, 유해물질 규제 등에서 핵심적인 과제다. 그러나 실험을 통해 독성을 하나하나 확인하려면 막대한 비용과 시간, 그리고 동물실험이 필요하다. 이 때문에 인공지능으로 독성을 미리 걸러내는 연구가 활발히 이뤄져 왔다.
최근에는 한 걸음 더 나아가 양자컴퓨터를 이용한 인공지능(양자 기계학습)이 주목받고 있다. 하지만 여기에는 큰 장벽이 있었다. 양자 인공지능 회로를 깊게 쌓을수록 학습에 필요한 신호가 지수적으로 약해져 결국 학습이 멈춰버리는 현상, 이른바 '배런 플래토(barren plateau, 황량한 고원)' 문제다. 이 때문에 그동안의 양자 인공지능 연구는 대부분 단순한 가상 데이터나 소규모 문제에 머물러 있었다.
연구팀이 개발한 것은 세 가지 기법을 하나로 묶은 통합 회로 설계(DRU+IB+SAE)다. 첫째, 분자 정보를 회로 여러 층에 반복해서 다시 넣어주는 데이터 재업로딩(data re-uploading, DRU)으로 회로의 표현력을 높였다. 다만 연구팀은 이 기법이 큐비트가 여러 개인 회로에서는 오히려 성능을 떨어뜨리고 초기 조건에 민감해진다는 한계를 함께 규명했다. 둘째, 회로를 '아무 일도 하지 않는 상태'에 가깝게 출발시키는 항등 블록 초기화(identity-block initialization, IB)로 학습 시작 시점의 불안정성을 잡았다. 셋째, 반복 입력되는 정보가 서로 상쇄되지 않도록 짝수 번째 입력 층의 부호를 반대로 뒤집는 부호 교대 각도 인코딩(SAE)을 세계 최초로 고안해 적용했다. 핵심은 이 세 가지가 개별 기법의 단순한 나열이 아니라 서로의 약점을 메우도록 맞물려 있다는 점이다. 그 결과 기존 방식으로는 학습이 불가능했던 12큐비트 규모의 깊은 양자 회로를 안정적으로 학습시키는 데 성공했다.
연구팀은 이 방법을 실제 화학물질 10,448종의 독성 데이터에 적용해 독성 여부를 판별하는 문제를 풀었다. 그 결과 제안된 구조는 기존 양자 신경망과 동급의 고전 인공지능 모델을 웃도는 예측 정확도를 기록했고, 초기 조건을 바꿔가며 반복 학습해도 성능 편차가 작은 높은 학습 안정성을 보였다.
이번 연구에서 가장 주목할 점은 배런 플래토 현상이 사실상 사라졌다는 것이다. 기존 양자 신경망은 회로를 깊게 쌓거나 큐비트 수를 늘릴수록 학습에 쓰이는 기울기 신호가 지수적으로 작아져 일정 규모 이상에서는 학습 자체가 불가능해진다. 이 '규모의 벽'이 그동안 양자 인공지능을 실제 문제에 적용하지 못하게 만든 근본 원인이었다.
연구팀이 기울기의 변동 폭(root mean variance, RMV)을 회로 깊이와 큐비트 수를 늘려가며 정밀 측정한 결과, 기존 방식은 학습 신호가 급격히 소실된 반면 제안된 통합 양자 알고리즘 구조는 회로가 깊어지고 규모가 커져도 학습 신호를 안정적으로 유지했다. 즉, 회로를 키울수록 학습 능력이 무너지는 것이 아니라 키운 만큼 활용할 수 있는 구조를 확보한 셈이다. 이는 향후 큐비트 수가 늘어나는 차세대 양자 하드웨어에서 이 방법을 그대로 확장 적용할 수 있음을 시사한다.
이번 연구는 양자컴퓨팅의 이점이 '양자적으로 생성된 데이터'에만 국한된다는 기존 통념과 달리, 잘 설계된 양자 회로는 일반적인 화학 데이터에 대해서도 실질적인 이점을 줄 수 있음을 보여줬다. 특히 제안된 구조는 오류 보정이 완비된 미래형 양자컴퓨터가 아니라 현재 수준의 양자 하드웨어(NISQ 시대)에서 바로 구현 가능한 규모여서, 단기간 내 실용화 가능성이 높다는 점에서 의미가 크다.
더 나아가 회로 규모를 키워도 학습이 무너지지 않는다는 점은, 양자 하드웨어가 발전해 큐비트 수가 늘어날수록 이 방법의 성능도 함께 성장할 수 있다는 것을 뜻한다. 지금 당장 쓸 수 있으면서 동시에 미래 하드웨어까지 대비한 설계라는 점이 이번 연구의 차별점이다.
향후 이 방법은 신약 후보물질의 독성 조기 선별, 유해 화학물질 데이터베이스 구축, 화학 안전 및 규제 과학 등 다양한 분야로 확장 적용될 수 있을 것으로 기대된다.
서강대 화학과 정근홍 교수는 "이번 성과의 핵심은 어느 한 가지 아이디어가 아니라, 데이터 재업로딩(DRU)과 항등 블록 초기화(IB), 부호 교대 각도 인코딩(SAE)을 하나의 회로 안에 유기적으로 결합한 통합 설계에 있다"라며 "세 기법은 각각만으로는 한계가 뚜렷했지만, 서로 맞물리자 깊은 회로에서도 학습이 유지되는 결과로 이어졌다"라고 설명했다. 이어 "양자컴퓨팅이 이론에 머무르지 않고 신약 개발과 화학 안전이라는 실제 문제를 푸는 도구가 될 수 있음을 보여준 연구"라며 "서강대학교 인공지능-양자융합 연구실에서 양자컴퓨팅과 인공지능, 화학을 잇는 융합 연구를 지속적으로 발전시켜 나가겠다"라고 덧붙였다.
이번 연구는 과학기술정보통신부 산하 정보통신기획평가원(IITP)의 양자과학기술 플래그십 프로젝트와 한국연구재단(NRF)의 중견연구자지원사업의 지원을 받아 수행됐으며, 영국왕립화학회(RSC)가 발행하는 국제저명학술지 Digital Discovery에 2026년 8월호로 게재되며 해당 호의 후면 표지(Back Cover) 논문으로 선정됐다.
▶논문명(영문): Prediction of toxicity of chemicals using a novel quantum circuit with sign-alternated angle encoding
▶논문명(국문): 부호 교대 각도 인코딩을 적용한 새로운 양자 회로를 이용한 화학물질 독성 예측