이번 연구를 수행한 윤성환(왼쪽) UNIST 교수와 이현규 연구원.[UNIST 제공]

[헤럴드경제=구본혁 기자] 돌발 환경에서도 잘 작동하는 강인한 인공지능(AI)의 핵심 병목현상을 양자컴퓨팅 기술을 결합해 기존보다 훨씬 효율적으로 학습시키는 기법이 개발됐다.

UNIST(울산과학기술원) 인공지능대학원 윤성환 교수팀과 고려대학교 전기전자공학부 김중헌 교수팀은 양자 알고리즘을 이용한 ‘강인한 강화학습’의 계산 비용을 획기적으로 줄인 학습 기법인 ‘QRIM(Quantum Robust Inner Minimization)’을 개발했다고 6일 밝혔다.

강화학습은 AI가 시행착오를 거치며 스스로 행동 전략을 찾아간다는 점에서 인간에 가까운 학습 방식이지만, 실제 환경이 학습한 상황과 조금만 달라져도 성능이 급격히 떨어져 실제 환경에 적용하는데 큰 어려움을 겪어왔다. 예를 들어 맑은 날의 도로만 학습한 자율주행차는 비나 눈이 내려 노면이 미끄러워지면 제대로 대응하지 못할 수 있다.

이를 보완하기 위해 등장한 것이 ‘강인한 강화학습’이다. 학습 과정에서 발생할 수 있는 최악의 상황을 미리 찾아내고, 이에 대비하도록 AI를 훈련하는 것이다. 문제는 이 ‘최악의 상황’을 찾는 과정이 매우 비효율적이라는 점이다. 가능한 모든 경우의 수를 하나씩 확인해야 해서, 환경 변화의 가능성이 많아질수록 계산 비용이 폭증한다. 이런 계산 부담은 강인한 강화학습을 실제 현장에 적용하는 데 큰 걸림돌로 지적돼 왔다.

연구팀은 이 문제를 양자 컴퓨팅의 ‘중첩(superposition)’ 원리로 풀어냈다. 양자 컴퓨팅 기술은 여러 경우의 수를 동시에 표현할 수 있는데, 연구팀이 개발한 QRIM은 이 특성을 활용해 최악의 시나리오를 빠르게 찾아낸다. 예를 들어 만 개의 시나리오를 검토할 때, 기존에는 만 번의 계산이 필요했지만 QRIM은 백 번의 확인만으로 같은 결과를 얻을 수 있다.

QRIM과 기존 방식의 학습 속도 비교.[UNIST 제공]

실제 실험에서 QRIM은 기존 방식 대비 약 20~30% 수준의 계산량만으로 더 강인한 성능을 보였다. 또 QRIM을 실제 IBM의 양자컴퓨터에서 돌려 검증하는 실험에서도 정상적으로 작동했으며, 양자 하드웨어 잡음(noise)이 있는 환경에서도 강인성을 유지하는 것으로 나타났다.

윤성환 교수는 “이번 연구는 양자 컴퓨팅이 기존 인공지능의 한계를 어떻게 보완할 수 있는지를 구체적으로 보여준 사례”라며 “환경 변화에 대한 적응이 필수적인 로보틱스, 자율주행 등 안전성과 신뢰성이 중요한 분야에 활용될 수 있을 것”이라고 말했다.

이번 연구성과는 세계 3대 인공지능 학회인 국제머신러닝학회(ICML) 2026에 채택됐다. 올해 ICML에 채택된 양자 인공지능 논문 중, 국내 연구기관이 주도한 논문은 이 연구가 유일하다.