유리나 물처럼 투명한 물체를 정확히 인식하고 미래 상황을 예측하는 ‘피지컬 AI’ 기술(AI 생성 이미지).[KAIST 제공]

[헤럴드경제=구본혁 기자] 국내 연구진이 자율주행차와 휴머노이드 로봇, 산업용 로봇, 디지털 트윈 등 실제 환경에서 작동하는 차세대 자율 시스템 구현을 앞당길 ‘피지컬 AI’ 기술 확보에 성공했다.

KAIST는 전산학부 윤성의 교수 연구팀이 유리나 물처럼 투명한 물체를 정확히 인식하고 미래 상황을 예측하는 ‘피지컬 AI’ 기술을 개발했다고 6일 밝혔다.

이번 연구는 시각 인식부터 물리적 이해, 미래 예측, 행동 계획까지 하나의 기술 흐름으로 연결했다는 점에서 의미가 크다. AI가 ‘보고(인식) → 이해하고(물리 이해) → 예측하고(미래 예측) → 행동하는(계획)’ 전 과정을 수행하는 기반을 제시, 다양한 자율 시스템의 성능과 활용 범위를 한층 넓힐 것으로 기대된다.

연구팀은 글린트(GLINT, 투명 환경 시각 인식 기술)를 개발해 AI가 유리와 같은 투명한 물체도 정확하게 인식할 수 있도록 했다.

유리에 반사된 모습과 유리 뒤의 물체를 각각 분리해 분석하는 새로운 기술을 개발함으로써 AI가 투명한 환경에서도 장면을 정확하게 이해할 수 있도록 했다.

연구팀은 라디오GS(RadioGS, 빛과 재질을 이해하는 장면 복원 기술)를 개발해 빛이 물체에 닿아 반사되고 퍼지는 과정까지 AI가 이해하도록 했다.

같은 물체라도 햇빛 아래와 실내 조명 아래에서는 다르게 보인다. 기존 AI는 이러한 조명 변화에 영향을 받기 쉬웠다. 연구팀은 빛과 물체의 상호작용을 AI가 학습하도록 만들어 조명이 달라져도 물체의 재질과 주변 환경을 더욱 정확하게 이해할 수 있도록 했다.

이번 연구를 수행한 KAIST 연구진. 정앤드류(왼쪽부터), 나영주, 이주민, 이세빈 박사과정 학생, 윤성의 교수, 한규범 박사과정.[KAIST 제공]

연구팀은 비주얼-RRT(Visual-RRT, 이미지 기반 로봇 경로 계획 기술)를 개발해 시각 정보를 실제 행동으로 연결했다.

실제 로봇 실험에서도 사진 한 장만으로 목적지에 성공적으로 도달해 서비스 로봇과 자율주행 로봇 등 다양한 분야에 활용될 가능성을 확인했다.

연구팀은 클래드(CLaD, 미래 예측 기반 행동 계획 기술)를 개발해 AI가 행동하기 전에 미래 상황을 예측하고 가장 적절한 행동을 계획하도록 했다.

자율주행차, 서비스 로봇, 산업용 로봇, 디지털 트윈, 증강현실(AR), 혼합현실(MR), 스마트 제조, 물류 자동화 등 실제 환경을 이해하고 의사결정을 수행해야 하는 다양한 분야에 적용될 수 있다.

윤성의 교수는 “이번 연구를 통해 AI가 단순한 인식 시스템을 넘어 현실 세계를 이해하고 미래를 예측하며 행동하는 방향으로 발전할 수 있을 것”이라면서 ”자율주행차와 휴머노이드 로봇 등 실제 환경에서 작동하는 다양한 피지컬 AI 기술의 발전에 기여하기를 기대한다“고 말했다.

이번 연구성과는 세계 최고 권위 AI 학회인 ‘ICLR 2026’과 ‘CVPR 2026’에서 발표됐다.