[사진=국립부경대학교]

[헤럴드경제(부산)=임순택 기자] 국립부경대학교 인공지능연구소 연구팀이 한국멀티미디어학회 2024년 추계학술대회 학부생 논문 경진대회에서 2편의 ‘BEST PAPER AWARD’를 받았다고 5일 밝혔다.

제주대학교에서 열린 이번 경진대회 현장 심사에서 국립부경대 인공지능연구소 주성욱·최다녕·정예찬 학생과 김채규 전임연구원, 한국전자통신연구원 정치윤 박사 팀은 논문 ‘GradF2M: 시각-청각 감각대체를 위한 XAI 기반 음악 생성 방법’ 연구로, 또 다른 국립부경대 팀은 논문 ‘LSTM 및 Transformer 모델을 이용한 얼굴표정 감정추출 기반 감정 음악 생성방법에 관한 연구’로 각각 ‘BEST PAPER AWARD’를 받았다.

이 논문들은 감각 치환 기술에 대한 연구로, 상실된 감각기관의 정보를 다른 감각기관의 정보로 변환해 사용자에게 전달하는 기술을 다룬다. 특히 두 논문은 시각을 청각으로 대체하는 V2A (Visual-to-Auditory) 방법 중에서 얼굴 표정을 감정 음악으로 변환하는 방법을 제안하며 우수한 평가를 받았다.

‘GradF2M: 시각-청각 감각대체를 위한 XAI 기반 음악 생성 방법’ 논문은 감정 분류 모델을 통해 얼굴표정 이미지에서 고차원 감정 정보를 추출하고, 이를 청각 정보 형태의 음악 멜로디로 변환하는 방법을 제안했다.

또 설명할 수 있는 인공지능(eXplainable AI, XAI)을 활용해 사용자가 이해할 수 있는 정보를 도출하고, 이를 청각 정보에 적용해 감각 대체 인식률을 개선하는 방안을 제시했다.

‘LSTM 및 Transformer 모델을 이용한 얼굴표정 감정추출 기반 감정 음악 생성방법에 관한 연구’ 논문은 LSTM (Long Short-Term Memory) 및 트랜스포머(Transformer) 모델을 사용해 얼굴 표정에서 추출된 감정 멜로디를 바탕으로 감정 음악을 생성하는 방법을 제안했다.

이 연구에서는 감정 가운데 기쁨과 슬픔에 대한 음악 생성을 위해 템포, 조성 등 음악적 속성을 조정해 감정 전달력을 강화했다. 해당 연구는 감정 음악 생성 기술이 인간뿐 아니라 로봇과 동물과의 감정 인식 및 상호 작용에도 적용 가능성을 제시해 주목받았다.

국립부경대 인공지능연구소의 김채규 전임연구원 연구실은 학부생들이 다양한 연구 프로젝트에 참여해 프로그램 코딩, 연구 논문 작성, 특허 명세서 작성 등 기술 개발을 통해 연구 경험을 쌓을 수 있는 기회를 제공하고 있다.