이번 연구를 수행한 KAIST 연구진. (아랫줄 왼쪽부터) 김한나 박사과정, 신승원 교수, 송민규 박사과정, (윗줄 왼쪽부터) 나승호 박사, 이기민 교수.[KAIST 제공]

챗GPT가 탈취한 개인정보로 피싱메일을 만들어 보내는 과정.[KAIST 제공]

[헤럴드경제=구본혁 기자] “챗GPT가 단 20초에 개인정보를 탈취해 피싱 메일을 보냈다.”

KAIST는 전기 및 전자공학부 신승원 교수, 김재철 AI 대학원 이기민 교수 공동연구팀이 실제 환경에서 대형언어모델(LLM)이 사이버 공격에 악용될 가능성을 실험적으로 규명했다고 25일 밝혔다.

최근 대형 언어 모델(LLM)의 발전으로 인해 이들이 다양한 도구와 상호작용을 하면서 자율적으로 작업을 수행하는 에이전트 시스템으로 활용되고 있다. 특히 LLM 에이전트는 웹 기반 도구와 결합하여 실시간으로 정보를 검색하고 활용할 수 있어 더욱 강력한 기능을 제공한다. 하지만 이러한 발전은 사이버 공격의 위험성을 증가시키는 요소가 되기도 한다. 예를 들어 웹에서 대량의 개인식별정보(PII)를 수집하거나 특정 인물을 사칭하여 잘못된 정보를 퍼뜨릴 수 있으며, 보다 정교한 스피어 피싱 이메일을 생성하여 피싱 공격의 성공률을 높일 수도 있다.

현재 오픈 AI, 구글 AI 등과 같은 상용 LLM 서비스는 LLM이 사이버 공격에 사용되는 것을 막기 위한 방어 기법을 자체적으로 탑재하고 있다. 하지만 연구팀의 실험 결과, 이러한 방어 기법이 존재함에도 불구하고 쉽게 우회해 악의적인 사이버 공격을 수행할 수 있음이 확인됐다.

기존 공격자들이 시간과 노력이 많이 필요한 공격을 수행했던 것과는 달리, LLM 에이전트는 이를 평균 5~20초 내에 30~60원(2~4 센트)수준의 비용으로 개인정보 탈취 등이 자동으로 가능하다는 점에서 새로운 위협 요소로 부각되고 있다.

메타의 CEO인 마크 저커버그의 이메일 주소만을 활용한 피싱 이메일 내용.[KAIST 제공]

연구 결과에 따르면, LLM 에이전트는 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었다. 또한 저명한 교수를 사칭한 허위 게시글 생성 실험에서는 최대 93.9%의 게시글이 진짜로 인식됐다.

뿐만 아니라, 피해자의 이메일 주소만을 이용해 피해자에게 최적화된 정교한 피싱 이메일을 생성할 수 있었다. 실험 참가자들이 이러한 피싱 이메일 내의 링크를 클릭할 확률이 46.67%까지 증가하는 것으로 나타났다. 이는 인공지능 기반 자동화 공격의 심각성을 시사한다.

김한나 KAIST 연구원은 “LLM에게 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커진다는 것이 확인됐다”며 “LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다”고 말했다.

신승원 교수는 “이번 연구는 정보 보안 및 AI 정책 개선에 중요한 기초 자료로 활용될 것으로 기대되며, 연구팀은 LLM 서비스 제공업체 및 연구기관과 협력하여 보안 대책을 논의할 계획”이라고 밝혔다.

이번 연구성과는 컴퓨터 보안 분야의 최고 학회 중 하나인 국제학술대회 ‘USENIX Security Symposium 2025’에 게재될 예정이다.