AI를 통한 딥페이크는 이미 육안으로는 물론, 판별 SW로도 정확히 가려낼 수 없는 지경에 이르렀다. [게티이미지]

[헤럴드경제=이민경 기자] 인공지능 기반 이미지 합성기술인 ‘딥페이크(deep fake)’를 걸러내는 경찰의 소프트웨어가 무용지물로 전락할 위기라는 진단이 나오고 있다. 하루가 멀다 하고 급변하는 기술 발전 속도에 비해 수사기관의 대응 속도가 뒤처지면서, 진화하는 사이버성범죄에 대한 경찰의 대응이 자칫 부실해질 수 있다는 우려가 제기된다.

11일 경찰에 따르면 경찰청이 지난 3월 개발해 내놓은 ‘딥페이크 탐지 소프트웨어’가 최근 범람하는 생성형AI로 만든 사진과 영상의 진위를 감별하지 못하는 것으로 나타났다.

기존의 딥페이크 기술인 페이스 스왑(얼굴 바꿔치기·Face Swap) 등으로 만들어진 이미지는 경찰청이 보유한 소프트웨어로 ‘가짜(FAKE)’인지 ‘진짜(REAL)’인지 여부를 판별할 수 있었다. 서로 다른 이미지를 짜깁기할 때 필연적으로 발생하는 부자연스러운 티를 발견해내는 것이 경찰이 보유한 소프트웨어의 작동 원리다.

이미지에 조작의 흔적이 없다면 ‘리얼(REAL)’이라는 답을, 합성된 가짜 이미지라면 ‘페이크(FAKE)’라는 답을 내놓는다. 경찰청은 판별에 단 5~10분이 소요되며 동시에 결과보고서가 나온다고 소개해왔다.

하지만 최근 스테이블디퓨전(Stable Diffusion), 미드저니(Midjourney), 달리(DALL-E)와 같은 ‘이미지 생성형 인공지능(AI)’은 사용자가 입력한 특정 텍스트에 따라 관련 이미지를 스스로 상상하고 제공해내면서 짜깁기 수준을 훨씬 넘어섰다.

이미지 데이터셋(dataset)으로 학습해 만들어낸 가상의 인물이지만 결과만 보면 AI가 고유하게 창작한 사진으로 보이는 문제가 있다.

실제로 생성형AI로 만든 이미지와 영상을 경찰 딥페이크 탐지 장비에 입력하면 리얼 또는 페이크 중 하나의 값을 정하지 못해 에러가 나거나, 설령 둘 중 한 값을 도출해낸다 해도 신뢰할 수 없어 수사에 활용하기 곤란한 것으로 알려졌다. 이러한 빈틈으로 인해 진화하는 디지털성범죄에 경찰이 행여 발 빠르게 대처하지 못하는 것 아니냐는 우려가 나온다.

최근에도 같은 학교 여성 후배들의 얼굴을 합성한 음란물을 만들어 유포한 서울대 출신 30대 남성과 그 일당이 무더기로 경찰에 검거되면서 딥페이크 범죄에 대한 경각심이 커진 상태다. 경찰 수사 결과에 따르면 일당은 피해자들의 졸업사진과 소셜미디어 프로필사진 등을 수집해 직접 음란물과 합성했다.

앞으로는 생성형AI를 활용한 지인 능욕 사례가 불거질 수도 있다. 이를 신속하게 탐지할 수 있는 기술을 보유하려면 경찰이 추가 예산 편성을 통해 장비를 고도화해야 할 것으로 보인다.

업계 관계자는 “2018~2021년 까지는 얼굴 바꿔치기(Face Swap)와 같은 단순 딥페이크가 전세계적으로 범람했지만 그 이후부터는 생성형 AI 모델 기반의 기술이 많이 사용되고 있다”며 “고도화된 합성물을 탐지하려면 버전업된 최신 솔루션을 사용해야 한다”고 설명했다.

경찰이 현재 딥페이크 탐지 소프트웨어를 개발하는 데 가용한 ‘불법촬영물 추적 시스템 예산’은 1억5000만원이었던 것으로 알려졌다. 업계 관계자는 “최신 기조에 맞게 장비를 개발하고 업데이트하기 위해서는 많이 부족한 금액”이라고 언급했다.