[연합]

[헤럴드경제=고재우 기자] 인공지능(AI) 에이전트 시대가 본격적으로 열리면서 기업들이 초긴장 상태에 빠졌다. AI 기반 자동화가 산업 전반으로 확산하고 있는 가운데, 이로 인한 보안 문제도 급격히 커지고 있기 때문이다.

이에 따라 AI 에이전트 보안 강화를 위한 통합관리체계 구축 등 방안 마련이 시급하다는 지적이 나온다.

마이크로소프트(MS) 자체 텔레메트리 데이터(지난해 11월 기준) 기반 MS 코파일럿 스튜디오, MS 에이전트 빌더를 통해 구축돼 실제 사용된 산업별 에이전트 통계. [마이크로소프트 제공]

11일 마이크로소프트(MS)가 공개한 AI 보안 보고서 ‘사이버 펄스’에 따르면 포춘 500대 기업 중 80% 이상이 로우코드·노코드를 통한 AI 에이전트 구축 및 운용 중이다. 로(low)코드·노코드란 최소한의 코딩 및 코딩 없이 복잡한 기능을 구현하는 방식으로, AI 에이전트를 직접 개발할 수 있는 환경이 마련됐다는 의미다.

이에 MS는 올해를 ‘AI 에이전트 해’로 전망했다. 실제로 AI 기반 자동화가 산업 전반으로 확산하고 있다. 산업별로 활성 에이전트 비중은 소프트웨어·기술 16%, 제조업 13%, 금융서비스 11%, 리테일 9% 등으로 집계됐다.

문제는 AI 에이전트 도입이 빠르게 확산하면서 보안 및 컴플라이언스 통제 수준을 앞지르는 사례가 늘고 있다는 것이다.

MS는 보고서에서 “섀도 AI 리스크가 확대되고 있고, 악의적인 행위자가 에이전트의 접근 권한 및 권한 범위를 악용할 경우 에이전트가 ‘이중 에이전트’로 전락할 수 있다”고 지적했다.

섀도 AI란 조직 승인 없이 직원이 자율적으로 AI 에이전트를 도입해 사용하는 현상을 일컫는 말이다. 과도한 접근 권한을 부여받았거나 부적절한 지침을 받은 에이전트가 조직 내 보안 취약점으로 작용할 수 있다는 의미다.

실제로 MS 디펜더팀은 AI 에이전트 메모리에 악의적인 정보를 주입해 AI를 오작동하게 만드는 ‘메모리 포이즈닝’ 기법을 악용한 사기성 공격 캠페인을 포착했다.

또 MS AI 레드팀은 AI 에이전트가 일상적인 콘텐츠에 포함된 유해한 지침을 따르는 사례를 파악하거나, 조작된 작업으로 에이전트 추론 방향이 왜곡되는 사례도 확인했다.

여기에 관리 리스크도 주목받고 있다. 하이포테시스 그룹이 MS 의뢰로 실시한 조사에서 직원 29%가 미승인 AI 에이전트를 업무에 사용한 경험이 있는 것으로 나타났다. MS 데이터 보안 지수를 보면 생성형 AI 보안 통제를 도입한 조직은 47%에 불과했다.

챗GPT. [연합]

이에 MS는 IT·보안·개발자 등 조직 전 계층을 아우르는 컨트롤타워 구축을 통해 에이전트 존재 여부, 소유자, 데이터 접근 범위, 행동 양식 등을 파악하는 통합 관리 체계 필요성을 제언했다.

구체적으로 ▷AI 에이전트별 운용 목적 문서화 및 최소 접근 권한 부여 ▷AI 채널에 데이터 보호 규칙 적용 및 라벨링·감사 추적 기능 유지 ▷기업 승인 플랫폼 제공 통한 섀도 AI 억제 ▷비즈니스 연속성 계획 업데이트 및 관측 지표 추적 ▷전사 통합 리스크 관리 ▷전 임직원 대상 안전한 AI 사용 교육 등이다.

MS는 “AI 에이전트 도입 경쟁에서 성공하는 조직은 가시성·거버넌스·보안을 중심에 두고, 이를 유기적으로 실행하는 체계를 갖춘 곳”이라며 “이를 위해서는 비즈니스, IT, 보안, AI팀, 개발자 등 조직 전 계층이 협업하고, 모든 에이전트를 단일한 ‘중앙 제어’ 평면에서 일관되게 관리·관측할 수 있는 환경이 필요하다”고 강조했다.