Anthropic Company가 출시한 Claude AI의 '컴퓨터 사용' 기능은 장치 제어 기능을 제공합니다. 그러나 이 기능이 출시된 지 두 달도 채 되지 않아 보안 연구원들은 심각한 보안 취약점을 발견했습니다. 보안 전문가인 Johann Rehnberger의 연구에 따르면 간단한 프롬프트 단어 삽입을 통해 Claude가 Sliver 오픈 소스 명령 및 제어 프레임워크와 같은 악성 코드를 다운로드하고 실행하도록 유도할 수 있는 것으로 나타났습니다. 이로 인해 AI 보안에 대한 우려가 높아지고, AI 기술이 빠르게 발전하는 가운데 무시할 수 없는 보안 문제의 중요성이 부각됐다.
Anthropic이 Claude가 장치를 제어할 수 있는 기능인 Computer Use를 출시한 지 두 달도 채 되지 않아 보안 연구원들이 잠재적인 취약점을 발견했습니다. 사이버 보안 전문가 Johann Rehnberger가 공개한 최신 연구 결과는 충격적입니다. 간단한 프롬프트 단어 삽입을 통해 AI가 악성 코드를 다운로드하고 실행하도록 유도할 수 있습니다.
Rehnberger는 이 공격을 "ZombAI"라고 명명했습니다. 데모에서 그는 원래 레드팀 테스트에 사용되었지만 현재는 해커가 악성 코드 도구로 널리 사용하는 오픈 소스 명령 및 제어 프레임워크인 Sliver를 Claude에게 성공적으로 다운로드하도록 했습니다. 더욱 걱정스러운 것은 이것이 빙산의 일각에 불과하다는 점이다. 연구진은 AI를 유도해 악성 코드를 작성, 컴파일, 실행하는 것도 가능하며, 공격 방법도 예방하기 어렵다고 지적했다.
사진 출처 참고: 사진은 AI에 의해 생성되었으며 사진은 서비스 제공업체 Midjourney의 승인을 받았습니다.
이러한 유형의 보안 위험이 Claude에만 국한된 것이 아니라는 점은 주목할 가치가 있습니다. 보안 전문가들은 DeepSeek AI 챗봇에도 공격자가 사용자의 컴퓨터를 장악할 수 있는 프롬프트 단어 삽입 취약점이 있다는 사실을 발견했습니다. 또한, 대형 언어 모델은 ANSI 이스케이프 코드를 출력하여 소위 "터미널 DiLLMa" 공격을 촉발하여 시스템 터미널을 탈취할 수도 있습니다.
이와 관련하여 Anthropic은 이미 베타 성명을 통해 사용자에게 다음과 같이 상기시켰습니다. "컴퓨터 사용 기능이 항상 예상대로 실행되지 않을 수 있습니다. 신속한 단어 삽입과 관련된 위험을 피하기 위해 Claude를 민감한 데이터 및 작업으로부터 격리하는 예방 조치를 취하는 것이 좋습니다."
이번 사건은 AI 기술이 빠르게 발전하는 가운데 보안 문제도 무시할 수 없다는 사실을 다시 한번 일깨워준다. 개발자는 기능과 보안 사이의 균형을 찾아야 하며, 사용자도 AI 도구를 사용할 때 보안 인식을 높이고 필요한 보호 조치를 취해야 합니다.
이번 사건은 AI 보안의 중요성을 다시 한번 강조한 것으로, 안전하고 신뢰할 수 있는 AI 애플리케이션 환경을 구축하기 위해서는 개발자와 사용자 모두 더욱 경계하고 협력해야 합니다. 그래야만 AI 기술이 인류에게 더 나은 서비스를 제공하고 잠재적인 위험을 피할 수 있음을 보장할 수 있습니다.