genai attacks
1.0.0
| ? | GenAI 공격 매트릭스는 GenAI 기반 시스템, 부조종사 및 에이전트를 표적으로 삼는 데 사용되는 TTP에 대한 지식 소스입니다. |
|---|
GenAI는 오늘날 우리 모두가 의존하고 있는 세계 최대 기업 내에서 상상할 수 있는 모든 문제에 적용되고 있습니다. 우리 모두는 AI를 채택하고 그 혜택을 먼저 누리기 위해 가능한 한 빨리 움직이고 있습니다. 기업들은 AI 플랫폼을 채택하고 이를 맞춤화하고 자체 구축하고 있습니다. 이와 동시에 GenAI를 사용하여 보안 시스템을 구축하는 방법을 아직 모른다는 사실이 점점 더 분명해지고 있습니다. 새로운 공격 기술, 모델 및 기능에 대한 새로운 연구가 매주 나오고 있으며 완화 조치도 비슷한 속도로 출시되고 있습니다.
GenAI가 사용자를 대신하여 신원을 추론하도록 함으로써 적들이 유사한 결과를 얻기 위해 사용자 대신 AI 시스템을 표적으로 삼을 수 있는 새로운 공격 벡터를 열었습니다. 그들은 악성 지침이 포함된 Promptware를 사용하여 이를 수행합니다. Promptware는 일반적으로 코드를 실행하지 않고 대신 도구를 실행하고 동일한 효과를 위해 자연어를 사용하여 프로그램으로 구성합니다.
맬웨어와 싸우기 위한 우리의 첫 번째 공동 시도는 알려진 모든 맬웨어를 열거하려고 시도한 바이러스 백신 소프트웨어였습니다. 우리는 잘못된 프롬프트를 나열하여 문제를 해결하려고 프롬프트웨어에서도 동일한 접근 방식을 취했습니다. 이는 효과가 없으며 신속한 주입도 간단히 해결할 수 있는 문제가 아닙니다. 대신 우리가 관리할 수 있는 문제입니다. EDR을 통해 우리는 악의적인 정적 콘텐츠보다는 악의적인 행동에 초점을 맞춘 심층 방어 접근 방식을 채택해야 합니다. 이 프로젝트의 목표는 이러한 동작에 대한 지식을 문서화 및 공유하고 프롬프트웨어 공격의 전체 라이프사이클에 대한 즉각적인 주입을 넘어서는 것을 살펴보는 것입니다.
이 프로젝트는 MITRE ATT&CK와 M365, 컨테이너 및 SaaS에 공격 접근 방식을 성공적으로 적용한 다른 사람들의 놀라운 작업에서 영감을 받았습니다.
| ☝️ | .json 파일을 편집하거나 브라우저에서 직접 새 파일을 만들어 쉽게 기여할 수 있습니다! |
|---|
다음 디렉터리 내의 파일을 편집하거나 추가하여 지식 기반을 개선하세요.
|
--| tactic
--| technique
--| procedure
--| entity
--| platform
--| mitigation
파일 스키마 및 작동 방식:
main 에 병합되면 웹사이트는 몇 분 안에 자동으로 업데이트됩니다.추가 리소스 및 문서를 확인하세요.
