genai attacks

Bienvenue dans la matrice des attaques GenAI !

?	GenAI Attacks Matrix est une source de connaissances sur les TTP utilisés pour cibler les systèmes, copilotes et agents basés sur GenAI.

À quoi s'attendre

GenAI est aujourd'hui appliqué à tous les problèmes imaginables au sein des plus grandes entreprises du monde, sur lesquels nous comptons tous. Nous avançons tous aussi vite que possible pour adopter l’IA et profiter de ses avantages en premier. Les entreprises adoptent des plateformes d’IA, les personnalisent et créent les leurs. En parallèle, il devient de plus en plus clair que nous ne savons pas encore comment construire des systèmes sécurisés avec GenAI. De nouvelles recherches sont publiées chaque semaine sur les nouvelles techniques d'attaque, les modèles et leurs capacités ne cessent de changer, et des mesures d'atténuation sont déployées à un rythme similaire.

En laissant GenAI raisonner au nom de nos utilisateurs avec leur identité, nous avons ouvert un nouveau vecteur d'attaque où les adversaires peuvent cibler nos systèmes d'IA au lieu de nos utilisateurs pour obtenir des résultats similaires. Ils le font avec Promptware, se contentant d’instructions malveillantes. Promptware n'exécute généralement pas de code, mais exécute des outils et les compose en programmes avec un langage naturel pour un effet égal.

Notre première tentative collective de lutte contre les logiciels malveillants a été un logiciel antivirus qui tentait d'énumérer tous les logiciels malveillants connus. Nous avons adopté la même approche avec les invites, en essayant de résoudre le problème en énumérant les invites incorrectes. Cela ne fonctionne pas et l’injection rapide n’est pas non plus un problème que nous pouvons simplement résoudre. Au lieu de cela, c’est un problème que nous pouvons gérer. En tirant les leçons des EDR, nous devons adopter une approche de défense en profondeur axée sur les comportements malveillants plutôt que sur le contenu statique malveillant. L'objectif de ce projet est de documenter et de partager les connaissances sur ces comportements et de regarder au-delà de l'injection rapide sur l'ensemble du cycle de vie d'une attaque promptware.

Ce projet a été inspiré par le travail formidable d'autres personnes : MITRE ATT&CK et d'autres qui ont appliqué avec succès l'approche d'attaque à M365, aux conteneurs et au SaaS.

Comment contribuer au contenu ?

☝️	Vous pouvez modifier n’importe quel fichier .json ou en créer un nouveau directement dans votre navigateur pour contribuer facilement !

Améliorez notre base de connaissances en modifiant ou en ajoutant des fichiers dans ces répertoires :

 |
--| tactic
--| technique
--| procedure
--| entity
--| platform
--| mitigation

Schéma de fichier et comment les choses fonctionnent :

• La conformité de votre modification avec le schéma sera automatiquement testée une fois le PR créé.
• Une fois qu'un PR est fusionné avec main , le site Web sera automatiquement mis à jour en quelques minutes.
• Vous pouvez consulter le répertoire du schéma ou consulter d'autres fichiers pour référence.

Plus d'informations

Consultez des ressources et des documents supplémentaires :

• Documents du développeur
• Questions et réponses