genai attacks
1.0.0
| ? | GenAI Attacks Matrix es una fuente de conocimiento sobre los TTP utilizados para atacar sistemas, copilotos y agentes basados en GenAI. |
|---|
La GenAI se está aplicando a todos los problemas imaginables dentro de las empresas más grandes del mundo en la actualidad, en las que todos confiamos. Todos estamos avanzando lo más rápido posible para adoptar la IA y ser los primeros en aprovechar sus beneficios. Las empresas están adoptando plataformas de inteligencia artificial, personalizándolas y construyendo las suyas propias. Paralelamente, está cada vez más claro que todavía no sabemos cómo construir sistemas seguros con GenAI. Cada semana se publican nuevas investigaciones sobre nuevas técnicas de ataque, los modelos y sus capacidades siguen cambiando, y las mitigaciones se están implementando a un ritmo similar.
Al permitir que GenAI razone en nombre de nuestros usuarios con sus identidades, hemos abierto un nuevo vector de ataque donde los adversarios pueden apuntar a nuestros sistemas de IA en lugar de a nuestros usuarios para obtener resultados similares. Lo hacen con Promptware, contenidos con instrucciones maliciosas. El Promptware generalmente no ejecuta código, sino que ejecuta herramientas y las compone en programas con lenguaje natural para lograr el mismo efecto.
Nuestro primer intento colectivo de luchar contra el malware fue el software antivirus, que intentó enumerar todos los malware conocidos que existen. Hemos adoptado el mismo enfoque con el software de aviso, intentando solucionar el problema enumerando avisos incorrectos. Esto no funciona, ni la inyección rápida es un problema que podamos solucionar simplemente. Más bien, es un problema que podemos gestionar. Aprendiendo de los EDR, debemos adoptar un enfoque de defensa en profundidad que se centre en el comportamiento malicioso en lugar del contenido estático malicioso. El objetivo de este proyecto es documentar y compartir conocimientos sobre esos comportamientos y mirar más allá de la inyección rápida en todo el ciclo de vida de un ataque de software rápido.
Este proyecto se inspiró en el increíble trabajo de otros: MITRE ATT&CK y otros que aplicaron con éxito el enfoque de ataques a M365, contenedores y SaaS.
| ☝️ | ¡Puedes editar cualquier archivo .json o crear uno nuevo directamente en tu navegador para contribuir fácilmente! |
|---|
Mejore nuestra base de conocimientos editando o agregando archivos dentro de estos directorios:
|
--| tactic
--| technique
--| procedure
--| entity
--| platform
--| mitigation
Esquema de archivos y cómo funcionan las cosas:
main , el sitio web se actualizará automáticamente en unos minutos.Consulte recursos y documentos adicionales:
