genai attacks
1.0.0
| ? | GenAI Attacks Matrix é uma fonte de conhecimento sobre TTPs usados para atingir sistemas, copilotos e agentes baseados em GenAI |
|---|
A GenAI está sendo aplicada a todos os problemas imagináveis nas maiores empresas do mundo atualmente, nas quais todos nós confiamos. Estamos todos avançando o mais rápido possível para adotar a IA e colher seus benefícios primeiro. As empresas estão adotando plataformas de IA, personalizando-as e construindo as suas próprias. Paralelamente, fica cada vez mais claro que ainda não sabemos como construir sistemas seguros com GenAI. Todas as semanas surgem novas pesquisas sobre novas técnicas de ataque, os modelos e as suas capacidades continuam a mudar, e as mitigações estão a ser implementadas a um ritmo semelhante.
Ao permitir que a GenAI raciocine em nome de nossos usuários com suas identidades, abrimos um novo vetor de ataque onde os adversários podem atingir nossos sistemas de IA em vez de nossos usuários para obter resultados semelhantes. Eles fazem isso com Promptware, contente com instruções maliciosas. O Promptware geralmente não executa código; em vez disso, ele executa ferramentas e as compõe em programas com linguagem natural para obter o mesmo efeito.
Nossa primeira tentativa coletiva de combater malware foi um software antivírus que tentou enumerar todos os malwares conhecidos que existiam. Adotamos a mesma abordagem com promptware, tentando corrigir o problema enumerando prompts incorretos. Isso não funciona, nem a injeção imediata é um problema que podemos simplesmente resolver. Em vez disso, é um problema que podemos gerenciar. Aprendendo com os EDRs, precisamos adotar uma abordagem de defesa aprofundada que se concentre no comportamento malicioso e não no conteúdo estático malicioso. O objetivo deste projeto é documentar e compartilhar o conhecimento desses comportamentos e olhar além da injeção imediata, abrangendo todo o ciclo de vida de um ataque de promptware.
Este projeto foi inspirado no trabalho incrível de outros: MITRE ATT&CK e outros que aplicaram com sucesso a abordagem de ataques a M365, contêineres e SaaS.
| ☝️ | Você pode editar qualquer arquivo .json ou criar um novo diretamente no seu navegador para contribuir facilmente! |
|---|
Melhore nossa base de conhecimento editando ou adicionando arquivos nestes diretórios:
|
--| tactic
--| technique
--| procedure
--| entity
--| platform
--| mitigation
Esquema de arquivo e como as coisas funcionam:
main , o site será atualizado automaticamente em alguns minutos.Confira recursos e documentos adicionais:
