genai attacks
1.0.0
| ? | GenAI Attacks Matrix ist eine Wissensquelle über TTPs, die zum Angriff auf GenAI-basierte Systeme, Copiloten und Agenten eingesetzt werden |
|---|
GenAI wird heute auf jedes erdenkliche Problem in den größten Unternehmen der Welt angewendet, auf das wir uns alle verlassen. Wir alle streben so schnell wie möglich danach, KI einzuführen und zuerst von ihren Vorteilen zu profitieren. Unternehmen übernehmen KI-Plattformen, passen sie an und entwickeln eigene. Parallel dazu wird immer deutlicher, dass wir noch nicht wissen, wie wir mit GenAI sichere Systeme aufbauen können. Jede Woche werden neue Forschungsergebnisse zu neuen Angriffstechniken veröffentlicht, Modelle und ihre Fähigkeiten ändern sich ständig und Abhilfemaßnahmen werden in ähnlichem Tempo eingeführt.
Indem wir GenAI im Namen unserer Benutzer mit deren Identität argumentieren lassen, haben wir einen neuen Angriffsvektor eröffnet, bei dem Angreifer unsere KI-Systeme anstelle unserer Benutzer ins Visier nehmen können, um ähnliche Ergebnisse zu erzielen. Sie tun dies mit Promptware und begnügen sich mit bösartigen Anweisungen. Promptware führt normalerweise keinen Code aus, sondern Tools und setzt sie für den gleichen Effekt in Programme mit natürlicher Sprache zusammen.
Unser erster gemeinsamer Versuch, Malware zu bekämpfen, war eine Antivirensoftware, die versuchte, jede bekannte Malware aufzulisten. Bei Promptware haben wir den gleichen Ansatz gewählt und versucht, das Problem durch Auflisten fehlerhafter Eingabeaufforderungen zu beheben. Dies funktioniert weder, noch ist die sofortige Injektion ein Problem, das wir einfach beheben können. Stattdessen ist es ein Problem, das wir bewältigen können. Als Lehre aus EDRs müssen wir einen tiefgreifenden Verteidigungsansatz verfolgen, der sich auf bösartiges Verhalten und nicht auf bösartige statische Inhalte konzentriert. Das Ziel dieses Projekts besteht darin, das Wissen über diese Verhaltensweisen zu dokumentieren und weiterzugeben und über die Prompt-Injection hinaus den gesamten Lebenszyklus eines Promptware-Angriffs zu betrachten.
Dieses Projekt wurde von der großartigen Arbeit anderer inspiriert: MITRE ATT&CK und anderen, die den Angriffsansatz erfolgreich auf M365, Container und SaaS angewendet haben.
| ☝️ | Sie können jede .json Datei bearbeiten oder direkt in Ihrem Browser eine neue erstellen, um ganz einfach einen Beitrag zu leisten! |
|---|
Verbessern Sie unsere Wissensdatenbank, indem Sie Dateien in diesen Verzeichnissen bearbeiten oder hinzufügen:
|
--| tactic
--| technique
--| procedure
--| entity
--| platform
--| mitigation
Dateischema und Funktionsweise:
main zusammengeführt wird, wird die Website innerhalb weniger Minuten automatisch aktualisiert.Schauen Sie sich zusätzliche Ressourcen und Dokumente an:
