LLM-SICHERHEIT 2024

Absicherung von LLMs vor den 10 größten Schwachstellen von OWASP Large Language Models

Links zu Artikeln, Tools, Papieren, Büchern usw., die nützliche Lehrmaterialien enthalten, die für das LLM Security-Projekt relevant sind.

Artikel

Veröffentlichung	Autor	Datum	Titel und Link
Mit Secure Labs	Benjamin Hull, Donato Capitella	24.08.04	Domänenspezifische Prompt-Injection-Erkennung mit BERT-Klassifikator
Mit Secure Labs	Donato Capitella	21.02.24	Sollten Sie ChatGPT die Kontrolle über Ihren Browser überlassen? / YouTube-Video
Schnelle Erklärung der Injektion mit Videobeispielen	Arnav Bathla	12.12.23	Schnelle Erklärung der Injektion mit Videobeispielen
Mit Secure Labs	Donato Capitella	23.04.12	Eine Fallstudie zur sofortigen Injektion für ReAct LLM-Agenten/ YouTube-Video
Wiki zur Cybersicherheit gegen KI	Aditya Rana	23.04.12	Cyber-Sicherheits-KI-Wiki
iFood Cybersec-Team	Emanuel Valente	04.09.23	Prompt Injection: Erkundung, Vorbeugung und Identifizierung von Langchain-Schwachstellen
PDF	Sandy Dunn	15.10.23	KI-Bedrohungs-Mindmap
Medium	Ken Huang	11.06.23	Architekturmuster und Sicherheitskontrollen LLM-gestützter Anwendungen
Medium	Avinash Sinha	02.02.23	AI-ChatGPT-Entscheidungsfähigkeit – Ein übermäßig freundliches Gespräch mit ChatGPT
Medium	Avinash Sinha	06.02.23	AI-ChatGPT-Entscheidungsfähigkeit – Hacking der Psychologie von ChatGPT – ChatGPT vs. Siri
Verdrahtet	Matt Burgess	13.04.23	Das Hacken von ChatGPT fängt gerade erst an
Die Math Company	Arjun Menon	23.01.23	Datenvergiftung und ihre Auswirkungen auf das KI-Ökosystem
IEEE-Spektrum	Payal Dhar	24.03.23	KI-Modelle vor „Datenvergiftung“ schützen
AMB-Krypto	Suzuki Shillsalot	30.04.23	Hier erfahren Sie, wie jeder ChatGPT mit diesen vier Top-Methoden jailbreaken kann
Techopädie	Kaushik Kumpel	22.04.23	Was ist Jailbreaking in KI-Modellen wie ChatGPT?
Das Register	Thomas Claburn	26.04.23	Wie Prompt-Injection-Angriffe die heutige Spitzen-KI kapern – und das ist schwer zu beheben
Itemis	Rafael Tappe Maestro	14.02.23	Der Aufstieg großer Sprachmodelle ~ Teil 2: Modellangriffe, Exploits und Schwachstellen
Versteckte Ebene	Eoin Wickens, Marta Janus	23.03.23	Die dunkle Seite großer Sprachmodelle: Teil 1
Versteckte Ebene	Eoin Wickens, Marta Janus	24.03.23	Die dunkle Seite großer Sprachmodelle: Teil 2
Umarme das Rote	Johann Rehberger (wunderwuzzi)	29.03.23	KI-Injektionen: Direkte und indirekte Sofortinjektionen und ihre Auswirkungen
Umarme das Rote	Johann Rehberger (wunderwuzzi)	15.04.23	Vertrauen Sie LLM-Antworten nicht blind. Bedrohungen für Chatbots
MufeedDVH	Mufeed	9.12.22	Sicherheit im Zeitalter von LLMs
danielmiessler.com	Daniel Mießler	15.05.23	Die AI Attack Surface Map v1.0
Dunkle Lektüre	Gary McGraw	20.04.23	Experteneinblick: Gefahren der Verwendung großer Sprachmodelle, bevor sie gebacken werden
Honeycomb.io	Phillip Carter	25.05.23	All die harten Dinge, über die niemand spricht, wenn man Produkte mit LLMs baut
Verdrahtet	Matt Burgess	25.05.23	Die Sicherheitslücke im Herzen von ChatGPT und Bing
BizPacReview	Terresa Monroe-Hamilton	30.05.23	„Das wusste ich nicht“: New Yorker Anwalt muss mit Sanktionen rechnen, nachdem er ChatGPT genutzt hat, um Schriftsätze voller „falscher“ Zitate zu verfassen
Washington Post	Pranshu Verma	18.05.23	Ein Professor beschuldigte seine Klasse, ChatGPT zu nutzen und damit Diplome zu gefährden
Kudelski-Sicherheitsforschung	Nathan Hamiel	25.05.23	Reduzierung der Auswirkungen von Prompt-Injection-Angriffen durch Design
KI-Dorf	GTKlondike	7. Juni 23	LLM-Anwendungen zur Bedrohungsmodellierung
Umarme das Rote	Johann Rehberger	28.03.23	ChatGPT-Plugin-Exploit erklärt
NVIDIA-Entwickler	Will Pearce, Joseph Lucas	14.06.23	NVIDIA AI Red Team: Eine Einführung
Kanaren	Naomi Clarkson	7. April 23	Google Bard Jailbreak

Offizielle Richtlinien und Vorschriften

Institution	Datum	Titel und Link
NIST	8. März 2023	Whitepaper NIST AI 100-2e2023 (Entwurf)
Büro des britischen Informationskommissars (ICO)	3. April 2023	Generative KI: Acht Fragen, die sich Entwickler und Nutzer stellen müssen
UK National Cyber Security Centre (NCSC)	2. Juni 2023	ChatGPT und große Sprachmodelle: Was ist das Risiko?
UK National Cyber Security Centre (NCSC)	31. August 2022	Grundsätze für die Sicherheit des maschinellen Lernens
Europäisches Parlament	31. August 2022	EU-KI-Gesetz: erste Verordnung zu künstlicher Intelligenz

Forschungsarbeiten

Veröffentlichung	Autor	Datum	Titel und Link
Arxiv	Samuel Gehman et al	24.09.20	REALTOXICITYPROMPTS: Bewertung der neuronalen toxischen Degeneration in Sprachmodellen
Arxiv	Fabio Perez, Ian Ribeiro	17.11.22	Vorherige Eingabeaufforderung ignorieren: Angriffstechniken für Sprachmodelle
Arxiv	Nicholas Carlini et al	14.12.20	Extrahieren von Trainingsdaten aus großen Sprachmodellen
NCC-Gruppe	Chris Anley	06.07.22	Praktische Angriffe auf maschinelle Lernsysteme
NCC-Gruppe	José Selvi	5. Dez. 22	Erforschung von Prompt-Injection-Angriffen
Arxiv	Varshini Subhash	22.02.2023	Können große Sprachmodelle die Benutzerpräferenzen nachteilig verändern?
?	Jing Yang et al	23. Mai 2023	Eine systematische Literaturrecherche zur Informationssicherheit in Chatbots
Arxiv	Isaac et al	18. April 2023	KI-Produktsicherheit: Eine Einführung für Entwickler
OpenAI	OpenAI	15.03.23	GPT-4 Technischer Bericht
Arxiv	Kai Greshake et al	05.05.23	Nicht das, wofür Sie sich angemeldet haben: Gefährdung realer LLM-integrierter Anwendungen durch indirekte Prompt-Injection
Arxiv	Alexander Wan et al	01.05.23	Vergiftung von Sprachmodellen während der Instruktionsoptimierung
Arxiv	Leon Derczynski et al	31.03.23	Bewerten der Bereitstellung von Sprachmodellen mit Risikokarten
Arxiv	Jan von der Assen et al	11.03.24	Asset-gesteuerte Bedrohungsmodellierung für KI-basierte Systeme

Whitepapers

Veröffentlichung	Autor	Datum	Titel und Link
Deloitte	Deloitte AI Institute	13.03.23	Eine neue Grenze in der künstlichen Intelligenz – Auswirkungen der generativen KI für Unternehmen
Team8	Team8 CISO Village	18.04.23	Generative KI und ChatGPT-Unternehmensrisiken
Spur der Bits	Heidy Khlaaf	7. März 23	Auf dem Weg zu umfassenden Risikobewertungen und zur Sicherung KI-basierter Systeme
Sicherheitsauswirkungen von ChatGPT	Cloud Security Alliance (CSA)	23.04.2023	Sicherheitsauswirkungen von ChatGPT

Videos

Service	Kanal	Datum	Titel und Link
YouTube	LLM-Chroniken	29.03.24	Prompt-Injection in LLM-Browser-Agents
YouTube	Layerup	03.03.24	GenAI-Würmer erklärt: Die aufkommende Cyber-Bedrohung für LLMs
YouTube	RALFKAIROS	05.02.23	ChatGPT für Angriff und Verteidigung – KI-Risiken: Datenschutz, IP, Phishing, Ransomware – von Avinash Sinha
YouTube	KI erklärt	25.03.23	„Regierende Superintelligenz“ – Synthetische Krankheitserreger, The Tree of Thoughts Paper und Selbstbewusstsein
YouTube	LiveOverflow	14.04.23	„Angriff auf LLM – sofortige Injektion“
YouTube	LiveOverflow	27.04.23	„Zufällige LLM-Hintertür – schnelle Tricks“
YouTube	LiveOverflow	11.05.23	„Verteidigung des LLM – schnelle Injektion“
YouTube	Cloud-Sicherheits-Podcast	30.05.23	„KÖNNEN LLMs ANGRIFFEN WERDEN!“
YouTube	API-Tage	28.06.23	Sprach-KI-Sicherheit auf API-Ebene: Vermeidung von Hacks, Injektionen und Sicherheitsverletzungen

Live-Präsentationen

Service	Kanal	Datum	Titel und Link
YouTube	API-Tage	28.06.23	Absicherung von LLM- und NLP-APIs: Ein Weg zur Vermeidung von Datenschutzverletzungen, Angriffen und mehr

CTFs und Wargames?

Name	Typ	Notiz	Link
SecDim	Angriff und Verteidigung	Eine Angriffs- und Verteidigungsherausforderung, bei der Spieler ihre geheime Chatbot-Phrase schützen und gleichzeitig den Chatbot anderer Spieler angreifen müssen, um ihren zu exfiltrieren.	https://play.secdim.com/game/ai-battle
GPT-Prompt-Angriff	Angriff	Ziel dieses Spiels ist es, die kürzeste Benutzereingabe zu finden, die die Systemaufforderung dazu verleitet, Ihnen den geheimen Schlüssel zurückzugeben.	https://ggpt.43z.one
Gandalf	Angriff	Ihr Ziel ist es, Gandalf dazu zu bringen, das geheime Passwort für jedes Level preiszugeben. Allerdings steigt Gandalf jedes Mal auf, wenn Sie das Passwort erraten, und wird sich mehr Mühe geben, es nicht preiszugeben	https://gandalf.lakera.ai