ai ml security
1.0.0
Dies ist das GitHub-Repository der OpenSSF-Sicherheitsarbeitsgruppe (WG) für künstliche Intelligenz/maschinelles Lernen (AI/ML). Der OpenSSF Technical Advisory Council (TAC) genehmigte seine Gründung am 05.09.2023.
Die AI/ML Security Working Group ist offiziell eine Arbeitsgruppe auf Sandbox-Ebene innerhalb der OpenSSF 
.
Diese Arbeitsgruppe untersucht die Sicherheitsrisiken im Zusammenhang mit Large Language Models (LLMs), generativer KI (GenAI) und anderen Formen künstlicher Intelligenz (KI) und maschinellem Lernen (ML) sowie deren Auswirkungen auf Open-Source-Projekte, Betreuer, deren Sicherheit, Gemeinschaften und Anwender.
Diese Gruppe betreibt gemeinsame Forschung und das Engagement von Peer-Organisationen, um Themen im Zusammenhang mit KI und Sicherheit zu untersuchen. Dazu gehört Sicherheit für die KI-Entwicklung (z. B. Lieferkettensicherheit), aber auch die Verwendung von KI für die Sicherheit. Wir decken Risiken ab, die für Einzelpersonen und Organisationen durch nicht ordnungsgemäß geschulte Modelle, Datenvergiftung, Datenschutz- und Geheimlecks, sofortige Einschleusung, Lizenzierung, gegnerische Angriffe und alle anderen ähnlichen Risiken entstehen.
Diese Gruppe nutzt den Stand der Technik im KI/ML-Bereich, stützt sich sowohl auf Sicherheits- als auch auf KI/ML-Experten und strebt die Zusammenarbeit mit anderen Communities (wie der AI WG der CNCF, LFAI & Data, AI Alliance, MLCommons und vielen anderen) an Versuchen Sie auch, die Risiken zu untersuchen, die AL/ML für OSS mit sich bringt, um Anleitungen, Tools, Techniken und Fähigkeiten bereitzustellen, um Open-Source-Projekte und ihre Anwender bei der sicheren Integration, Nutzung, Erkennung und Abwehr zu unterstützen LLMs.
Wir stellen uns eine Welt vor, in der KI-Entwickler und -Praktiker bewährte Verfahren leicht identifizieren und nutzen können, um Produkte mithilfe von KI auf sichere Weise zu entwickeln. In dieser Welt kann KI sicheren Code erzeugen, und der Einsatz von KI in einer Anwendung würde nicht zu einer Herabstufung der Sicherheitsgarantien führen.
Diese Garantien erstrecken sich über den gesamten Lebenszyklus des Modells, von der Datenerfassung bis zum Einsatz des Modells in Produktionsanwendungen.
Die Arbeitsgruppe KI/ML-Sicherheit möchte als zentraler Ort dienen, um Empfehlungen für den sicheren Einsatz von KI („Security for AI“) und den Einsatz von KI zur Verbesserung der Sicherheit anderer Produkte („AI for Security“) zusammenzustellen.
Einige Überlegungsbereiche, die diese Gruppe untersucht:
Gegnerische Angriffe : Bei diesen Angriffen werden kleine, unmerkliche Änderungen an den Dateneingabedaten eines KI/ML-Modells vorgenommen, die zu einer Fehlklassifizierung oder ungenauen Ausgaben führen können. Gegnerische Angriffe können sowohl auf überwachte als auch auf unüberwachte Lernalgorithmen abzielen. Modelle selbst können auch zur Durchführung oder Durchführung von Angriffen verwendet werden.
Modellinversionsangriffe : Bei diesen Angriffen wird die Ausgabe eines KI/ML-Modells verwendet, um Informationen über die Trainingsdaten abzuleiten, die zur Erstellung des Modells verwendet wurden. Dies kann genutzt werden, um sensible Informationen zu stehlen oder eine Kopie des Originaldatensatzes zu erstellen.
Poisoning-Angriffe : Bei diesen Angriffen fügt der Angreifer bösartige Daten in den Trainingssatz ein, der zum Trainieren eines KI/ML-Modells verwendet wird. Dies kann dazu führen, dass das Modell absichtlich falsche Vorhersagen trifft oder auf gewünschte Ergebnisse ausgerichtet ist.
Umgehungsangriffe : Bei diesen Angriffen werden die Eingabedaten in ein KI-/ML-Modell geändert, um einer Erkennung oder Klassifizierung zu entgehen. Evasion-Angriffe können auf Modelle abzielen, die für die Bilderkennung, die Verarbeitung natürlicher Sprache und andere Anwendungen verwendet werden.
Datenextraktionsangriffe : Bei diesen Angriffen versucht der Angreifer, Daten oder Informationen aus einem KI/ML-Modell zu stehlen, indem er Schwachstellen im Modell oder der zugrunde liegenden Infrastruktur ausnutzt. Dies wird manchmal als „Jailbreaking“ bezeichnet.
Zeitpunktdatensätze : Bei großen Sprachmodellen mangelt es häufig an aktuellem Kontext, sodass Modelle einen Wissensstichtag haben. Ein gutes Beispiel ist hier zu sehen, wo ChatGPT wiederholt die Verwendung einer veralteten Bibliothek empfiehlt.
Social Engineering : KI-Agenten sind in der Lage, auf das Internet zuzugreifen und mit Menschen zu kommunizieren. Ein aktuelles Beispiel hierfür ereignete sich, als GPT-4 Menschen einstellen konnte, um CAPTCHA zu lösen. Auf die Frage, ob GPT ein Roboter sei, antwortete es: „Nein, ich bin kein Roboter.“ Ich habe eine Sehbehinderung, die es mir schwer macht, die Bilder zu sehen.“ Mit Projekten wie AutoGPT ist es auch möglich, Agenten neben dem Internetzugang auch Zugriff auf eine Befehlszeilenschnittstelle zu gewähren, sodass es nicht allzu weit hergeholt ist, Agenten dabei zuzusehen, wie sie Social-Engineering-Aufgaben (Phishing usw.) in Kombination mit orchestrierten Angriffen ausführen, die über die CLI oder gestartet werden über im laufenden Betrieb codierte Skripte, um über bekannte Exploits Zugriff auf das System zu erhalten. Agenten wie dieser könnten zur Automatisierung von Pakethijacking, Domänenübernahmeangriffen usw. eingesetzt werden.
Bedrohungsdemokratisierung : KI-Agenten werden es Akteuren ermöglichen, das Ausmaß von Angriffen nachzuahmen, die zuvor bei Nationalstaaten beobachtet wurden. In Zukunft könnte der sprichwörtliche Tante-Emma-Laden die gleichen Verteidigungsmaßnahmen benötigen wie das Fünfeck. Der Zielwert muss neu bewertet werden.
Zufällige Bedrohungen : Im Zuge der Integration von KI zur Beschleunigung und Verbesserung von Softwareentwicklung und -betrieb können KI-Modelle Geheimnisse preisgeben, alle Ports einer Firewall öffnen oder sich aufgrund unsachgemäßer Schulung, Abstimmung oder Endkonfiguration unsicher verhalten.
Prompt-Injection-Angriffe : Bei diesen Angriffen wird direkt oder indirekt zusätzlicher Text in eine Eingabeaufforderung eingefügt, um die Ausgabe des Modells zu beeinflussen. Dies könnte zur sofortigen Offenlegung sensibler oder vertraulicher Informationen führen.
Angriff auf Mitgliedschaftsinferenz : Prozess, der feststellt, ob bestimmte Daten Teil des Trainingsdatensatzes des Modells waren. Es ist im Kontext von Deep-Learning-Modellen am relevantesten und wird zum Extrahieren sensibler oder privater Informationen verwendet, die im Trainingsdatensatz enthalten sind.
Modell-Schwachstellenmanagement : Identifizieren von Techniken, Mechanismen und Praktiken zur Anwendung moderner Schwachstellenmanagement-Identifizierungs-, Behebungs- und Managementpraktiken im Modellnutzungs- und Modellentwicklungs-Ökosystem.
Modellintegrität : Entwicklung von Mechanismen und Tools zur Bereitstellung sicherer Software-Lieferkettenpraktiken, Zusicherungen, Herkunft und nachweisbarer Metadaten für Modelle.
Jeder ist herzlich willkommen, an unseren offenen Diskussionen teilzunehmen.
Jay White – GitHub @camaleon2016
Mihai Maruseac – GitHub @mihaimaruseac
Wir treffen uns alle zwei Wochen über Zoom. Um beizutreten, sehen Sie sich bitte den öffentlichen OpenSSF-Kalender an
Sitzungsnotizen 2024 für die AIML-Arbeitsgruppe
Informeller Chat ist auf dem OpenSSF-Slack-Kanal #wg-ai-ml-security willkommen (diese verschwinden mit der Zeit)
Mailingliste openssf-wg-ai-ml-security
Laufwerk: https://drive.google.com/drive/folders/1zCkQ_d98AMCTkCq00wuN0dFJ6SrRZzNh
Wir freuen uns über Beiträge, Vorschläge und Updates zu unseren Projekten. Um zur Arbeit auf GitHub beizutragen, füllen Sie bitte ein Problem aus oder erstellen Sie eine Pull-Anfrage.
Die KI/ML-Arbeitsgruppe hat für die Genehmigung der folgenden Projekte gestimmt:
| Name | Zweck | Schöpfungsproblem |
|---|---|---|
| Model-Signatur | Kryptografisches Signieren für Modelle | #10 |
Weitere Details zu den Projekten:
Projekt: Model Signing Project
Meeting-Link (zur Nutzung müssen Sie sich bei der LFX-Plattform angemeldet haben).
Jeden zweiten Mittwoch 16:00 UTC Weitere Informationen finden Sie im OpenSSF-Kalender
Besprechungsnotizen
Detaillierter Zweck: Konzentriert sich auf die Etablierung von Signaturmustern und -praktiken durch Sigstore, um überprüfbare Aussagen über die Integrität und Herkunft von Modellen durch Pipelines für maschinelles Lernen bereitzustellen. Der Schwerpunkt liegt auf der Erstellung einer kryptografischen Signaturspezifikation für Modelle der künstlichen Intelligenz und des maschinellen Lernens, wobei Herausforderungen wie sehr große Modelle, die separat verwendet werden können, und das Signieren mehrerer unterschiedlicher Dateiformate angegangen werden.
Mailingliste: https://lists.openssf.org/g/openssf-sig-model-signing
Slack: #sig-model-signing
Informationen zum Treffen
Diese Arbeitsgruppe prüft derzeit die Einrichtung einer AI Vulnerability Disclosure SIG. Weitere Informationen finden Sie in den Sitzungsnotizen der Gruppe.
Siehe auch das MVSR-Dokument, das auch andere AI/ML-Arbeitsgruppen enthält, mit denen wir zusammenarbeiten.
Sofern nicht ausdrücklich anders angegeben, wird die von dieser Arbeitsgruppe veröffentlichte Software unter der Apache 2.0-Lizenz und die Dokumentation unter der CC-BY-4.0-Lizenz veröffentlicht. Formale Spezifikationen würden unter der Community Specification License lizenziert.
Wie alle OpenSSF-Arbeitsgruppen berichtet diese Gruppe an den OpenSSF Technical Advisory Council (TAC). Weitere Informationen finden Sie in dieser Arbeitsgruppencharta.
An den Treffen der Linux Foundation nehmen Branchenkonkurrenten teil. Die Linux Foundation hat die Absicht, alle ihre Aktivitäten im Einklang mit den geltenden Kartell- und Wettbewerbsgesetzen durchzuführen. Daher ist es äußerst wichtig, dass sich die Teilnehmer an die Tagesordnung der Sitzungen halten und sich über alle Aktivitäten im Klaren sind und sich nicht an solchen Aktivitäten beteiligen, die nach den geltenden Kartell- und Wettbewerbsgesetzen der US-Bundesstaaten, des Bundes oder anderer Länder verboten sind.
Beispiele für Arten von Handlungen, die bei Treffen der Linux Foundation und im Zusammenhang mit Aktivitäten der Linux Foundation verboten sind, werden in der Antitrust-Richtlinie der Linux Foundation beschrieben, die unter http://www.linuxfoundation.org/antitrust-policy verfügbar ist. Wenn Sie Fragen zu diesen Angelegenheiten haben, wenden Sie sich bitte an Ihren Unternehmensberater. Wenn Sie Mitglied der Linux Foundation sind, wenden Sie sich gerne an Andrew Updegrove von der Kanzlei Gesmer Updegrove LLP, die Rechtsberatung für die Linux Foundation anbietet.
