dioptra

Dioptra: Testsoftware zur Charakterisierung von KI-Technologien

Dioptra ist eine Software-Testplattform zur Bewertung der vertrauenswürdigen Eigenschaften künstlicher Intelligenz (KI). Vertrauenswürdige KI ist: gültig und zuverlässig, sicher und belastbar, rechenschaftspflichtig und transparent, erklärbar und interpretierbar, datenschutzfreundlich und fair – mit schädlicher Voreingenommenheit gemanagt ¹ . Dioptra unterstützt die Messfunktion des NIST AI Risk Management Framework durch die Bereitstellung von Funktionen zur Bewertung, Analyse und Verfolgung identifizierter KI-Risiken.

Dioptra bietet eine REST-API, die über eine intuitive Weboberfläche, einen Python-Client oder eine beliebige REST-Client-Bibliothek nach Wahl des Benutzers zum Entwerfen, Verwalten, Ausführen und Verfolgen von Experimenten gesteuert werden kann. Einzelheiten finden Sie in der Projektdokumentation unter https://pages.nist.gov/dioptra/.

• Aktueller Release-Status
• Anwendungsfälle
• Schlüsseleigenschaften
• Gebrauchsanweisung
  • Bauen Sie die Container
  • Führen Sie Dioptra aus
  • Benutzerregistrierung
• Entwickeln Sie Dioptra
• Lizenz
• Wie man zitiert

Aktueller Release-Status

Release 1.0.1 – mit fortlaufenden Verbesserungen und Weiterentwicklungen

Anwendungsfälle

Wir stellen uns die folgenden primären Anwendungsfälle für Dioptra vor:

• Modelltest:
  • Erstanbieter – Bewerten Sie KI-Modelle während des gesamten Entwicklungslebenszyklus
  • Drittanbieter – Bewerten Sie KI-Modelle während der Erfassung oder in einer Evaluierungslaborumgebung
  • Drittanbieter – Bewerten Sie KI-Modelle während Auditing- oder Compliance-Aktivitäten
• Forschung: Unterstützen Sie vertrauenswürdige KI-Forscher bei der Nachverfolgung von Experimenten
• Bewertungen und Herausforderungen: Stellen Sie den Teilnehmern eine gemeinsame Plattform und Ressourcen zur Verfügung
• Red-Teaming: Stellen Sie Modelle und Ressourcen einem roten Team in einer kontrollierten Umgebung zur Verfügung

Schlüsseleigenschaften

Dioptra strebt die folgenden Schlüsseleigenschaften an:

• Reproduzierbar: Dioptra erstellt automatisch Snapshots von Ressourcen, sodass Experimente reproduziert und validiert werden können
• Nachvollziehbar: Der gesamte Verlauf der Experimente und ihrer Eingaben wird nachverfolgt
• Erweiterbar: Unterstützung für die Erweiterung der Funktionalität und den Import vorhandener Python-Pakete über ein Plugin-System
• Interoperabel: Ein Typsystem fördert die Interoperabilität zwischen Plugins
• Modular: Neue Experimente können aus modularen Komponenten in einer einfachen Yaml-Datei zusammengestellt werden
• Sicher: Dioptra bietet Benutzerauthentifizierung mit Zugriffskontrollen, die in Kürze verfügbar sind
• Interaktiv: Benutzer können über eine intuitive Weboberfläche mit Dioptra interagieren
• Gemeinsam nutzbar und wiederverwendbar: Dioptra kann in einer mandantenfähigen Umgebung bereitgestellt werden, sodass Benutzer Komponenten gemeinsam nutzen und wiederverwenden können

Gebrauchsanweisung

Bauen Sie die Container

Der erste Schritt bei der Einrichtung von Dioptra besteht darin, das Repository zu klonen und die Docker-Container für die verschiedenen Dienste zu erstellen, die Teil einer Bereitstellung sind. Anweisungen finden Sie im Abschnitt „Container erstellen“ der Dokumentation.

Führen Sie Dioptra aus

Sobald die Container erstellt wurden, besteht der nächste Schritt darin, die Bereitstellung mit cruft zu konfigurieren und Dioptra auszuführen. Anweisungen hierzu finden Sie im Abschnitt „Ausführen von Dioptra“ in der Dokumentation.

Darüber hinaus möchten Sie möglicherweise Datensätze hinzufügen. Weitere Informationen finden Sie im Abschnitt „Datensätze herunterladen“ der Dokumentation.

Benutzerregistrierung

Registrieren Sie über eine der Benutzeroberflächen ein Benutzerkonto bei Ihrer Dioptra-Instanz. Auf die Benutzeroberfläche kann über Ihren Webbrowser unter der beim Erstellen der Bereitstellung angegebenen URL zugegriffen werden. Der Standardwert ist http://localhost.

Entwickeln Sie Dioptra

Wenn Sie daran interessiert sind, zu Dioptra beizutragen, lesen Sie bitte das Entwicklerhandbuch

Lizenz

Diese Software (Dioptra) wird vom National Institute of Standards and Technology (NIST), einer Agentur des US-Handelsministeriums, als öffentlicher Dienst zur Verfügung gestellt. Diese Software wurde teilweise von Mitarbeitern des NIST und teilweise von NIST-Auftragnehmern entwickelt. Das Urheberrecht an Teilen dieser Software, die von NIST-Vertragspartnern entwickelt wurden, wurde an NIST lizenziert oder übertragen. Gemäß Titel 17, Abschnitt 105 des United States Code, unterliegen Werke von NIST-Mitarbeitern in den Vereinigten Staaten nicht dem Urheberrechtsschutz. NIST besitzt jedoch möglicherweise internationale Urheberrechte an der von seinen Mitarbeitern erstellten Software und inländische Urheberrechte (oder Lizenzrechte) an Teilen der Software, die an NIST abgetreten oder lizenziert wurden. Soweit NIST das Urheberrecht an dieser Software besitzt, wird sie unter der Creative Commons Attribution 4.0 International-Lizenz (CC BY 4.0) zur Verfügung gestellt. Die Haftungsausschlüsse der CC BY 4.0-Lizenz gelten für alle Teile der von NIST entwickelten oder lizenzierten Software.

Wie man zitiert

Glasbrenner, James, Booth, Harold, Manville, Keith, Sexton, Julian, Chisholm, Michael Andy, Choy, Henry, Hand, Andrew, Hodges, Bronwyn, Scemama, Paul, Cousin, Dmitry, Trapnell, Eric, Trapnell, Mark, Huang , Howard, Rowe, Paul, Byrne, Alex (2024), Dioptra Test Platform, National Institute of Standards and Technology, https://doi.org/10.18434/mds2-3398 (Zugriff auf „Heutiges Datum“)

Hinweis: Ersetzen Sie „Heutiges Datum“ durch das heutige Datum

Fußnoten

1. https://doi.org/10.6028/NIST.AI.100-1 ↩