Geiger-Prüfer
v0.0.5
Prüfung großer Sprachmodelle leicht gemacht!
Sprachmodelle ermöglichen es Unternehmen, innovative Anwendungen zu entwickeln und auf den Markt zu bringen, um die Produktivität zu verbessern und die Kundenzufriedenheit zu erhöhen. Es ist jedoch bekannt, dass LLMs Halluzinationen hervorrufen, gegnerische Reaktionen hervorrufen können, die Benutzern schaden können, und sogar private Informationen preisgeben können, auf die sie geschult wurden, wenn sie dazu aufgefordert werden oder unaufgefordert. Für ML- und Softwareanwendungsteams ist es wichtiger denn je, diese Risiken und Schwächen zu minimieren, bevor LLMs und NLP-Modelle eingeführt werden. Daher ist es wichtig, dass Sie einen Prozess zur gründlichen Prüfung von Sprachmodellen vor der Produktion einbinden. Mit dem Fiddler Auditor können Sie LLMs und NLP-Modelle testen, Schwachstellen in den Modellen identifizieren und potenzielle kontroverse Ergebnisse abmildern, bevor Sie sie in der Produktion einsetzen.
Fiddler Auditor unterstützt
Ein Beispielbericht, der vom Fiddler Auditor für text-davinci-003 erstellt wurde.Auditor ist auf PyPI verfügbar und wir testen auf Python 3.8 und höher. Wir empfehlen, eine virtuelle Python-Umgebung zu erstellen und mit dem folgenden Befehl zu installieren
pip install fiddler-auditorSie können die Installation von der Quelle aus durchführen, nachdem Sie dieses Repo mit dem folgenden Befehl geklont haben
pip install . Wir aktualisieren diese Bibliothek kontinuierlich, um Sprachmodelle bei ihrer Weiterentwicklung zu unterstützen.
Eine Schritt-für-Schritt-Anleitung finden Sie im Beitragsleitfaden.
