deepchecks

Deepchecks – Kontinuierliche Validierung für KI und ML: Tests, CI und Überwachung

Deepchecks ist eine ganzheitliche Open-Source-Lösung für alle Ihre KI- und ML-Validierungsanforderungen, die es Ihnen ermöglicht, Ihre Daten und Modelle von der Forschung bis zur Produktion gründlich zu testen.

Treten Sie Slack bei | Dokumentation | Blog | ? Twitter

? Komponenten

Deepchecks beinhaltet:

• Deepchecks-Tests (Schnellstart, Dokumente):
  • Ausführen integrierter und eigener benutzerdefinierter Prüfungen und Suiten für die tabellarische, NLP- und CV-Validierung (Open Source).
• CI- und Testmanagement (Schnellstart, Dokumente):
  • Zusammenarbeit über Testergebnisse und effiziente Iteration, bis das Modell produktionsbereit ist und bereitgestellt werden kann (Open Source und verwaltetes Angebot).
• Deepchecks-Überwachung (Schnellstart, Dokumente):
  • Verfolgen und Validieren des Verhaltens Ihrer bereitgestellten Modelle in der Produktion (Open Source und verwaltetes Angebot).

Dieses Repo ist unser Haupt-Repo, da alle Komponenten die Deepchecks-Prüfungen in ihrem Kern verwenden. Weitere Informationen zur Installation und Schnellstarts für die einzelnen Komponenten finden Sie im Abschnitt „Erste Schritte“. Wenn Sie den Code von Deepchecks Monitoring sehen möchten, können Sie sich das Deepchecks/Monitoring-Repo ansehen.

⏩ Erste Schritte

Installation

Deepchecks Testing (und CI) Installation

pip install deepchecks -U --user

Zur Installation der NLP-/Vision-Submodule oder mit Conda:

• Für NLP: Ersetzen Sie deepchecks durch "deepchecks[nlp]" und installieren Sie optional auch deepchecks[nlp-properties]
• Für Computer Vision: Ersetzen Sie deepchecks durch "deepchecks[vision]" .
• Für die Installation mit Conda verwenden Sie ebenfalls: conda install -c conda-forge deepchecks .

Die vollständigen Installationsanweisungen für Deepchecks-Tests finden Sie hier.

Deepchecks-Überwachungsinstallation

Um Deepchecks für die Produktionsüberwachung zu nutzen, können Sie entweder unseren SaaS-Service nutzen oder eine lokale Instanz in einer Zeile unter Linux/MacOS (Windows ist WIP!) mit Docker bereitstellen. Erstellen Sie ein neues Verzeichnis für die Installationsdateien, öffnen Sie ein Terminal in diesem Verzeichnis und führen Sie Folgendes aus:

 pip install deepchecks-installer
deepchecks-installer install-monitoring

Dadurch werden automatisch die erforderlichen Abhängigkeiten heruntergeladen, der Installationsprozess ausgeführt und die Anwendung dann lokal gestartet.

Die Installation dauert einige Minuten. Anschließend können Sie die Bereitstellungs-URL öffnen (Standard ist http://localhost) und mit dem System-Onboarding beginnen. Sehen Sie sich die vollständige Open-Source-Installation und den Schnellstart für die Überwachung an.

Beachten Sie, dass das Open-Source-Produkt so aufgebaut ist, dass jede Bereitstellung die Überwachung eines einzelnen Modells unterstützt.

?‍♀️ Schnellstarts

Schnellstart für Deepchecks-Tests

Springen Sie direkt in die entsprechenden Schnellstartdokumente:

• Tabellarische Schnellstarts
• NLP-Schnellstarts
• Vision-Schnellstarts

um es mit Ihren Daten zum Laufen zu bringen.

In den Schnellstarts erfahren Sie, wie Sie das entsprechende Deepchecks-Objekt zum Speichern Ihrer Daten und Metadaten (Dataset, TextData oder VisionData, entsprechend dem Datentyp) erstellen und eine Suite oder Prüfung ausführen. Das Code-Snippet zum Ausführen sieht je nach ausgewählter Suite oder Check in etwa wie folgt aus.

 from deepchecks . tabular . suites import model_evaluation
suite = model_evaluation ()
suite_result = suite . run ( train_dataset = train_dataset , test_dataset = test_dataset , model = model )
suite_result . save_as_html () # replace this with suite_result.show() or suite_result.show_in_window() to see results inline or in window
# or suite_result.results[0].value with the relevant check index to process the check result's values in python

Die Ausgabe erfolgt in Form eines Berichts, der es Ihnen ermöglicht, den Status und die Ergebnisse der ausgewählten Prüfungen zu überprüfen:

Schnellstart zur Deepchecks-Überwachung

Sehen Sie sich direkt die Schnellstartdokumente für die Open-Source-Überwachung an, um sie mit Ihren Daten zum Laufen zu bringen. Anschließend können Sie die Prüfergebnisse im Laufe der Zeit sehen, Warnungen festlegen und mit der dynamischen Deepchecks-Benutzeroberfläche interagieren, die wie folgt aussieht:

Deepchecks CI- und Testmanagement-Schnellstart

Das von Deepchecks verwaltete CI- und Testmanagement befindet sich derzeit in der geschlossenen Vorschau. Buchen Sie eine Demo, um weitere Informationen zum Angebot zu erhalten.

Informationen zum Erstellen und Verwalten Ihres eigenen CI-Prozesses bei gleichzeitiger Verwendung von Deepchecks Testing finden Sie in unseren Dokumenten zur Verwendung von Deepchecks in CI/CD.

? Wie funktioniert es?

Im Kern umfasst Deepchecks eine Vielzahl integrierter Prüfungen zum Testen aller Arten von Daten und modellbezogenen Problemen. Diese Prüfungen werden für verschiedene Modelle und Datentypen (Tabular, NLP, Vision) implementiert und können einfach angepasst und erweitert werden.

Mithilfe der Prüfergebnisse können Sie automatisch fundierte Entscheidungen über die Produktionsreife Ihres Modells treffen und diese im Laufe der Zeit in der Produktion überwachen. Die Prüfergebnisse können mit visuellen Berichten untersucht werden (indem Sie sie in einer HTML-Datei speichern oder in Jupyter anzeigen), mit Code verarbeitet werden (unter Verwendung ihrer Python-/JSON-Ausgabe) und mit der dynamischen Benutzeroberfläche von Deepchecks überprüft und gemeinsam bearbeitet werden (zur Untersuchung). Testergebnisse und zur Produktionsüberwachung).

✅ Der Kern von Deepchecks: Die Checks

• Alle Prüfungen und das Framework zu ihrer Anpassung sind im Deepchecks Testing Python-Paket (dieses Repo) implementiert.
• Bei jeder Prüfung wird auf ein bestimmtes potenzielles Problem geprüft. Deepchecks verfügt über viele vorimplementierte Prüfungen zum Auffinden von Problemen mit der Leistung des Modells (z. B. Identifizierung schwacher Segmente), der Datenverteilung (z. B. Erkennung von Abweichungen oder Lecks) und der Datenintegrität (z. B. Auffinden widersprüchlicher Bezeichnungen).
• Anpassbar: Jede Prüfung verfügt über viele konfigurierbare Parameter und benutzerdefinierte Prüfungen können problemlos implementiert werden.
• Kann manuell ausgeführt werden (während der Recherche) oder automatisch ausgelöst werden (in CI-Prozessen oder der Produktionsüberwachung).
• Prüfergebnisse können verwendet werden von:
  • Visueller Ausgabebericht – Speichern in HTML ( result.save_to_html('output_report_name.html') ) oder Anzeigen in Jupyter ( result.show() ).
  • Verarbeitung mit Code – mit Python unter Verwendung des value des Prüfergebnisses oder Speichern einer JSON-Ausgabe
  • Benutzeroberfläche von Deepchecks – für dynamische Inspektion und Zusammenarbeit (von Testergebnissen und Produktionsüberwachung)
• Optionale Bedingungen können hinzugefügt und angepasst werden, um Prüfergebnisse automatisch zu validieren, mit „Bestanden“ ✓, „Nicht bestanden“ ✖ oder „Warnung“! Status
• Eine geordnete Liste von Prüfungen (mit optionalen Bedingungen) kann zusammen in einer „Suite“ ausgeführt werden (und die Ausgabe ist ein abschließender Bericht aller durchgeführten Prüfungen).

Open Source vs. kostenpflichtig

Die Projekte von Deepchecks ( deepchecks/deepchecks & deepchecks/monitoring ) sind Open Source und werden unter AGPL 3.0 veröffentlicht.

Die einzige Ausnahme bilden die Deepchecks Monitoring-Komponenten (im deepchecks/monitoring Repository), die sich im Verzeichnis (backend/deepchecks_monitoring/ee) befinden und einer kommerziellen Lizenz unterliegen (die Lizenz finden Sie hier). Dieses Verzeichnis wird nicht standardmäßig verwendet und ist als Teil des Deepchecks-Überwachungs-Repositorys gepackt, um einfach ein Upgrade auf die kommerzielle Edition ohne Ausfallzeiten zu unterstützen.

Für die Aktivierung von Premium-Funktionen (enthalten im Verzeichnis backend/deepchecks_monitoring/ee ) mit einer selbst gehosteten Instanz ist eine Deepchecks-Lizenz erforderlich. Um mehr zu erfahren, buchen Sie eine Demo oder sehen Sie sich unsere Preisseite an.

Suchen Sie nach einer ?% Open-Source-Lösung für die Deepcheck-Überwachung? Schauen Sie sich das Monitoring OSS-Repository an, das von allen proprietären Codes und Funktionen befreit ist.

? Community, Beiträge, Dokumente und Support

Deepchecks ist eine Open-Source-Lösung. Wir legen großen Wert auf einen transparenten Entwicklungsprozess und freuen uns über jeden Beitrag. Egal, ob Sie uns dabei helfen, Fehler zu beheben, neue Funktionen vorzuschlagen, unsere Dokumentation zu verbessern oder die Nachricht zu verbreiten, wir würden uns freuen, Sie als Teil unserer Community zu haben.

• Geben Sie uns oben auf dieser Seite einen ️ Github-Stern ️, um unsere Arbeit zu unterstützen. Das bedeutet sehr viel für Open-Source-Projekte!
• Weitere Informationen zur Verwendung und Anpassung von Deepchecks sowie Schritt-für-Schritt-Anleitungen finden Sie in unseren Dokumenten.
• Veröffentlichen Sie ein Github-Problem, um einen Fehlerbericht oder eine Funktionsanfrage einzureichen oder eine Verbesserung vorzuschlagen.
• Um zum Paket beizutragen, schauen Sie sich unsere ersten guten Ausgaben und Beitragsrichtlinien an und eröffnen Sie eine PR.

Treten Sie unserem Slack bei, um uns Feedback zu geben, mit den Betreuern und anderen Benutzern in Kontakt zu treten, Fragen zu stellen, Hilfe zur Paketnutzung oder Beiträgen zu erhalten oder an Diskussionen über ML-Tests teilzunehmen!

Mitwirkende

Der Dank geht an diese wunderbaren Menschen (Emoji-Taste):

Itay Gabbay ?	matanper ?	JKL98ISR ?	Jurij Romanyschyn ?	Noam Bressler ?	Nir Hutnik ?	Nadav-Barak ?
Sol ?	DanArlowski ?	DBI	OrlyShmorly ?	shir22 ? ?	yaronzo1 ? ?	ptannor ? ?
avitzd ? ?	DanBasson ?	S. Kishore ?	Shay Palachy-Affek ? ?	Cemal GURPINAR ?	David de la Iglesia Castro	Levi Bard
Julien Schuermans ?	Nir Ben-Zvi ?	Shiv Shankar Dayal ?	RonItay ?	Jeroen Van Goey ?	idow09 ?	Ikko Ashimine
Jason Wohlgemuth	Lokin Sethia ?	Ingo Marquart ?	Oskar	Richard W ?	Bernardo	Olivier Binette ?
陈鼎彦 ?	Andres Vargas	Michael Marien ?	OrdoAbChao	Matt Chan	Harter Jain ?	arterm-sedow
AIT ALI YAHIA Rayane ?	Chris Santiago ?

Dieses Projekt folgt der All-Contributors-Spezifikation. Beiträge jeglicher Art sind willkommen!