deepchecks

Deepchecks - Validation continue pour l'IA et le ML : tests, CI et surveillance

Deepchecks est une solution open source holistique pour tous vos besoins de validation d'IA et de ML, vous permettant de tester en profondeur vos données et modèles, de la recherche à la production.

Rejoignez Slack | Documents | Blogue | ? Gazouillement

? Composants

Les vérifications approfondies comprennent :

• Tests Deepchecks (démarrage rapide, documentation) :
  • Exécution de contrôles et de suites intégrés et personnalisés pour la validation tabulaire, PNL et CV (open source).
• Gestion du CI et des tests (démarrage rapide, documentation) :
  • Collaborer sur les résultats des tests et itérer efficacement jusqu'à ce que le modèle soit prêt pour la production et puisse être déployé (offre open source et gérée).
• Surveillance des vérifications approfondies (démarrage rapide, documentation) :
  • Suivi et validation du comportement de vos modèles déployés en production (offre open source et gérée).

Ce dépôt est notre dépôt principal car tous les composants utilisent les vérifications deepchecks dans leur noyau. Consultez la section Mise en route pour plus d'informations sur l'installation et les démarrages rapides pour chacun des composants. Si vous souhaitez voir le code de la surveillance deepchecks, vous pouvez consulter le dépôt deepchecks/monitoring.

⏩ Mise en route

Installation

Installation des tests Deepchecks (et CI)

pip install deepchecks -U --user

Pour installer les sous-modules nlp/vision ou avec conda :

• Pour le NLP : remplacez deepchecks par "deepchecks[nlp]" et éventuellement installez également deepchecks[nlp-properties]
• Pour Computer Vision : remplacez deepchecks par "deepchecks[vision]" .
• Pour l'installation avec conda, utilisez de la même manière : conda install -c conda-forge deepchecks .

Consultez les instructions d’installation complètes pour les tests de vérification approfondie ici.

Installation de surveillance des contrôles approfondis

Pour utiliser les contrôles approfondis pour le suivi de la production, vous pouvez soit utiliser notre service SaaS, soit déployer une instance locale en une seule ligne sous Linux/MacOS (Windows est WIP !) avec Docker. Créez un nouveau répertoire pour les fichiers d'installation, ouvrez un terminal dans ce répertoire et exécutez ce qui suit :

 pip install deepchecks-installer
deepchecks-installer install-monitoring

Cela téléchargera automatiquement les dépendances nécessaires, exécutera le processus d'installation, puis démarrera l'application localement.

L'installation prendra quelques minutes. Ensuite, vous pouvez ouvrir l'URL de déploiement (la valeur par défaut est http://localhost) et démarrer l'intégration du système. Consultez l’installation open source et le démarrage rapide de la surveillance complète.

Notez que le produit open source est conçu de telle sorte que chaque déploiement prend en charge la surveillance d'un seul modèle.

?‍♀️ Démarrages rapides

Démarrage rapide des tests Deepchecks

Accédez directement aux documents de démarrage rapide respectifs :

• Démarrages rapides tabulaires
• Démarrages rapides en PNL
• Démarrages rapides de Vision

pour qu'il soit opérationnel sur vos données.

Dans les démarrages rapides, vous verrez comment créer l'objet deepchecks approprié pour contenir vos données et métadonnées (Dataset, TextData ou VisionData, correspondant au type de données) et exécuter une suite ou un contrôle. L'extrait de code pour l'exécuter ressemblera à ce qui suit, en fonction de la suite ou du chèque choisi.

 from deepchecks . tabular . suites import model_evaluation
suite = model_evaluation ()
suite_result = suite . run ( train_dataset = train_dataset , test_dataset = test_dataset , model = model )
suite_result . save_as_html () # replace this with suite_result.show() or suite_result.show_in_window() to see results inline or in window
# or suite_result.results[0].value with the relevant check index to process the check result's values in python

Le résultat sera un rapport qui vous permettra d'inspecter l'état et les résultats des contrôles choisis :

Démarrage rapide de la surveillance des vérifications approfondies

Accédez directement aux documents de démarrage rapide de la surveillance open source pour la rendre opérationnelle sur vos données. Vous pourrez alors voir les résultats des vérifications au fil du temps, définir des alertes et interagir avec l'interface utilisateur dynamique des vérifications approfondies qui ressemble à ceci :

Démarrage rapide de Deepchecks CI et gestion des tests

La gestion des CI et des tests gérés par Deepchecks est actuellement en version préliminaire fermée. Réservez une démo pour plus d’informations sur l’offre.

Pour créer et maintenir votre propre processus CI tout en utilisant Deepchecks Testing, consultez nos documents pour l'utilisation de Deepchecks dans CI/CD.

? Comment ça marche ?

À la base, les vérifications approfondies comprennent une grande variété de vérifications intégrées, permettant de tester tous les types de données et de problèmes liés aux modèles. Ces contrôles sont mis en œuvre pour différents modèles et types de données (Tabulaire, NLP, Vision) et peuvent facilement être personnalisés et étendus.

Les résultats du contrôle peuvent être utilisés pour prendre automatiquement des décisions éclairées sur l'état de préparation de votre modèle à la production et pour le surveiller au fil du temps en production. Les résultats de la vérification peuvent être examinés avec des rapports visuels (en les enregistrant dans un fichier HTML ou en les affichant dans Jupyter), traités avec du code (en utilisant leur sortie pythonic/json), inspectés et collaborés avec l'interface utilisateur dynamique de Deepchecks (pour examiner résultats des tests et pour le suivi de la production).

✅ Le noyau de Deepchecks : les contrôles

• Tous les contrôles et le cadre permettant de les personnaliser sont implémentés dans le package Deepchecks Testing Python (ce dépôt).
• Chaque vérification teste un problème potentiel spécifique. Deepchecks propose de nombreuses vérifications pré-implémentées pour détecter les problèmes liés aux performances du modèle (par exemple, identifier les segments faibles), à la distribution des données (par exemple, détecter les dérives ou les fuites) et à l'intégrité des données (par exemple, rechercher des étiquettes contradictoires).
• Personnalisable : chaque contrôle comporte de nombreux paramètres configurables et des contrôles personnalisés peuvent facilement être mis en œuvre.
• Peut être exécuté manuellement (pendant la recherche) ou déclenché automatiquement (dans les processus CI ou le suivi de production)
• Les résultats du contrôle peuvent être consommés par :
  • Rapport de sortie visuel - Enregistrement au format HTML ( result.save_to_html('output_report_name.html') ) ou visualisation dans Jupyter ( result.show() ).
  • Traitement avec du code - avec python en utilisant l'attribut value du résultat de la vérification ou en enregistrant une sortie JSON
  • L'interface utilisateur de Deepchecks - pour une inspection et une collaboration dynamiques (des résultats des tests et du suivi de la production)
• Des conditions facultatives peuvent être ajoutées et personnalisées, pour valider automatiquement les résultats du contrôle, avec une réussite ✓, un échec ✖ ou un avertissement ! statut
• Une liste ordonnée de contrôles (avec des conditions facultatives) peut être exécutée ensemble dans une « Suite » (et le résultat est un rapport final de tous les contrôles exécutés)

Open Source vs Payant

Les projets de Deepchecks ( deepchecks/deepchecks & deepchecks/monitoring ) sont open source et sont publiés sous AGPL 3.0.

La seule exception concerne les composants Deepchecks Monitoring (dans le dépôt deepchecks/monitoring ), qui se trouvent dans le répertoire (backend/deepchecks_monitoring/ee), qui sont soumis à une licence commerciale (voir la licence ici). Ce répertoire n'est pas utilisé par défaut et est intégré au référentiel de surveillance deepchecks simplement pour prendre en charge la mise à niveau vers l'édition commerciale sans temps d'arrêt.

L'activation des fonctionnalités premium (contenues dans le répertoire backend/deepchecks_monitoring/ee ) avec une instance auto-hébergée nécessite une licence Deepchecks. Pour en savoir plus, réservez une démo ou consultez notre page de tarification.

Vous recherchez une solution open source ?% pour la surveillance approfondie ? Consultez le référentiel Monitoring OSS, qui est purgé de tout code et fonctionnalités propriétaires.

? Communauté, contribution, documents et support

Deepchecks est une solution open source. Nous nous engageons dans un processus de développement transparent et apprécions grandement toute contribution. Que vous nous aidiez à corriger des bugs, à proposer de nouvelles fonctionnalités, à améliorer notre documentation ou à faire passer le message, nous serions ravis de vous compter parmi notre communauté.

• Donnez-nous une ️ étoile github ️ en haut de cette page pour soutenir ce que nous faisons, cela signifie beaucoup pour les projets open source !
• Lisez nos documents pour plus d'informations sur l'utilisation et la personnalisation des vérifications approfondies, ainsi que pour des didacticiels étape par étape.
• Publiez un problème Github pour soumettre un rapport de bug, une demande de fonctionnalité ou suggérer une amélioration.
• Pour contribuer au package, consultez nos premiers bons numéros et directives de contribution, et ouvrez un PR.

Rejoignez notre Slack pour nous faire part de vos commentaires, vous connecter avec les responsables et les autres utilisateurs, poser des questions, obtenir de l'aide sur l'utilisation des packages ou des contributions, ou participer à des discussions sur les tests ML !

Contributeurs

Merci à ces personnes merveilleuses (clé emoji) :

Itay Gabbay ?	matanper ?	JKL98ISR ?	Yurii Romanyshyn ?	Noam Bressler ?	Nir Hutnik ?	Nadav-Barak ?
Sol ?	DanArlowski ?	DBI	OrlyShmorly ?	shir22 ? ?	yaronzo1 ? ?	ptannor ? ?
avitzd ? ?	DanBasson ?	S. Kishore ?	Shay Palachy-Affek ? ?	Cemal GURPINAR ?	David de la Église Castro	Lévi Barde
Julien Schuermans ?	Nir Ben-Zvi ?	Shiv Shankar Dayal ?	RonItay ?	Jeroen Van Goey ?	idow09 ?	Ikko Ashimine
Jason Wohlgemuth	Lokin Sethia ?	Ingo Marquart ?	oscar	Richard W. ?	Bernardo	Olivier Binette ?
陈鼎彦 ?	Andrés Vargas	Michel Marien ?	OrdoAbChao	Matt Chan	Jaïn dur ?	artterm-sedov
AIT ALI YAHIA Rayane ?	Chris Santiago ?

Ce projet suit la spécification de tous les contributeurs. Les contributions de toute nature sont les bienvenues !