deepchecks

Deepchecks: validación continua para IA y ML: pruebas, CI y monitoreo

Deepchecks es una solución integral de código abierto para todas sus necesidades de validación de IA y aprendizaje automático, que le permite probar exhaustivamente sus datos y modelos desde la investigación hasta la producción.

Únete a Slack | Documentación | Blog | ? Gorjeo

? Componentes

Las comprobaciones profundas incluyen:

• Pruebas de verificación profunda (inicio rápido, documentos):
  • Ejecución de comprobaciones y suites integradas y personalizadas para validación tabular, PNL y CV (código abierto).
• Gestión de pruebas y CI (inicio rápido, documentos):
  • Colaborar en los resultados de las pruebas e iterar de manera eficiente hasta que el modelo esté listo para producción y pueda implementarse (oferta administrada y de código abierto).
• Monitoreo de comprobaciones profundas (inicio rápido, documentos):
  • Seguimiento y validación del comportamiento de sus modelos implementados cuando están en producción (fuente abierta y oferta administrada).

Este repositorio es nuestro repositorio principal, ya que todos los componentes utilizan comprobaciones profundas en su núcleo. Consulte la sección Introducción para obtener más información sobre la instalación y los inicios rápidos de cada uno de los componentes. Si desea ver el código de monitoreo de deepchecks, puede consultar el repositorio de deepchecks/monitoring.

⏩ Comenzando

Instalación

Instalación de pruebas (y CI) de Deepchecks

pip install deepchecks -U --user

Para instalar los submódulos nlp/vision o con conda:

• Para PNL: reemplace deepchecks con "deepchecks[nlp]" y, opcionalmente, instale también deepchecks[nlp-properties]
• Para Computer Vision: reemplace deepchecks con "deepchecks[vision]" .
• Para instalar con conda, use de manera similar: conda install -c conda-forge deepchecks .

Consulte las instrucciones de instalación completas para realizar pruebas de verificación profunda aquí.

Instalación de monitoreo de Deepchecks

Para utilizar comprobaciones profundas para el monitoreo de producción, puede usar nuestro servicio SaaS o implementar una instancia local en una línea en Linux/MacOS (¡Windows es WIP!) con Docker. Cree un nuevo directorio para los archivos de instalación, abra una terminal dentro de ese directorio y ejecute lo siguiente:

 pip install deepchecks-installer
deepchecks-installer install-monitoring

Esto descargará automáticamente las dependencias necesarias, ejecutará el proceso de instalación y luego iniciará la aplicación localmente.

La instalación tardará unos minutos. Luego puede abrir la URL de implementación (el valor predeterminado es http://localhost) e iniciar la incorporación del sistema. Consulte la instalación y el inicio rápido de monitoreo completo de código abierto.

Tenga en cuenta que el producto de código abierto está diseñado de manera que cada implementación admita la supervisión de un único modelo.

?‍♀️ Inicio rápido

Inicio rápido de pruebas de comprobaciones profundas

Vaya directamente a los respectivos documentos de inicio rápido:

• Inicios rápidos tabulares
• Inicios rápidos de PNL
• Inicio rápido de visión

para tenerlo en funcionamiento con sus datos.

En los inicios rápidos, verá cómo crear el objeto de comprobaciones profundas relevante para almacenar sus datos y metadatos (Dataset, TextData o VisionData, correspondiente al tipo de datos) y ejecutar una Suite o Check. El fragmento de código para ejecutarlo se verá similar al siguiente, dependiendo de la Suite o Check elegido.

 from deepchecks . tabular . suites import model_evaluation
suite = model_evaluation ()
suite_result = suite . run ( train_dataset = train_dataset , test_dataset = test_dataset , model = model )
suite_result . save_as_html () # replace this with suite_result.show() or suite_result.show_in_window() to see results inline or in window
# or suite_result.results[0].value with the relevant check index to process the check result's values in python

El resultado será un informe que le permitirá inspeccionar el estado y los resultados de las comprobaciones elegidas:

Inicio rápido de monitoreo de comprobaciones profundas

Vaya directamente a los documentos de inicio rápido de monitoreo de código abierto para tenerlo en funcionamiento con sus datos. Luego podrá ver los resultados de las comprobaciones a lo largo del tiempo, configurar alertas e interactuar con la interfaz de usuario dinámica de comprobaciones profundas que se ve así:

Inicio rápido de gestión de pruebas y CI de Deepchecks

La gestión de pruebas y CI gestionada por Deepchecks se encuentra actualmente en versión preliminar cerrada. Reserve una demostración para obtener más información sobre la oferta.

Para crear y mantener su propio proceso de CI mientras utiliza Deepchecks Testing, consulte nuestros documentos sobre Uso de Deepchecks en CI/CD.

? ¿Cómo funciona?

En esencia, las comprobaciones profundas incluyen una amplia variedad de comprobaciones integradas para probar todo tipo de datos y problemas relacionados con el modelo. Estas comprobaciones se implementan para varios modelos y tipos de datos (Tabular, NLP, Vision) y se pueden personalizar y ampliar fácilmente.

Los resultados de la verificación se pueden utilizar para tomar decisiones informadas automáticamente sobre la preparación para la producción de su modelo y para monitorearlo a lo largo del tiempo en producción. Los resultados de la verificación se pueden examinar con informes visuales (guardándolos en un archivo HTML o viéndolos en Jupyter), procesados ​​con código (usando su salida pythonic/json) e inspeccionados y colaborados con la interfaz de usuario dinámica de Deepchecks (para examinar resultados de pruebas y para el seguimiento de la producción).

✅ Núcleo de Deepchecks: Los controles

• Todas las comprobaciones y el marco para personalizarlas se implementan dentro del paquete Deepchecks Testing Python (este repositorio).
• Cada verificación busca un problema potencial específico. Deepchecks tiene muchas comprobaciones previamente implementadas para encontrar problemas con el rendimiento del modelo (por ejemplo, identificar segmentos débiles), la distribución de datos (por ejemplo, detectar desviaciones o fugas) y la integridad de los datos (por ejemplo, encontrar etiquetas en conflicto).
• Personalizable: cada verificación tiene muchos parámetros configurables y se pueden implementar fácilmente comprobaciones personalizadas.
• Puede ejecutarse manualmente (durante la investigación) o activarse automáticamente (en procesos de CI o monitoreo de producción)
• Los resultados del cheque pueden ser consumidos por:
  • Informe de salida visual: guardar en HTML ( result.save_to_html('output_report_name.html') ) o verlos en Jupyter ( result.show() ).
  • Procesamiento con código: con Python usando el atributo value del resultado de la verificación o guardando una salida JSON
  • UI de Deepchecks: para inspección dinámica y colaboración (de resultados de pruebas y monitoreo de producción)
• Se pueden agregar y personalizar condiciones opcionales para validar automáticamente los resultados de la verificación, con aprobación ✓, falla ✖ o advertencia. estado
• Se puede ejecutar una lista ordenada de comprobaciones (con condiciones opcionales) en una "Suite" (y el resultado es un informe final de todas las comprobaciones que se ejecutaron)

Código abierto versus pago

Los proyectos de Deepchecks ( deepchecks/deepchecks & deepchecks/monitoring ) son de código abierto y se publican bajo AGPL 3.0.

La única excepción son los componentes de Deepchecks Monitoring (en el repositorio deepchecks/monitoring ), que se encuentran en el directorio (backend/deepchecks_monitoring/ee), que están sujetos a una licencia comercial (consulte la licencia aquí). Ese directorio no se utiliza de forma predeterminada y está empaquetado como parte del repositorio de monitoreo de comprobaciones profundas simplemente para admitir la actualización a la edición comercial sin tiempo de inactividad.

Para habilitar las funciones premium (contenidas en el directorio backend/deepchecks_monitoring/ee ) con una instancia autohospedada se requiere una licencia de Deepchecks. Para obtener más información, reserve una demostración o consulte nuestra página de precios.

¿Busca una solución ?% de código abierto para el monitoreo de verificación profunda? Consulte el repositorio Monitoring OSS, que ha sido eliminado de todo código y funciones propietarios.

? Comunidad, contribución, documentos y soporte

Deepchecks es una solución de código abierto. Estamos comprometidos con un proceso de desarrollo transparente y apreciamos mucho cualquier contribución. Ya sea que nos esté ayudando a corregir errores, proponer nuevas funciones, mejorar nuestra documentación o hacer correr la voz, nos encantaría tenerlo como parte de nuestra comunidad.

• Danos una ️ estrella de github ️ en la parte superior de esta página para respaldar lo que estamos haciendo, ¡significa mucho para los proyectos de código abierto!
• Lea nuestros documentos para obtener más información sobre cómo usar y personalizar comprobaciones profundas y tutoriales paso a paso.
• Publique un problema de Github para enviar un informe de error, solicitar una función o sugerir una mejora.
• Para contribuir al paquete, consulte nuestros primeros buenos números y pautas de contribución, y abra un PR.

Únase a nuestro Slack para darnos su opinión, conectarse con los mantenedores y otros usuarios, hacer preguntas, obtener ayuda para el uso del paquete o contribuciones, o participar en debates sobre las pruebas de ML.

Colaboradores

Gracias a estas maravillosas personas (tecla emoji):

itay gabbay ?	matanper ?	JKL98ISR ?	Yuri Romanyshyn ?	Noam Bressler ?	Nir Hutnik ?	Nadav-Barak ?
Sol ?	danarlowski ?	DBI	OrlyShmorly ?	shir22 ? ?	yaronzo1 ? ?	ptannor ? ?
avitzd ? ?	DanBasson ?	S. Kishore ?	Shay Palachy-Affek ? ?	Cemal GURPINAR ?	David de la Iglesia Castro	Levi Bardo
Julien Schuermans ?	Nir Ben-Zvi ?	Shiv Shankar Dayal ?	ronitay ?	Jeroen Van Goey ?	idow09 ?	Ikko Ashimine
Jason Wohlgemuth	Lokin Sethia ?	Ingo Marquart ?	Óscar	Richard W. ?	Bernardo	Olivier Binette ?
陈鼎彦 ?	Andrés Vargas	Michael Marien ?	OrdoAbChao	Matt Chan	Jainista duro ?	arterm-sedov
AIT ALI YAHIA Rayane ?	cris santiago ?

Este proyecto sigue la especificación de todos los contribuyentes. ¡Las contribuciones de cualquier tipo son bienvenidas!