deepchecks
0.19.0
Deepchecks é uma solução holística de código aberto para todas as suas necessidades de validação de IA e ML, permitindo que você teste exaustivamente seus dados e modelos, desde a pesquisa até a produção.
Junte-se ao Slack | Documentação | Blogue | ? Twitter
As verificações profundas incluem:
Este repositório é nosso repositório principal, pois todos os componentes usam verificações profundas em seu núcleo. Consulte a seção Introdução para obter mais informações sobre instalação e guias de início rápido para cada um dos componentes. Se você quiser ver o código do monitoramento de deepchecks, você pode verificar o repositório deepchecks/monitoring.
pip install deepchecks -U --userPara instalar os submódulos nlp/vision ou com conda:
deepchecks por "deepchecks[nlp]" e, opcionalmente, instale também deepchecks[nlp-properties]deepchecks por "deepchecks[vision]" .conda install -c conda-forge deepchecks .Confira as instruções completas de instalação para testes de verificação profunda aqui.
Para usar verificações profundas para monitoramento de produção, você pode usar nosso serviço SaaS ou implantar uma instância local em uma linha no Linux/MacOS (Windows é WIP!) com Docker. Crie um novo diretório para os arquivos de instalação, abra um terminal nesse diretório e execute o seguinte:
pip install deepchecks-installer
deepchecks-installer install-monitoring
Isso baixará automaticamente as dependências necessárias, executará o processo de instalação e iniciará o aplicativo localmente.
A instalação levará alguns minutos. Em seguida, você pode abrir o URL de implantação (o padrão é http://localhost) e iniciar a integração do sistema. Confira a instalação completa de monitoramento de código aberto e início rápido.
Observe que o produto de código aberto é construído de forma que cada implantação suporte o monitoramento de um único modelo.
Vá direto para os respectivos documentos de início rápido:
para tê-lo instalado e funcionando em seus dados.
Nos guias de início rápido, você verá como criar o objeto deepchecks relevante para armazenar seus dados e metadados (Dataset, TextData ou VisionData, correspondente ao tipo de dados) e executar um Suite ou Check. O trecho de código para executá-lo será semelhante ao seguinte, dependendo do Suite ou Check escolhido.
from deepchecks . tabular . suites import model_evaluation
suite = model_evaluation ()
suite_result = suite . run ( train_dataset = train_dataset , test_dataset = test_dataset , model = model )
suite_result . save_as_html () # replace this with suite_result.show() or suite_result.show_in_window() to see results inline or in window
# or suite_result.results[0].value with the relevant check index to process the check result's values in pythonA saída será um relatório que permite inspecionar o status e os resultados das verificações escolhidas:
Vá direto para os documentos de início rápido de monitoramento de código aberto para colocá-lo em funcionamento em seus dados. Você poderá então ver os resultados das verificações ao longo do tempo, definir alertas e interagir com a IU dinâmica de verificações profundas semelhante a esta:
O gerenciamento de CI e testes gerenciados do Deepchecks está atualmente em visualização fechada. Agende uma demonstração para obter mais informações sobre a oferta.
Para construir e manter seu próprio processo de CI enquanto utiliza o Deepchecks Testing, verifique nossos documentos sobre Usando Deepchecks em CI/CD.
Basicamente, as verificações profundas incluem uma ampla variedade de verificações integradas, para testar todos os tipos de dados e problemas relacionados ao modelo. Essas verificações são implementadas para vários modelos e tipos de dados (Tabular, PNL, Visão) e podem ser facilmente customizadas e expandidas.
Os resultados da verificação podem ser usados para tomar decisões informadas automaticamente sobre a prontidão para produção do seu modelo e para monitorá-lo ao longo do tempo na produção. Os resultados da verificação podem ser examinados com relatórios visuais (salvando-os em um arquivo HTML ou visualizando-os no Jupyter), processados com código (usando sua saída pythonic/json) e inspecionados e colaborados com a interface dinâmica do Deepchecks (para examinar resultados de testes e para monitoramento da produção).
result.save_to_html('output_report_name.html') ) ou visualizando-os no Jupyter ( result.show() ).value do resultado da verificação ou salvando uma saída JSON Os projetos do Deepchecks ( deepchecks/deepchecks & deepchecks/monitoring ) são de código aberto e são lançados sob AGPL 3.0.
A única exceção são os componentes Deepchecks Monitoring (no repositório deepchecks/monitoring ), que estão no diretório (backend/deepchecks_monitoring/ee), que estão sujeitos a uma licença comercial (veja a licença aqui). Esse diretório não é usado por padrão e é empacotado como parte do repositório de monitoramento deepchecks simplesmente para oferecer suporte à atualização para a edição comercial sem tempo de inatividade.
A ativação de recursos premium (contidos no diretório backend/deepchecks_monitoring/ee ) com uma instância auto-hospedada requer uma licença Deepchecks. Para saber mais, agende uma demonstração ou consulte nossa página de preços.
Procurando uma solução de código aberto?% para monitoramento de verificação profunda? Confira o repositório Monitoring OSS, que foi eliminado de todos os códigos e recursos proprietários.
Deepchecks é uma solução de código aberto. Estamos comprometidos com um processo de desenvolvimento transparente e apreciamos muito qualquer contribuição. Esteja você nos ajudando a corrigir bugs, propor novos recursos, melhorar nossa documentação ou divulgar, adoraríamos tê-lo como parte de nossa comunidade.
Junte-se ao nosso Slack para nos dar feedback, conectar-se com os mantenedores e outros usuários, fazer perguntas, obter ajuda para uso de pacotes ou contribuições ou participar de discussões sobre testes de ML!
Os agradecimentos vão para essas pessoas maravilhosas (chave emoji):
Itay Gabbay ? | matanper ? | JKL98ISR ? | Yurii Romanyshyn ? | Noam Bressler ? | Nir Hutnik ? | Nadav-Barak ? |
Sol ? | DanArlowski ? | DBI | OrlyShmorly ? | Shir22 ? ? | yaronzo1 ? ? | ptannor ? ? |
avitzd ? ? | Dan Basson ? | S. Kishore ? | Shay Palachy-Affek ? ? | Cemal GURPINAR ? | David de la Iglesia Castro | Levi Bardo |
Julian Schuermans ? | Nir Ben-Zvi ? | Shiv Shankar Dayal ? | Ron Itay ? | Jeroen Van Goey ? | idow09 ? | Ikko Ashimine |
Jason Wohlgemuth | Lokin Sethia ? | Ingo Marquart ? | Óscar | Ricardo W. ? | Bernardo | Olivier Binette ? |
陈鼎彦 ? | André Vargas | Michael Marien ? | OrdoAbChao | Matt Chan | Jainista severo ? | artem-sedov |
AIT ALI YAHIA Rayane ? | Cris Santiago ? |
Este projeto segue a especificação de todos os contribuidores. Contribuições de qualquer tipo são bem-vindas!
