deepchecks

Deepchecks - AI 和 ML 的持续验证：测试、CI 和监控

Deepchecks 是一个全面的开源解决方案，可满足您所有的 AI 和 ML 验证需求，使您能够彻底测试从研究到生产的数据和模型。

加入 Slack | 文档 | 博客 | ？叽叽喳喳

？成分

深度检查包括：

• Deepchecks 测试（快速入门，文档）：
  • 运行内置的和您自己的自定义检查和套件以进行表格、NLP 和 CV 验证（开源）。
• CI 和测试管理（快速入门，文档）：
  • 就测试结果进行协作并高效迭代，直到模型准备好投入生产并可以部署（开源和托管产品）。
• Deepchecks 监控（快速入门，文档）：
  • 跟踪和验证生产中部署的模型行为（开源和托管产品）。

该存储库是我们的主要存储库，因为所有组件都在其核心中使用深度检查检查。有关每个组件的安装和快速入门的更多信息，请参阅入门部分。如果您想查看 deepchecks 监控的代码，可以查看 deepchecks/monitoring 存储库。

⏩ 开始使用

安装

Deepchecks 测试（和 CI）安装

pip install deepchecks -U --user

用于安装 nlp / Vision 子模块或使用 conda：

• 对于 NLP：将deepchecks替换为"deepchecks[nlp]" ，并可选择安装deepchecks[nlp-properties]
• 对于计算机视觉：将deepchecks替换为"deepchecks[vision]" 。
• 对于使用 conda 安装，类似地使用： conda install -c conda-forge deepchecks 。

在此处查看深度检查测试的完整安装说明。

Deepchecks 监控安装

要使用深度检查进行生产监控，您可以使用我们的 SaaS 服务，或者使用 Docker 在 Linux/MacOS（Windows 尚未完成！）上部署一个本地实例。为安装文件创建一个新目录，在该目录中打开终端并运行以下命令：

 pip install deepchecks-installer
deepchecks-installer install-monitoring

这将自动下载必要的依赖项，运行安装过程，然后在本地启动应用程序。

安装将需要几分钟时间。然后您可以打开部署网址（默认为http://localhost），并开始系统登录。查看完整的监控开源安装和快速入门。

请注意，开源产品的构建使得每个部署都支持对单个模型的监视。

?‍♀️ 快速入门

Deepchecks 测试快速入门

直接跳转到相应的快速入门文档：

• 表格快速入门
• 自然语言处理快速入门
• 视觉快速入门

使其在您的数据上启动并运行。

在快速入门中，您将了解如何创建相关的 deepchecks 对象来保存数据和元数据（Dataset、TextData 或 VisionData，对应于数据类型），并运行 Suite 或 Check。运行它的代码片段将类似于以下内容，具体取决于所选的 Suite 或 Check。

 from deepchecks . tabular . suites import model_evaluation
suite = model_evaluation ()
suite_result = suite . run ( train_dataset = train_dataset , test_dataset = test_dataset , model = model )
suite_result . save_as_html () # replace this with suite_result.show() or suite_result.show_in_window() to see results inline or in window
# or suite_result.results[0].value with the relevant check index to process the check result's values in python

输出将是一份报告，使您能够检查所选检查的状态和结果：

Deepchecks 监控快速入门

直接跳到开源监控快速入门文档，将其启动并在您的数据上运行。然后，您将能够查看一段时间内的检查结果、设置警报并与动态深度检查 UI 进行交互，如下所示：

Deepchecks CI 和测试管理快速入门

Deepchecks 托管的 CI 和测试管理当前处于封闭预览状态。预订演示以获取有关该产品的更多信息。

要在利用 Deepchecks 测试的同时构建和维护您自己的 CI 流程，请查看我们的在 CI/CD 中使用 Deepchecks 的文档。

？它是如何运作的？

深度检查的核心包括各种内置检查，用于测试所有类型的数据和模型相关问题。这些检查针对各种模型和数据类型（表格、NLP、视觉）实施，并且可以轻松定制和扩展。

检查结果可用于自动做出有关模型生产准备情况的明智决策，并在生产过程中对其进行监控。检查结果可以通过可视化报告进行检查（通过将其保存到 HTML 文件，或在 Jupyter 中查看它们），使用代码进行处理（使用其 pythonic / json 输出），并与 Deepchecks 的动态 UI 进行检查和协作（用于检查测试结果和生产监控）。

✅ Deepchecks 的核心：检查

• 所有检查以及用于自定义它们的框架都在 Deepchecks 测试 Python 包（此存储库）内实现。
• 每项检查都会测试特定的潜在问题。 Deepchecks 有许多预先实施的检查，用于查找模型性能（例如识别薄弱部分）、数据分布（例如检测漂移或泄漏）和数据完整性（例如查找冲突标签）的问题。
• 可定制：每项检查都有许多可配置的参数，可以轻松实现自定义检查。
• 可以手动运行（在研究期间）或自动触发（在 CI 流程或生产监控中）
• 检查结果可用于：
  • 可视化输出报告 - 保存到 HTML( result.save_to_html('output_report_name.html') ) 或在 Jupyter 中查看它们 ( result.show() )。
  • 使用代码进行处理 - 使用 python 使用检查结果的value属性，或保存 JSON 输出
  • Deepchecks 的 UI - 用于动态检查和协作（测试结果和生产监控）
• 可以添加和自定义可选条件，以自动验证检查结果，包括通过 ✓、失败 ✖ 或警告！地位
• 检查的有序列表（带有可选条件）可以在“套件”中一起运行（输出是所有运行的检查的结论报告）

开源与付费

Deepchecks 的项目（ deepchecks/deepchecks和deepchecks/monitoring ）是开源的，并在 AGPL 3.0 下发布。

唯一的例外是 Deepchecks 监控组件（在deepchecks/monitoring存储库中），位于 (backend/deepchecks_monitoring/ee) 目录下，需要商业许可证（请参阅此处的许可证）。默认情况下不使用该目录，而是将其打包为 deepchecks 监控存储库的一部分，只是为了支持在不停机的情况下升级到商业版本。

使用自托管实例启用高级功能（包含在backend/deepchecks_monitoring/ee目录中）需要 Deepchecks 许可证。要了解更多信息，请预订演示或查看我们的定价页面。

正在寻找用于深度检查监控的 % 开源解决方案？查看监控 OSS 存储库，该存储库已清除所有专有代码和功能。

？社区、贡献、文档和支持

Deepchecks 是一个开源解决方案。我们致力于透明的开发流程，并高度赞赏任何贡献。无论您是帮助我们修复错误、提出新功能、改进我们的文档还是传播信息，我们都希望您成为我们社区的一部分。

• 在本页顶部给我们一个 ️ github star ️ 来支持我们正在做的事情，这对于开源项目意义重大！
• 请阅读我们的文档，了解有关如何使用和自定义深度检查的更多信息以及分步教程。
• 发布 Github 问题以提交错误报告、功能请求或改进建议。
• 要为该包做出贡献，请查看我们的第一个好问题和贡献指南，并打开一个 PR。

加入我们的 Slack，向我们提供反馈、与维护者和其他用户联系、提出问题、获得包使用或贡献的帮助，或者参与有关 ML 测试的讨论！

贡献者

感谢这些优秀的人（表情符号键）：

伊泰·加巴伊 ？	马坦佩尔 ？	JKL98ISR ？	尤里·罗曼尼辛 ？	诺姆·布雷斯勒 ？	尼尔·哈特尼克 ？	纳达夫-巴拉克 ？
索尔 ？	丹·阿洛斯基 ？	数据库接口	奥利·什莫利 ？	希尔22 ？ ？	亚龙佐1 ？ ？	普坦诺尔 ？ ？
阿维茨德 ？ ？	丹·巴森 ？	基肖尔 ？	谢伊·帕拉奇-阿菲克 ？ ？	杰马尔·古皮纳尔 ？	大卫·德拉·伊格莱西亚·卡斯特罗	莱维·巴德
朱利安·舒尔曼斯 ？	尼尔·本·兹维 ？	希夫·香卡·达亚尔 ？	罗恩·伊泰 ？	杰伦·范·戈伊 ？	idow09 ？	芦峰一光
贾森·沃尔格穆斯	洛金塞蒂亚 ？	英戈·马夸特 ？	奥斯卡	理查德·W ？	贝尔纳多	奥利维尔·比内特 ？
陈鼎彦 ？	安德烈斯·巴尔加斯	迈克尔·马里恩 ？	鄂尔多·阿卜超	陈马特	严厉的耆那教 ？	阿尔特姆谢多夫
艾特·阿里·亚希亚·雷安 ？	克里斯·圣地亚哥 ？

该项目遵循所有贡献者规范。欢迎任何形式的贡献！