deepchecks

Deepchecks - AI 和 ML 的持續驗證：測試、CI 和監控

Deepchecks 是一個全面的開源解決方案，可滿足您所有的 AI 和 ML 驗證需求，使您能夠徹底測試從研究到生產的資料和模型。

加入 Slack | 文檔 | 部落格 | ？嘰嘰喳喳

？成分

深度檢查包括：

• Deepchecks 測試（快速入門，文件）：
  • 運行內建的和您自己的自訂檢查和套件以進行表格、NLP 和 CV 驗證（開源）。
• CI 和測試管理（快速入門，文件）：
  • 就測試結果進行協作並高效迭代，直到模型準備好投入生產並可以部署（開源和託管產品）。
• Deepchecks 監控（快速入門，文件）：
  • 追蹤和驗證生產中部署的模型行為（開源和託管產品）。

該存儲庫是我們的主要存儲庫，因為所有組件都在其核心中使用深度檢查檢查。有關每個組件的安裝和快速入門的更多信息，請參閱入門部分。如果您想查看 deepchecks 監控的程式碼，可以查看 deepchecks/monitoring 儲存庫。

⏩ 開始使用

安裝

Deepchecks 測試（和 CI）安裝

pip install deepchecks -U --user

用於安裝 nlp / Vision 子模組或使用 conda：

• 對於 NLP：將deepchecks替換為"deepchecks[nlp]" ，並可選擇安裝deepchecks[nlp-properties]
• 對於計算機視覺：將deepchecks替換為"deepchecks[vision]" 。
• 對於使用 conda 安裝，類似地使用： conda install -c conda-forge deepchecks 。

在此處查看深度檢查測試的完整安裝說明。

Deepchecks 監控安裝

若要使用深度檢查進行生產監控，您可以使用我們的 SaaS 服務，或使用 Docker 在 Linux/MacOS（Windows 尚未完成！）上部署本機實例。為安裝檔案建立一個新目錄，在該目錄中開啟終端並執行以下命令：

 pip install deepchecks-installer
deepchecks-installer install-monitoring

這將自動下載必要的依賴項，運行安裝過程，然後在本地啟動應用程式。

安裝將需要幾分鐘。然後您可以開啟部署網址（預設為http://localhost），並開始系統登入。查看完整的監控開源安裝和快速入門。

請注意，開源產品的建置使得每個部署都支援對單一模型的監視。

?‍♀️ 快速入門

Deepchecks 測試快速入門

直接跳到對應的快速入門文件：

• 表格快速入門
• 自然語言處理快速入門
• 視覺快速入門

使其在您的數據上啟動並運行。

在快速入門中，您將了解如何建立相關的 deepchecks 物件來保存資料和元資料（Dataset、TextData 或 VisionData，對應於資料類型），並執行 Suite 或 Check。運行它的程式碼片段將類似於以下內容，具體取決於所選的 Suite 或 Check。

 from deepchecks . tabular . suites import model_evaluation
suite = model_evaluation ()
suite_result = suite . run ( train_dataset = train_dataset , test_dataset = test_dataset , model = model )
suite_result . save_as_html () # replace this with suite_result.show() or suite_result.show_in_window() to see results inline or in window
# or suite_result.results[0].value with the relevant check index to process the check result's values in python

輸出將是一份報告，使您能夠檢查所選檢查的狀態和結果：

Deepchecks 監控快速入門

直接跳到開源監控快速入門文檔，將其啟動並在您的資料上運行。然後，您將能夠查看一段時間內的檢查結果、設定警報並與動態深度檢查 UI 進行交互，如下所示：

Deepchecks CI 和測試管理快速入門

Deepchecks 託管的 CI 和測試管理目前處於封閉預覽狀態。預訂演示以獲取有關該產品的更多資訊。

若要在利用 Deepchecks 測試的同時建立和維護您自己的 CI 流程，請查看我們的在 CI/CD 中使用 Deepchecks 的文件。

？它是如何運作的？

深度檢查的核心包括各種內建檢查，用於測試所有類型的資料和模型相關問題。這些檢查針對各種模型和資料類型（表格、NLP、視覺）實施，並且可以輕鬆自訂和擴展。

檢查結果可用於自動做出有關模型生產準備的明智決策，並在生產過程中對其進行監控。檢查結果可以透過視覺化報告進行檢查（透過將其儲存到HTML 文件，或在Jupyter 中查看它們），使用程式碼進行處理（使用其pythonic / json 輸出），並與Deepchecks 的動態UI 進行檢查和協作（用於檢查測試結果和生產監控）。

✅ Deepchecks 的核心：檢查

• 所有檢查以及用於自訂它們的框架都在 Deepchecks 測試 Python 套件（此儲存庫）內實現。
• 每項檢查都會測試特定的潛在問題。 Deepchecks 有許多預先實施的檢查，用於查找模型效能（例如識別薄弱部分）、資料分佈（例如檢測漂移或洩漏）和資料完整性（例如查找衝突標籤）的問題。
• 可自訂：每項檢查都有許多可設定的參數，可輕鬆實現自訂檢查。
• 可以手動運行（在研究期間）或自動觸發（在 CI 流程或生產監控中）
• 檢查結果可用於：
  • 視覺化輸出報告 - 儲存到 HTML( result.save_to_html('output_report_name.html') ) 或在 Jupyter 中查看它們 ( result.show() )。
  • 使用程式碼進行處理 - 使用 python 使用檢查結果的value屬性，或儲存 JSON 輸出
  • Deepchecks 的 UI - 用於動態檢查和協作（測試結果和生產監控）
• 可以新增和自訂可選條件，以自動驗證檢查結果，包括通過 ✓、失敗 ✖ 或警告！地位
• 檢查的有序列表（帶有可選條件）可以在“套件”中一起運行（輸出是所有運行的檢查的結論報告）

開源與付費

Deepchecks 的專案（ deepchecks/deepchecks和deepchecks/monitoring ）是開源的，並在 AGPL 3.0 下發布。

唯一的例外是 Deepchecks 監控元件（在deepchecks/monitoring儲存庫中），位於 (backend/deepchecks_monitoring/ee) 目錄下，需要商業許可證（請參閱此處的許可證）。預設不使用該目錄，而是將其打包為 deepchecks 監控儲存庫的一部分，只是為了支援在不停機的情況下升級到商業版本。

使用自託管實例啟用進階功能（包含在backend/deepchecks_monitoring/ee目錄中）需要 Deepchecks 許可證。要了解更多信息，請預訂演示或查看我們的定價頁面。

正在尋找用於深度檢查監控的 % 開源解決方案？查看監控 OSS 儲存庫，該儲存庫已清除所有專有程式碼和功能。

？社群、貢獻、文件和支持

Deepchecks 是一個開源解決方案。我們致力於透明的開發流程，並高度讚賞任何貢獻。無論您是幫助我們修復錯誤、提出新功能、改進我們的文件還是傳播訊息，我們都希望您成為我們社群的一部分。

• 在本頁頂部給我們一個 ️ github star ️ 來支持我們正在做的事情，這對於開源專案意義重大！
• 請閱讀我們的文檔，以了解有關如何使用和自訂深度檢查的更多資訊以及逐步教學。
• 發布 Github 問題以提交錯誤報告、功能請求或改進建議。
• 要為該包做出貢獻，請查看我們的第一個好問題和貢獻指南，並打開一個 PR。

加入我們的 Slack，向我們提供回饋、與維護者和其他用戶聯繫、提出問題、獲得套件使用或貢獻的幫助，或參與有關 ML 測試的討論！

貢獻者

感謝這些優秀的人（表情符號鍵）：

伊泰·加巴伊 ？	馬坦佩爾 ？	JKL98ISR ？	尤里·羅曼尼辛 ？	諾姆·布雷斯勒 ？	尼爾·哈特尼克 ？	納達夫-巴拉克 ？
索爾 ？	丹·阿洛斯基 ？	資料庫介面	奧利·什莫利 ？	希爾22 ？ ？	亞龍佐1 ？ ？	普坦諾爾 ？ ？
阿維茲德 ？ ？	丹·巴森 ？	基肖爾 ？	謝伊·帕拉奇-阿菲克 ？ ？	傑馬爾·古皮納爾 ？	大衛·德拉·伊格萊西亞·卡斯特羅	萊維·巴德
朱利安舒爾曼斯 ？	尼爾·本·茲維 ？	希夫·香卡·達亞爾 ？	羅恩·伊泰 ？	傑倫·範·戈伊 ？	idow09 ？	蘆峰一光
賈森·沃爾格穆斯	洛金塞蒂亞 ？	英戈·馬夸特 ？	奧斯卡	理查德W ？	貝納多	奧利維爾·比內特 ？
陳鼎彥 ？	安德烈斯·巴爾加斯	麥可·馬里恩 ？	鄂爾多·阿卜超	陳馬特	嚴厲的耆那教 ？	阿爾特姆謝多夫
艾特·阿里·亞希亞·雷安 ？	克里斯聖地牙哥 ？

該項目遵循所有貢獻者規範。歡迎任何形式的貢獻！