deepchecks

ディープチェック - AI と ML の継続的検証: テスト、CI、モニタリング

Deepchecks は、AI および ML 検証のすべてのニーズに対応する総合的なオープンソース ソリューションであり、研究から本番までデータとモデルを徹底的にテストできます。

Slack に参加する | ドキュメント | ブログ | ?ツイッター

?コンポーネント

ディープチェックには次のものが含まれます。

• ディープチェック テスト(クイックスタート、ドキュメント):
  • 表形式、NLP、CV 検証用の組み込みおよび独自のカスタム チェックとスイートを実行します (オープン ソース)。
• CI とテスト管理(クイックスタート、ドキュメント):
  • テスト結果に対して共同作業を行い、モデルが本番環境に対応し、デプロイできるようになるまで効率的に反復します (オープンソースおよびマネージド オファリング)。
• ディープチェック監視(クイックスタート、ドキュメント):
  • 運用環境 (オープンソースおよびマネージド製品) でのデプロイされたモデルの動作を追跡および検証します。

すべてのコンポーネントがコアで deepchecks チェックを使用するため、このリポジトリはメイン リポジトリです。各コンポーネントのインストールとクイックスタートの詳細については、「はじめに」セクションを参照してください。 deepchecks モニタリングのコードを確認したい場合は、deepchecks/monitoring リポジトリをチェックアウトできます。

⏩ はじめに

インストール

Deepchecks テスト (および CI) のインストール

pip install deepchecks -U --user

nlp /vision サブモジュールをインストールするか、conda を使用してインストールする場合:

• NLP の場合: deepchecks "deepchecks[nlp]"に置き換え、オプションでdeepchecks[nlp-properties]もインストールします。
• コンピューター ビジョンの場合: deepchecks "deepchecks[vision]"に置き換えます。
• conda を使用してインストールする場合も、同様にconda install -c conda-forge deepchecksを使用します。

Deepchecks テストの完全なインストール手順については、こちらをご覧ください。

ディープチェック監視インストール

実稼働監視にディープチェックを使用するには、SaaS サービスを使用するか、Docker を使用して Linux/MacOS (Windows は WIP!) にローカル インスタンスを 1 行でデプロイすることができます。インストール ファイル用の新しいディレクトリを作成し、そのディレクトリ内でターミナルを開いて次のコマンドを実行します。

 pip install deepchecks-installer
deepchecks-installer install-monitoring

これにより、必要な依存関係が自動的にダウンロードされ、インストール プロセスが実行され、アプリケーションがローカルで起動されます。

インストールには数分かかります。次に、展開 URL (デフォルトは http://localhost) を開いて、システムのオンボーディングを開始できます。完全な監視オープンソースのインストールとクイックスタートを確認してください。

オープンソース製品は、各展開が単一モデルの監視をサポートするように構築されていることに注意してください。

?‍♀️ クイックスタート

ディープチェック テストのクイックスタート

それぞれのクイックスタート ドキュメントに直接アクセスしてください。

• 表形式のクイックスタート
• NLP クイックスタート
• ビジョンのクイックスタート

データを稼働させます。

クイックスタート内では、データとメタデータ (データ型に対応する Dataset、TextData、または VisionData) を保持するための関連するディープチェック オブジェクトを作成し、スイートまたはチェックを実行する方法が説明されています。これを実行するコード スニペットは、選択したスイートまたはチェックに応じて次のようになります。

 from deepchecks . tabular . suites import model_evaluation
suite = model_evaluation ()
suite_result = suite . run ( train_dataset = train_dataset , test_dataset = test_dataset , model = model )
suite_result . save_as_html () # replace this with suite_result.show() or suite_result.show_in_window() to see results inline or in window
# or suite_result.results[0].value with the relevant check index to process the check result's values in python

出力は、選択したチェックのステータスと結果を検査できるレポートになります。

ディープチェック監視クイックスタート

オープンソース監視クイックスタート ドキュメントにすぐにアクセスして、データ上で監視を実行してください。その後、時間の経過とともにチェック結果を確認したり、アラートを設定したり、次のような動的ディープチェック UI を操作したりできるようになります。

Deepchecks CI およびテスト管理のクイックスタート

Deepchecks マネージド CI およびテスト管理は、現在クローズド プレビュー段階にあります。サービスの詳細については、デモを予約してください。

ディープチェック テストを利用しながら独自の CI プロセスを構築および維持するには、CI/CD でのディープチェックの使用に関するドキュメントを確認してください。

?どのように機能するのでしょうか?

ディープチェックの中核には、あらゆる種類のデータとモデル関連の問題をテストするための、さまざまな組み込みチェックが含まれています。これらのチェックはさまざまなモデルやデータ型 (表形式、NLP、ビジョン) に対して実装されており、簡単にカスタマイズおよび拡張できます。

チェック結果を使用して、モデルの実稼働準備状況について情報に基づいて自動的に決定を下したり、実稼働環境でモデルを長期にわたって監視したりすることができます。チェック結果は、視覚的なレポート (HTML ファイルに保存するか、Jupyter で表示することによって) で検査したり、コードで処理したり (Python / json 出力を使用して)、検査したり、Deepchecks の動的 UI (検査用) と連携したりすることができます。テスト結果および生産監視用）。

✅ Deepchecks のコア: チェック

• すべてのチェックとそれらをカスタマイズするためのフレームワークは、Deepchecks Testing Python パッケージ (このリポジトリ) 内に実装されています。
• 各チェックでは、特定の潜在的な問題がないかテストされます。 Deepchecks には、モデルのパフォーマンス (例: 弱いセグメントの特定)、データ分布 (例: ドリフトやリークの検出)、およびデータの整合性 (例: 競合するラベルの検出) に関する問題を検出するための多くの事前実装されたチェックがあります。
• カスタマイズ可能: 各チェックには多くの構成可能なパラメータがあり、カスタム チェックを簡単に実装できます。
• 手動で実行することも (調査中)、自動的にトリガーすることもできます (CI プロセスまたは生産監視中)。
• チェック結果は次の方法で使用できます。
  • ビジュアル出力レポート - HTML に保存する ( result.save_to_html('output_report_name.html') )、または Jupyter で表示する ( result.show() )。
  • コードによる処理 - Python でチェック結果のvalue属性を使用するか、JSON 出力を保存する
  • Deepchecks の UI - (テスト結果と生産監視の) 動的な検査とコラボレーション用
• オプションの条件を追加およびカスタマイズして、合格 ✓、失敗 ✖、または警告 ! でチェック結果を自動的に検証できます。状態
• 順序付けされたチェックのリスト (オプションの条件付き) を「スイート」で一緒に実行できます (出力は、実行されたすべてのチェックの最終レポートになります)。

オープンソースと有料

Deepchecks のプロジェクト ( deepchecks/deepchecksおよびdeepchecks/monitoring ) はオープンソースであり、AGPL 3.0 でリリースされています。

唯一の例外は、(backend/deepchecks_monitoring/ee) ディレクトリの下にある Deepchecks モニタリング コンポーネント ( deepchecks/monitoringリポジトリ内) であり、商用ライセンスの対象となります (ライセンスについてはこちらを参照してください)。このディレクトリはデフォルトでは使用されず、単にダウンタイムなしで商用版へのアップグレードをサポートするために、deepchecks 監視リポジトリの一部としてパッケージ化されています。

セルフホスト型インスタンスでプレミアム機能 ( backend/deepchecks_monitoring/eeディレクトリに含まれる) を有効にするには、Deepchecks ライセンスが必要です。詳細については、デモを予約するか、価格ページをご覧ください。

ディープチェック監視のための ?% オープンソース ソリューションをお探しですか?すべての独自のコードと機能が削除された Monitoring OSS リポジトリを確認してください。

?コミュニティ、貢献、ドキュメントとサポート

Deepchecks はオープンソース ソリューションです。私たちは透明性のある開発プロセスに取り組んでおり、あらゆる貢献を高く評価しています。バグの修正、新機能の提案、ドキュメントの改善、情報の普及などにご協力いただければ、コミュニティの一員としてぜひご参加ください。

• 私たちの活動をサポートするには、このページの上部にある ️ github スター ️ を付けてください。これはオープンソース プロジェクトにとって非常に意味があります。
• ディープチェックの使用方法とカスタマイズ方法、およびステップバイステップのチュートリアルについては、ドキュメントを参照してください。
• Github の問題を投稿して、バグ レポート、機能リクエストを送信したり、改善を提案したりできます。
• パッケージに貢献するには、最初の優れた問題と貢献ガイドラインを確認し、PR を開きます。

Slack に参加して、フィードバックを提供したり、メンテナーや他のユーザーとつながったり、質問したり、パッケージの使用方法や貢献についてサポートを得たり、ML テストについてディスカッションしたりすることができます。

貢献者

これらの素晴らしい人々に感謝します (絵文字キー):

イタイ・ギャベイ ?	マタンパー ?	JKL98ISR ?	ユリ・ロマニシン ?	ノーム・ブレスラー ?	ニル・ハトニク ?	ナダフ・バラク ?
ソル ?	ダン・アロウスキー ?	DBI	オルリーシュモーリー ?	しー22 ? ?	やろんぞ1 ? ?	パンノール ? ?
アビッツド ? ?	ダンバッソン ?	S.キショア ?	シェイ・パラシー・アフェック ? ?	ジェマル・グルピナール ?	デビッド・デ・ラ・イグレシア・カストロ	レヴィ・バード
ジュリアン・シュールマンス ?	ニル・ベン・ズヴィ ?	シブ・シャンカール・ダヤル ?	ロンイタイ ?	ジェローン・ヴァン・ゴーイ ?	イドウ09 ?	あしみね一光
ジェイソン・ウォルゲマス	ロキン・セシア ?	インゴ・マルカート ?	オスカー	リチャード・W ?	ベルナルド	オリヴィエ・ビネット ?
陈鼎彦 ?	アンドレス・バルガス	マイケル・マリエン ?	オルドアブチャオ	マット・チャン	厳しいジャイナ教 ?	アルターム・セドフ
アイット・アリ・ヤヒア・ラヤネ ?	クリス・サンティアゴ ?

このプロジェクトは、全員参加者の仕様に従っています。あらゆる種類の貢献を歓迎します。