qgate sln mlrun

QGate-Sln-MLRun

ソリューション MLRun (および Iguazio) のクオリティ ゲート。プロジェクトの主な目的は次のとおりです。

• 独立した品質テスト (機能、統合、パフォーマンス、脆弱性、受け入れなどのテスト)
• 企業環境での完全な展開/使用の前に、より詳細な品質チェックを行う
• 考えられる互換性の問題の特定 (存在する場合)
• 外部および独立したテスト範囲
• コミュニティサポート
• 等

テストではこれらの主要コンポーネントを使用します。MLRun ソリューションはGIT mlrunを参照、サンプル メタデータ モデルはGIT qgate-modelおよびこのプロジェクトを参照してください。

テストシナリオ

品質ゲートは、次のテスト シナリオ (✅ 完了、✔ 進行中、計画中) をカバーします。

• 01 - プロジェクト
  • ✅ TS101: プロジェクトの作成
  • ✅ TS102: プロジェクトの削除
• 02 - 機能セット
  • ✅ TS201: 機能セットの作成
  • ✅ TS202: 機能セットの作成と DataFrame ソースからの取り込み (1 ステップ)
  • ✅ TS203: 機能セットの作成と CSV ソースからの取り込み (ワンステップ)
  • ✅ TS204: 機能セットの作成と Parquet ソースからの取り込み (1 ステップ)
  • ✅ TS205: 機能セットの作成と SQL ソースからの取り込み (1 ステップ)
  • ✔ TS206: 機能セットの作成と Kafka ソースからの取り込み (ワンステップ)
  • ✔ TS207: 機能セットの作成と HTTP ソースからの取り込み (ワンステップ)
• 03 - データの取り込み
  • ✅ TS301: データの取り込み (プレビュー モード)
  • ✅ TS302: DataFrame ソースから機能セットにデータを取り込む
  • ✅ TS303: CSV ソースから機能セットにデータを取り込む
  • ✅ TS304: Parquet ソースから機能セットにデータを取り込む
  • ✅ TS305: SQL ソースから機能セットにデータを取り込む
  • ✔ TS306: Kafka ソースから機能セットにデータを取り込む
  • ✔ TS307: HTTP ソースから機能セットにデータを取り込む
• 04 - データとパイプラインの取り込み
  • ✅ TS401: データとパイプラインの取り込み (プレビュー モード)
  • ✅ TS402: DataFrame ソースからデータと機能セットへのパイプラインを取り込む
  • ✅ TS403: CSV ソースからのデータの取り込みと機能セットへのパイプライン
  • ✅ TS404: Parquet ソースからのデータの取り込みと機能セットへのパイプライン
  • ✅ TS405: SQL ソースからデータと機能セットへのパイプラインを取り込む
  • ✔ TS406: Kafka ソースからのデータの取り込みと機能セットへのパイプライン
  • TS407: HTTP ソースからデータと機能セットへのパイプラインを取り込む
• 05 - 特徴ベクトル
  • ✅ TS501: 特徴ベクトルの作成
• 06 - ベクターからデータを取得
  • ✅ TS601: オフライン特徴ベクトルからデータを取得
  • ✅ TS602: オンライン特徴ベクトルからデータを取得
• 07 - パイプライン
  • ✅ TS701: シンプルなパイプライン
  • ✅ TS702: 複雑なパイプライン
  • ✅ TS703: 複雑なパイプライン、大量操作
• 08 - モデルの構築
  • ✅ TS801: CART モデルの構築
  • TS802: XGBoost モデルの構築
  • TS803: DNN モデルの構築
• 09 - サーブモデル
  • ✅ TS901: CART からのサービングスコア
  • TS902: XGBoost からのサービング スコア
  • TS903: DNN からのサービススコア
• 10 - モデルのモニタリング/ドリフト
  • TS1001: リアルタイム監視
  • TS1002: バッチ監視
• 11 - パフォーマンステスト
  • TS1101: シンプルなパイプライン
  • TS1102: 複雑なパイプライン
  • TS11xx:未定。

注: 各テスト シナリオには、追加の特定のテスト ケース (機能セットの異なるターゲットなど) が含まれています。

テスト入力/出力

品質ゲートは、次の入力/出力をテストします (✅ 完了、✔ 進行中、計画中)。

• アウトプット（目標）
  • ✅ RedisTarget、✅ SQLTarget/MySQL、✔ SQLTarget/Postgres、✅ KafkaTarget
  • ✅ ParquetTarget、✅ CSVTarget
  • ✅ ファイルシステム、S3、BlobStorage
• 入力 (ソース)
  • ✅ Pandas/DataFrame、✅ SQLSource/MySQL、SQLSource/Postgres、KafkaSource
  • ✅ パーケットソース、✅ CSVSソース
  • ✅ ファイルシステム、S3、BlobStorage

MLRun で現在サポートされているソース/ターゲット。

出力のサンプル

PART は元の形式でレポートします。以下を参照してください。

• すべて完了 - HTML、TXT
• エラーあり - HTML、TXT

使用法

このソリューションは 4 つのステップで簡単に使用できます。

1. これら 2 つの GIT リポジトリのコンテンツをローカル環境にダウンロードします。
   • qgate-sln-mlrun
   • qgate-モデル
2. qgate-model からファイルqgate-sln-mlrun.envを更新します
   • MLRun/Iguazio の変数を更新します。 MLRUN_DBPATH 、 V3IO_USERNAME 、 V3IO_ACCESS_KEY 、 V3IO_APIを参照してください。
     • V3IO_*の設定は、Iguazio インストールの場合にのみ必要です (純粋な無料の MLRun の場合は必要ありません)。
   • QGate の変数を更新します。QGATE_ QGATE_*を参照してください (基本的な説明は *.env に直接あります)。
     • 詳細なセットアップ構成
3. qgate-sln-mlrunから実行
   • Python main.py
4. 出力を参照してください (場所は構成内のQGATE_OUTPUTに基づいています)
   • './output/qgt-mlrun-.html'
   • './output/qgt-mlrun-.txt'

前提条件: 利用可能な MLRun または Iguazio ソリューション (MLRun はその一部です) があること。公式のインストール手順を参照するか、Desktop Docker を直接インストールします。

テスト済み

プロジェクトは次の MLRun バージョンでテストされました (変更ログを参照)。

• MLRun (Kubernates または Desktop Docker 内)
  • MLRun 1.8.0 (2025 年第 1 四半期予定)
  • ✔ MLRun 1.7.0 (? 1.7.1 ?)
  • ✅ MLRun 1.6.4、1.6.3、1.6.2、1.6.1、1.6.0
  • ✅ MLRun 1.5.2、1.5.1、1.5.0
  • ✅ MLRun 1.4.1
  • ✅ MLRun 1.3.0
• Iguazio (k8s、オンプレミス、VMware 上の VM)
  • ✅ Iguazio 3.5.3 (MLRun 1.4.1 を使用)
  • ✅ Iguazio 3.5.1 (MLRun 1.3.0 を使用)

注: 現在の状態では、MLRun/Iguazio の最新バージョンのみがテストされています (下位互換性は MLRun/Iguazio に基づいています。を参照)。

その他

• To-Do 、予想される/将来の改善点のリスト。を参照してください。
• 適用される制限、適用される制限/問題のリスト。を参照してください。
• ソリューションをテストするにはどうすればよいでしょうか? 、Linux環境に焦点を当てる必要があります。または WSL2 を搭載した Windows (ステップバイステップのチュートリアルを参照)
• MLRun/Iguazio 、簡単に言うとキーの変更 (顧客の視点)、を参照してください。
• MLRunローカルインストール、ハックを参照してください