qgate sln mlrun

QGate-Sln-MLRun

Gerbang Kualitas untuk solusi MLRun (dan Iguazio). Tujuan utama dari proyek ini adalah:

• uji kualitas independen (fungsi, integrasi, kinerja, kerentanan, penerimaan, ... pengujian)
• pemeriksaan kualitas lebih mendalam sebelum peluncuran/penggunaan penuh di lingkungan perusahaan
• identifikasi kemungkinan masalah kompatibilitas (jika ada)
• cakupan tes eksternal dan independen
• dukungan komunitas
• dll.

Pengujian menggunakan komponen utama ini, solusi MLRun lihat GIT mlrun , contoh model meta-data lihat GIT qgate-model dan proyek ini.

Skenario pengujian

Gerbang kualitas mencakup skenario pengujian berikut (✅ selesai, ✔ sedang berlangsung, direncanakan):

• 01 - Proyek
  • ✅ TS101: Buat proyek
  • ✅ TS102: Hapus proyek
• 02 - Kumpulan fitur
  • ✅ TS201: Membuat kumpulan fitur
  • ✅ TS202: Membuat kumpulan fitur & Menyerap dari sumber DataFrame (satu langkah)
  • ✅ TS203: Buat kumpulan fitur & Serap dari sumber CSV (satu langkah)
  • ✅ TS204: Membuat kumpulan fitur & Menyerap dari sumber Parket (satu langkah)
  • ✅ TS205: Membuat kumpulan fitur & Menyerap dari sumber SQL (satu langkah)
  • ✔ TS206: Buat kumpulan fitur & Serap dari sumber Kafka (satu langkah)
  • ✔ TS207: Buat kumpulan fitur & Serap dari sumber HTTP (satu langkah)
• 03 - Menyerap data
  • ✅ TS301: Menyerap data (mode Pratinjau)
  • ✅ TS302: Menyerap data ke kumpulan fitur dari sumber DataFrame
  • ✅ TS303: Menyerap data ke kumpulan fitur dari sumber CSV
  • ✅ TS304: Menyerap data ke kumpulan fitur dari sumber Parket
  • ✅ TS305: Menyerap data ke kumpulan fitur dari sumber SQL
  • ✔ TS306: Menyerap data ke kumpulan fitur dari sumber Kafka
  • ✔ TS307: Menyerap data ke kumpulan fitur dari sumber HTTP
• 04 - Menyerap data & saluran pipa
  • ✅ TS401: Menyerap data & saluran (mode Pratinjau)
  • ✅ TS402: Menyerap data & saluran ke kumpulan fitur dari sumber DataFrame
  • ✅ TS403: Menyerap data & saluran ke kumpulan fitur dari sumber CSV
  • ✅ TS404: Menyerap data & saluran ke kumpulan fitur dari sumber Parket
  • ✅ TS405: Menyerap data & saluran ke kumpulan fitur dari sumber SQL
  • ✔ TS406: Menyerap data & saluran ke kumpulan fitur dari sumber Kafka
  • TS407: Menyerap data & saluran ke kumpulan fitur dari sumber HTTP
• 05 - Vektor fitur
  • ✅ TS501: Membuat vektor fitur
• 06 - Dapatkan data dari vektor
  • ✅ TS601: Dapatkan data dari vektor fitur offline
  • ✅ TS602: Dapatkan data dari vektor fitur online
• 07 - Saluran Pipa
  • ✅ TS701: Saluran pipa sederhana
  • ✅ TS702: Saluran pipa yang rumit
  • ✅ TS703: Saluran pipa kompleks, operasi massal
• 08 - Membangun model
  • ✅ TS801: Membangun model KERANJANG
  • TS802: Bangun model XGBoost
  • TS803: Membangun model DNN
• 09 - Sajikan model
  • ✅ TS901: Skor penyajian dari CART
  • TS902: Melayani skor dari XGBoost
  • TS903: Melayani skor dari DNN
• 10 - Pemantauan/penyimpangan model
  • TS1001: Pemantauan waktu nyata
  • TS1002: Pemantauan kumpulan
• 11 - Tes kinerja
  • TS1101: Pipa sederhana
  • TS1102: Pipa yang rumit
  • TS11xx: TBD.

CATATAN: Setiap skenario pengujian berisi penambahan kasus pengujian spesifik (misalnya dengan target berbeda untuk rangkaian fitur, dll.).

Uji masukan/keluaran

Gerbang kualitas menguji input/output berikut (✅ selesai, ✔ sedang berlangsung, direncanakan):

• Keluaran (target)
  • ✅ RedisTarget, ✅ SQLTarget/MySQL, ✔ SQLTarget/Postgres, ✅ KafkaTarget
  • ✅ Target Parket, ✅ Target CSVT
  • ✅ Sistem file, S3, BlobStorage
• Masukan (sumber)
  • ✅ Pandas/DataFrame, ✅ SQLSource/MySQL, SQLSource/Postgres, KafkaSource
  • ✅ Sumber Parket, ✅ Sumber CSV
  • ✅ Sistem file, S3, BlobStorage

Sumber/target yang didukung saat ini di MLRun.

Contoh keluaran

Laporan PART dalam bentuk aslinya, lihat:

• semua SELESAI - HTML, TXT
• dengan KESALAHAN - HTML, TXT

Penggunaan

Anda dapat dengan mudah menggunakan solusi ini dalam empat langkah:

1. Unduh konten dari dua repositori GIT ini ke lingkungan lokal Anda
   • qgate-sln-mlrun
   • qgate-model
2. Perbarui file qgate-sln-mlrun.env dari qgate-model
   • Perbarui variabel untuk MLRun/Iguazio, lihat MLRUN_DBPATH , V3IO_USERNAME , V3IO_ACCESS_KEY , V3IO_API
     • pengaturan V3IO_* hanya diperlukan jika instalasi Iguazio (bukan untuk MLRun gratis murni)
   • Perbarui variabel untuk QGate, lihat QGATE_* (deskripsi dasar langsung di *.env)
     • konfigurasi pengaturan detail
3. Jalankan dari qgate-sln-mlrun
   • python main.py
4. Lihat keluaran (lokasi didasarkan pada QGATE_OUTPUT dalam konfigurasi)
   • './output/qgt-mlrun- .html'
   • './output/qgt-mlrun- .txt'

Prasyarat: Anda memiliki solusi MLRun atau Iguazio (MLRun adalah bagian darinya), lihat langkah-langkah instalasi resmi, atau langsung instalasi untuk Desktop Docker.

Diuji dengan

Proyek ini diuji dengan versi MLRun berikut (lihat log perubahan):

• MLRun (di Kubernate atau Desktop Docker)
  • MLRun 1.8.0 (paket Q1/2025)
  • ✔ MLRun 1.7.0 (? 1.7.1 ?)
  • ✅ MLRun 1.6.4, 1.6.3, 1.6.2, 1.6.1, 1.6.0
  • ✅ MLRun 1.5.2, 1.5.1, 1.5.0
  • ✅ MLRun 1.4.1
  • ✅ MLRun 1.3.0
• Iguazio (k8s, lokal, VM di VMware)
  • ✅ Iguazio 3.5.3 (dengan MLRun 1.4.1)
  • ✅ Iguazio 3.5.1 (dengan MLRun 1.3.0)

CATATAN: Status saat ini, hanya versi MLRun/Iguazio terakhir yang diuji (kompatibilitas mundur didasarkan pada MLRun/Iguazio, lihat).

Yang lain

• Yang Harus Dilakukan , daftar perbaikan yang diharapkan/di masa depan, lihat
• Batasan yang diterapkan , daftar batasan/masalah yang diterapkan, lihat
• Bagaimana Anda bisa menguji solusinya? , Anda harus fokus pada Linux env. atau Windows dengan WSL2 (lihat tutorial langkah demi langkah)
• MLRun/Iguazio , perubahan kunci secara singkat (tampilan pelanggan), lihat
• Instalasi lokal MLRun , lihat retasan