deepchecks

Deepchecks - Validasi Berkelanjutan untuk AI & ML: Pengujian, CI & Pemantauan

Deepchecks adalah solusi sumber terbuka holistik untuk semua kebutuhan validasi AI & ML Anda, memungkinkan Anda menguji data dan model secara menyeluruh mulai dari penelitian hingga produksi.

Bergabunglah dengan Slack | Dokumentasi | Blog | ? Twitter

? Komponen

Pemeriksaan mendalam meliputi:

• Pengujian Deepchecks (Mulai cepat, dokumen):
  • Menjalankan Pemeriksaan dan Suite bawaan & kustom Anda sendiri untuk validasi Tabular, NLP & CV (sumber terbuka).
• CI & Manajemen Pengujian (Mulai cepat, dokumen):
  • Berkolaborasi atas hasil pengujian dan melakukan iterasi secara efisien hingga model siap produksi dan dapat diterapkan (penawaran sumber terbuka & terkelola).
• Pemantauan Deepchecks (Mulai cepat, dokumen):
  • Melacak dan memvalidasi perilaku model yang Anda terapkan saat dalam produksi (penawaran sumber terbuka & terkelola).

Repo ini adalah repo utama kami karena semua komponen menggunakan pemeriksaan deepchecks di intinya. Lihat bagian Memulai untuk informasi lebih lanjut tentang instalasi dan mulai cepat untuk setiap komponen. Jika Anda ingin melihat kode pemantauan deepchecks, Anda dapat memeriksa repo deepchecks/monitoring.

⏩ Memulai

Instalasi

Instalasi Pengujian Deepchecks (dan CI).

pip install deepchecks -U --user

Untuk menginstal submodul nlp/vision atau dengan conda:

• Untuk NLP: Ganti deepchecks dengan "deepchecks[nlp]" , dan secara opsional instal juga deepchecks[nlp-properties]
• Untuk Computer Vision: Ganti deepchecks dengan "deepchecks[vision]" .
• Untuk menginstal dengan conda, gunakan cara yang sama: conda install -c conda-forge deepchecks .

Lihat petunjuk instalasi lengkap untuk pengujian deepchecks di sini.

Instalasi Pemantauan Deepchecks

Untuk menggunakan pemeriksaan mendalam untuk pemantauan produksi, Anda dapat menggunakan layanan SaaS kami, atau menerapkan instans lokal dalam satu baris di Linux/MacOS (Windows adalah WIP!) dengan Docker. Buat direktori baru untuk file instalasi, buka terminal di dalam direktori itu dan jalankan perintah berikut:

 pip install deepchecks-installer
deepchecks-installer install-monitoring

Ini secara otomatis akan mengunduh dependensi yang diperlukan, menjalankan proses instalasi dan kemudian memulai aplikasi secara lokal.

Instalasi akan memakan waktu beberapa menit. Kemudian Anda dapat membuka url penerapan (defaultnya adalah http://localhost), dan memulai orientasi sistem. Lihat instalasi & mulai cepat pemantauan sumber terbuka secara lengkap.

Perhatikan bahwa produk sumber terbuka dibuat sedemikian rupa sehingga setiap penerapan mendukung pemantauan satu model.

?‍♀️ Mulai cepat

Mulai Cepat Pengujian Deepchecks

Langsung ke dokumen mulai cepat masing-masing:

• Mulai Cepat Tabel
• Mulai Cepat NLP
• Panduan Memulai Visi

untuk mengaktifkan dan menjalankannya pada data Anda.

Di dalam mulai cepat, Anda akan melihat cara membuat objek deepchecks yang relevan untuk menyimpan data dan metadata Anda (Dataset, TextData, atau VisionData, sesuai dengan tipe datanya), dan menjalankan Suite atau Check. Cuplikan kode untuk menjalankannya akan terlihat seperti berikut, tergantung pada Suite atau Check yang dipilih.

 from deepchecks . tabular . suites import model_evaluation
suite = model_evaluation ()
suite_result = suite . run ( train_dataset = train_dataset , test_dataset = test_dataset , model = model )
suite_result . save_as_html () # replace this with suite_result.show() or suite_result.show_in_window() to see results inline or in window
# or suite_result.results[0].value with the relevant check index to process the check result's values in python

Outputnya akan berupa laporan yang memungkinkan Anda memeriksa status dan hasil pemeriksaan yang dipilih:

Mulai Cepat Pemantauan Deepchecks

Langsung buka dokumen mulai cepat pemantauan sumber terbuka untuk mengaktifkan dan menjalankannya pada data Anda. Anda kemudian dapat melihat hasil pemeriksaan dari waktu ke waktu, mengatur peringatan, dan berinteraksi dengan UI deepcheck dinamis yang terlihat seperti ini:

Panduan Memulai CI & Manajemen Pengujian secara mendalam

Manajemen CI & Pengujian yang dikelola Deepchecks saat ini dalam pratinjau tertutup. Pesan demo untuk informasi lebih lanjut tentang penawaran ini.

Untuk membangun dan memelihara proses CI Anda sendiri sambil menggunakan Pengujian Deepchecks, lihat dokumen kami untuk Menggunakan Deepchecks di CI/CD.

? Bagaimana cara kerjanya?

Pada intinya, pemeriksaan mendalam mencakup beragam Pemeriksaan bawaan, untuk menguji semua jenis data dan masalah terkait model. Pemeriksaan ini diterapkan untuk berbagai model dan tipe data (Tabular, NLP, Vision), dan dapat dengan mudah disesuaikan dan diperluas.

Hasil pemeriksaan dapat digunakan untuk secara otomatis membuat keputusan yang tepat tentang kesiapan produksi model Anda, dan untuk memantaunya dari waktu ke waktu dalam produksi. Hasil pemeriksaan dapat diperiksa dengan laporan visual (dengan menyimpannya ke file HTML, atau melihatnya di Jupyter), diproses dengan kode (menggunakan keluaran pythonic/json), dan diperiksa serta dikolaborasikan dengan UI dinamis Deepchecks (untuk pemeriksaan hasil pengujian dan untuk pemantauan produksi).

✅ Inti Deepchecks: Pemeriksaan

• Semua Pemeriksaan dan kerangka kerja untuk menyesuaikannya diimplementasikan di dalam paket Deepchecks Testing Python (repo ini).
• Setiap pemeriksaan menguji potensi masalah tertentu. Deepchecks memiliki banyak pemeriksaan yang telah diterapkan sebelumnya untuk menemukan masalah pada kinerja model (misalnya mengidentifikasi segmen yang lemah), distribusi data (misalnya mendeteksi penyimpangan atau kebocoran) dan integritas data (misalnya menemukan label yang bertentangan).
• Dapat disesuaikan: setiap pemeriksaan memiliki banyak parameter yang dapat dikonfigurasi, dan pemeriksaan khusus dapat diterapkan dengan mudah.
• Dapat dijalankan secara manual (selama penelitian) atau dipicu secara otomatis (dalam proses CI atau pemantauan produksi)
• Hasil pengecekan dapat dikonsumsi oleh:
  • Laporan keluaran visual - Menyimpan ke HTML( result.save_to_html('output_report_name.html') ) atau melihatnya di Jupyter ( result.show() ).
  • Memproses dengan kode - dengan python menggunakan atribut value hasil pemeriksaan, atau menyimpan keluaran JSON
  • UI Deepchecks - untuk inspeksi dan kolaborasi dinamis (hasil pengujian dan pemantauan produksi)
• Kondisi opsional dapat ditambahkan dan disesuaikan, untuk memvalidasi hasil pemeriksaan secara otomatis, dengan pass ✓, gagal ✖ atau peringatan! status
• Daftar pemeriksaan yang diurutkan (dengan ketentuan opsional) dapat dijalankan bersama dalam "Suite" (dan outputnya adalah laporan penutup dari semua pemeriksaan yang dijalankan)

Sumber Terbuka vs Berbayar

Proyek Deepchecks ( deepchecks/deepchecks & deepchecks/monitoring ) bersifat open source dan dirilis di bawah AGPL 3.0.

Satu-satunya pengecualian adalah komponen Deepchecks Monitoring (di repo deepchecks/monitoring ), yang berada di bawah direktori (backend/deepchecks_monitoring/ee), yang tunduk pada lisensi komersial (lihat lisensi di sini). Direktori tersebut tidak digunakan secara default, dan dikemas sebagai bagian dari repositori pemantauan deepchecks hanya untuk mendukung peningkatan ke edisi komersial tanpa downtime.

Mengaktifkan fitur premium (terdapat di direktori backend/deepchecks_monitoring/ee ) dengan instance yang dihosting sendiri memerlukan lisensi Deepchecks. Untuk mempelajari lebih lanjut, pesan demo atau lihat halaman harga kami.

Mencari solusi sumber terbuka ?% untuk pemantauan mendalam? Periksa repositori Monitoring OSS, yang dibersihkan dari semua kode dan fitur kepemilikan.

? Komunitas, Kontribusi, Dokumen & Dukungan

Deepchecks adalah solusi sumber terbuka. Kami berkomitmen terhadap proses pembangunan yang transparan dan sangat menghargai kontribusi apa pun. Baik Anda membantu kami memperbaiki bug, mengusulkan fitur baru, menyempurnakan dokumentasi kami, atau menyebarkan berita, kami akan senang jika Anda menjadi bagian dari komunitas kami.

• Beri kami ️ bintang github ️ di bagian atas halaman ini untuk mendukung apa yang kami lakukan, ini sangat berarti bagi proyek sumber terbuka!
• Baca dokumen kami untuk informasi lebih lanjut tentang cara menggunakan dan menyesuaikan deepcheck, dan untuk tutorial langkah demi langkah.
• Posting Masalah Github untuk mengirimkan laporan bug, permintaan fitur, atau menyarankan perbaikan.
• Untuk berkontribusi pada paket ini, lihat pedoman isu dan kontribusi pertama kami yang baik, dan buka PR.

Bergabunglah dengan Slack kami untuk memberikan masukan, terhubung dengan pengelola dan sesama pengguna, mengajukan pertanyaan, mendapatkan bantuan untuk penggunaan atau kontribusi paket, atau terlibat dalam diskusi tentang pengujian ML!

Kontributor

Terima kasih kepada orang-orang hebat ini (kunci emoji):

Itay Gabbay ?	matanper ?	JKL98ISR ?	Yurii Romanyshyn ?	Noam Bressler ?	Nir Hutnik ?	Nadav-Barak ?
Sol ?	Dan Arlowski ?	DBI	OrlyShmorly ?	shir22 ? ?	yaronzo1 ? ?	ptannor ? ?
avitzd ? ?	DanBasson ?	S.Kishore ?	Shay Palachy-Affek ? ?	Cemal GURPINAR ?	David de la Iglesia Castro	Levi Bard
Julien Schuermans ?	Nir Ben-Zvi ?	Shiv Shankar Dayal ?	RonItay ?	Jeroen Van Goey ?	idow09 ?	Ikko Ashimine
Jason Wohlgemuth	Lokin Setia ?	Ingo Marquart ?	Oscar	Richard W ?	bernardo	Olivier Binette ?
陈鼎彦 ?	Andres Vargas	Michael Marien ?	OrdoAbChao	Matt Chan	Jain yang keras ?	arterm-sedov
AIT ALI YAHIA Rayane ?	Chris Santiago ?

Proyek ini mengikuti spesifikasi semua kontributor. Kontribusi apa pun dipersilakan!