MetaSpore

中文介绍

Metaspore: platform pengembangan pembelajaran mesin satu atap

Metaspore adalah platform pengembangan pembelajaran mesin end-to-end satu atap yang menyediakan kerangka kerja siklus penuh dan antarmuka pengembangan untuk dari preprocessing data, pelatihan model, eksperimen offline, prediksi online hingga eksperimen online bucketisasi lalu lintas dan pengujian.

Metaspore dikembangkan dan dibuka oleh tim Dmetasoul. Anda juga dapat bergabung dengan ruang diskusi pengguna Slack kami.

Fitur Inti

Metaspore memiliki fitur berikut:

1. Pengembangan satu-ke-ujung satu atap, dari pelatihan model offline hingga prediksi online dan percobaan ember, dengan pengalaman pengembangan terpadu di seluruh proses;
2. Kerangka kerja pelatihan pembelajaran mendalam, kompatibel dengan ekologi Pytorch, mendukung pembelajaran fitur jarang berskala besar;
3. Kerangka kerja pelatihan terhubung dengan Pyspark untuk membaca data pelatihan dari danau data dan gudang data;
4. Layanan prediksi online berkinerja tinggi, mendukung inferensi cepat untuk jaringan saraf, pohon keputusan, Spark ML, SKLEARN dan model lainnya; mendukung percepatan inferensi perangkat keras yang heterogen;
5. Dalam kerangka kerja ekstraksi fitur terpadu offline, logika bacaan fitur online dihasilkan secara otomatis, dan logika ekstraksi fitur disatukan cross offline dan online;
6. Kerangka kerja aplikasi algoritma online, memberikan prediksi model, percobaan bucketing dan pemisahan lalu lintas, pemuatan panas yang dinamis dari parameter dan fungsi debug yang kaya;
7. Contoh algoritma industri yang kaya dan solusi ujung ke ujung.

Dokumentasi dan contoh

• Pelatihan Offline Memulai Tutorial

• Aplikasi Algoritma Online (Implementasi Java)

  • Model online melayani
  • Ekstraksi fitur online
  • Pipa Eksperimen Online

• Demo Sistem Rekomendasi End-to-End-to-end Movielens

  • Model offline
  • Aplikasi Algoritma Online (Implementasi Java)

Unduh Paket Instalasi

Paket pelatihan

Kami menyediakan paket roda pelatihan offline yang sudah dikompilasi di PYPI, pasang melalui PIP:

pip install metaspore

Versi python minimum yang diperlukan adalah 3.8.

Setelah instalasi, juga instal Pytorch dan Pyspark (mereka tidak termasuk sebagai depenensi roda Metaspore sehingga Anda dapat memilih versi Pyspark dan Pytorch sesuai kebutuhan):

pip install pyspark
pip install torch==1.11.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html

Paket melayani

Kami menyediakan gambar Docker Prebuilt untuk Layanan Layanan Metaspore:

Gambar hanya CPU

 docker pull dmetasoul/metaspore-serving-release:cpu-v1.0.1

Gambar GPU

 docker pull dmetasoul/metaspore-serving-release:gpu-v1.0.1

Lihat Lari Layanan Melayani di Docker untuk detailnya.

Mengkompilasi kode

• Kompilasi Kerangka Pelatihan Offline

Pedoman Komunitas

Pedoman Komunitas

Masukan

Untuk pertanyaan tentang penggunaan, Anda dapat memposting pertanyaan dalam diskusi GitHub, atau melalui masalah GitHub.

Surat

Email kami di [email protected].

Kendur

Bergabunglah dengan Diskusi Pengguna kami Slack Channel: Diskusi Pengguna Metaspore

Proyek Sumber Terbuka

Metaspore adalah proyek sumber terbuka yang dirilis di bawah Lisensi Apache 2.0. Partisipasi, umpan balik, dan kontribusi kode dipersilakan.