hopsworks
3.7.0
Hopsworks adalah platform data untuk ML dengan kemampuan fitur dan kemampuan MLOP yang berpusat pada Python . Hopsworks adalah platform modular. Anda dapat menggunakannya sebagai toko fitur mandiri, Anda dapat menggunakannya untuk mengelola, mengatur, dan melayani model Anda, dan Anda bahkan dapat menggunakannya untuk mengembangkan dan mengoperasikan pipa fitur dan pipa pelatihan. Hopsworks membawa kolaborasi untuk tim ML, menyediakan platform yang aman dan diatur untuk mengembangkan, mengelola, dan berbagi aset ML - fitur, model, data pelatihan, data penilaian batch, log, dan banyak lagi.
Hopsworks tersedia sebagai aplikasi tanpa server, cukup menuju ke app.hopsworks.ai dan mendaftar dengan akun gmail atau github Anda. Anda kemudian dapat menjalankan tutorial atau mengakses Hopsworks secara langsung dan mencoba diri Anda sendiri. Ini adalah cara yang lebih disukai untuk pertama kali mengalami platform sebelum menyelam ke penggunaan yang lebih maju dan persyaratan pemasangan.
Managed Hopsworks adalah platform kami untuk menjalankan Hopsworks dan toko fitur di cloud dan terintegrasi langsung dengan lingkungan AWS/Azure/GCP pelanggan. Ini juga terintegrasi mulus dengan platform pihak ketiga seperti databricks, Sagemaker dan Kubeflow.
Jika Anda ingin menjalankan Hopsworks di lingkungan Azure, AWS atau GCP Anda, ikuti salah satu panduan berikut dalam dokumentasi kami:
Panduan AWS
Panduan Azure
Panduan GCP
Dimungkinkan untuk menggunakan Hopsworks di tempat, yang berarti bahwa perusahaan dapat menjalankan beban kerja mesin mereka pada perangkat keras dan infrastruktur mereka sendiri, daripada mengandalkan penyedia cloud. Ini dapat memberikan fleksibilitas, kontrol, dan penghematan biaya yang lebih besar, serta memungkinkan perusahaan untuk memenuhi persyaratan kepatuhan dan keamanan tertentu.
Bekerja di tempat dengan Hopsworks biasanya melibatkan kolaborasi dengan tim teknik Hopsworks, karena setiap infrastruktur unik dan membutuhkan pendekatan yang disesuaikan untuk penyebaran dan konfigurasi. Proses dimulai dengan penilaian infrastruktur dan persyaratan perusahaan yang ada, termasuk topologi jaringan, kebijakan keamanan, dan spesifikasi perangkat keras.
Untuk perincian lebih lanjut tentang instalasi di tempat: hubungi kami.
Anda membutuhkan setidaknya satu server atau mesin virtual di mana Hopsworks akan diinstal dengan setidaknya spesifikasi berikut:
Centos/rhel 8.x atau ubuntu 22.04;
setidaknya 32GB RAM,
setidaknya 8 cpus,
100 GB Ruang Hard-Disk Gratis,
Akun pengguna UNIX dengan hak istimewa sudo.
Dokumentasi Hopsworks termasuk panduan pengguna, dokumentasi toko fitur dan panduan administrasi. Kami juga menyertakan konsep untuk membantu pengguna menavigasi abstraksi dan logika toko fitur dan MLOP secara umum:
Toko Fitur: https://docs.hopsworks.ai/3.0/concepts/fs/
Proyek: https://docs.hopsworks.ai/3.0/concepts/projects/governance/
MLOPS: https://docs.hopsworks.ai/3.0/concepts/mlops/prediction_services/
Dokumentasi API Hopsworks dibagi dalam 3 kategori; API Hopsworks mencakup API tingkat proyek, fitur toko mencakup grup fitur, tampilan fitur dan konektor, dan akhirnya MLOPS API mencakup registri model, melayani dan penyebaran.
Hopsworks API - https://docs.hopsworks.ai/hopsworks-api/3.0.1/generated/api/connection/
Fitur Toko API -https://docs.hopsworks.ai/feature-store-api/3.0.0/generated/api/connection_api/
MLOPS API -https://docs.hopsworks.ai/machine-learning-api/3.0.0/generated/connection_api/
Sebagian besar tutorial mengharuskan Anda memiliki setidaknya akun di app.hopsworks.ai. Anda dapat menjelajahi https://github.com/logicalclocks/hopsworks-tutorials Repositori yang berisi tutorial kami atau melompat langsung di salah satu kasus penggunaan yang ada:
Fraud (batch): https://github.com/Logicalclocks/hopsworks-tutorials/tree/master/fraud_batch
Fraud (Online): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_online
Prediksi churn https://github.com/logicalclocks/hopsworks-tutorials/tree/master/churn
Hopsworks menyediakan proyek sebagai kotak pasir yang aman di mana tim dapat berkolaborasi dan berbagi aset ML. Model proyek multi-penyewa yang unik dari Hopsworks bahkan memungkinkan data sensitif untuk disimpan dalam cluster bersama, sambil tetap memberikan kemampuan berbagi berbutir halus untuk aset ML di seluruh batas proyek. Proyek dapat digunakan untuk menyusun tim sehingga mereka memiliki tanggung jawab ujung ke ujung dari data mentah hingga fitur dan model yang dikelola. Proyek juga dapat digunakan untuk menciptakan lingkungan pengembangan, pementasan, dan produksi untuk tim data. Semua aset ML mendukung versi, garis keturunan, dan asal -usul memberikan semua pengguna Hopsworks tampilan lengkap tentang siklus hidup MLOPS, dari rekayasa fitur hingga pemudaran model.
Hopsworks menyediakan alat pengembangan untuk ilmu data, termasuk lingkungan Conda untuk Python, buku catatan Jupyter, pekerjaan, atau bahkan buku catatan sebagai pekerjaan. Anda dapat membangun jalur pipa produksi dengan aliran udara yang dibundel, dan bahkan menjalankan pipa pelatihan ML dengan GPU di buku catatan di aliran udara. Anda dapat melatih model pada sebanyak mungkin GPU yang diinstal dalam cluster Hopsworks dan dengan mudah membaginya di antara pengguna. Anda juga dapat menjalankan program Spark, Spark Streaming, atau Flink di Hopsworks, dengan dukungan untuk pekerja elastis di cloud (menambah/menghapus pekerja secara dinamis).
Hopsworks tersedia sebagai platform yang dikelola di Cloud on AWS, Azure, dan GCP, dan dapat diinstal pada mesin virtual berbasis Linux (kompatibel Ubuntu/RedHat), bahkan di pusat data yang dikepung udara. Hopsworks juga tersedia sebagai platform tanpa server yang mengelola dan melayani fitur dan model Anda.
Kami sedang membangun platform ML paling lengkap dan modular yang tersedia di pasar, dan kami mengandalkan dukungan Anda untuk terus meningkatkan Hopsworks. Jangan ragu untuk memberi kami saran, melaporkan bug dan menambahkan fitur ke perpustakaan kami kapan saja.
Ajukan pertanyaan dan beri kami umpan balik di komunitas Hopsworks
Bergabunglah dengan Saluran Slack Publik kami
Ikuti kami di Twitter
Lihat semua rilis produk terbaru kami
Hopsworks tersedia di bawah lisensi AGPL-V3 . Dalam bahasa Inggris yang sederhana ini berarti Anda bebas menggunakan Hopsworks dan bahkan membangun layanan berbayar di atasnya, tetapi jika Anda memodifikasi kode sumber, Anda juga harus merilis kembali perubahan Anda dan sistem apa pun yang dibangun di sekitarnya sebagai AGPL-V3.
