flyte
v1.14.0 milestone release
?
Flyte adalah orkestrator sumber terbuka yang memfasilitasi pembuatan data tingkat produksi dan pipeline ML. Ia dibangun untuk skalabilitas dan reproduktifitas, memanfaatkan Kubernetes sebagai platform dasarnya. Dengan Flyte, tim pengguna dapat membangun pipeline menggunakan Python SDK, dan menerapkannya dengan lancar di lingkungan cloud dan on-premise, sehingga memungkinkan pemrosesan terdistribusi dan pemanfaatan sumber daya yang efisien.
Tulis kode dengan Python atau bahasa lainnya dan manfaatkan mesin tipe yang tangguh.
Baik secara lokal atau di cluster jarak jauh, jalankan model Anda dengan mudah.
pip install flytekitpyflyte run hello_world.py hello_world_wfSiap mencoba kluster Flyte?
flytectl demo startpyflyte run --remote hello_world.py hello_world_wfApakah Anda ingin melihat lebih banyak tetapi tidak ingin menginstal apa pun?
Kunjungi https://sandbox.union.ai/. Ini memungkinkan Anda bereksperimen dengan kemampuan Flyte dari notebook Jupyter yang dihosting.
Siap untuk berproduksi?
Buka Panduan Penerapan untuk instruksi menginstal Flyte di lingkungan yang berbeda
Antarmuka yang diketik dengan kuat : Validasi data Anda di setiap langkah alur kerja dengan menentukan pagar pembatas data menggunakan tipe Flyte.
Bahasa apa pun : Tulis kode dalam bahasa apa pun menggunakan wadah mentah, atau pilih SDK Python, Java, Scala, atau JavaScript untuk mengembangkan alur kerja Flyte Anda.
Kekekalan : Eksekusi yang tidak dapat diubah membantu memastikan reproduktifitas dengan mencegah perubahan apa pun pada status eksekusi.
? Silsilah data : Lacak pergerakan dan transformasi data sepanjang siklus hidup data dan alur kerja ML Anda.
Tugas peta : Mencapai eksekusi kode paralel dengan konfigurasi minimal menggunakan tugas peta.
? Multi-tenancy : Beberapa pengguna dapat berbagi platform yang sama sambil mempertahankan data dan konfigurasi mereka yang berbeda.
? Alur kerja dinamis : Membangun alur kerja yang fleksibel dan mudah beradaptasi yang dapat berubah dan berkembang sesuai kebutuhan, sehingga lebih mudah merespons perubahan kebutuhan.
⏯️ Tunggu masukan eksternal sebelum melanjutkan eksekusi.
? Percabangan : Jalankan cabang alur kerja Anda secara selektif berdasarkan data statis atau dinamis yang dihasilkan oleh tugas lain atau data masukan.
? Visualisasi data : Visualisasikan data, pantau model, dan lihat riwayat pelatihan melalui plot.
FlyteFile & FlyteDirectory : Mentransfer file dan direktori antara penyimpanan lokal dan cloud.
?️ Kumpulan data terstruktur : Konversi kerangka data antar tipe dan terapkan pemeriksaan tipe tingkat kolom menggunakan representasi 2D abstrak yang disediakan oleh Kumpulan Data Terstruktur.
?️ Pulihkan dari kegagalan : Pulihkan hanya tugas yang gagal.
? Jalankan kembali satu tugas : Jalankan kembali alur kerja pada tingkat paling terperinci tanpa mengubah keadaan alur kerja data/ML sebelumnya.
? Keluaran cache : Keluaran tugas cache dengan meneruskan cache=True ke dekorator tugas.
Pos pemeriksaan intra-tugas : Pos pemeriksaan kemajuan dalam pelaksanaan tugas.
⏰ Timeout : Menentukan periode waktu habis, setelah itu tugas ditandai sebagai gagal.
? Dev to prod : Sesederhana mengubah domain Anda dari pengembangan atau pementasan ke produksi.
? Instans spot atau preemptible : Jadwalkan alur kerja Anda pada instans spot dengan menyetel interruptible ke True di dekorator tugas.
☁️ Penerapan cloud-native : Terapkan Flyte di AWS, GCP, Azure, dan layanan cloud lainnya.
? Penjadwalan : Jadwalkan data dan alur kerja ML Anda untuk dijalankan pada waktu tertentu.
? Notifikasi : Tetap terinformasi tentang perubahan status alur kerja Anda dengan mengonfigurasi notifikasi melalui Slack, PagerDuty, atau email.
⌛️ Tampilan garis waktu : Evaluasi durasi setiap tugas Flyte Anda dan identifikasi potensi kemacetan.
? Akselerasi GPU : Mengaktifkan dan mengontrol permintaan GPU tugas Anda dengan meminta sumber daya di dekorator tugas.
? Isolasi ketergantungan melalui kontainer : Pertahankan kumpulan dependensi terpisah untuk tugas Anda sehingga tidak ada konflik ketergantungan yang muncul.
? Paralelisme : Tugas Flyte pada dasarnya bersifat paralel untuk mengoptimalkan konsumsi sumber daya dan meningkatkan kinerja.
? Alokasikan sumber daya secara dinamis pada tingkat tugas.
Bergabunglah dengan LinkedIn, Spotify, Freenome, Pachama, Warner Bros. dan banyak lainnya dalam mengadopsi Flyte untuk kasus penggunaan yang sangat penting. Untuk daftar lengkap pengadopsi dan informasi tentang cara menambahkan organisasi atau proyek Anda, silakan kunjungi halaman ADOPTER kami.
Sinkronisasi komunitas bulanan: Diselenggarakan pada hari Selasa pertama setiap bulan, di sinilah tim Flyte memberikan pembaruan mengenai proyek, dan anggota komunitas dapat berbagi kemajuan mereka dan mengajukan pertanyaan.
Slack: Bergabunglah dengan komunitas Flyte di Slack untuk mengobrol dengan pengguna lain, mengajukan pertanyaan, dan mendapatkan bantuan.
? Youtube: Saksikan diskusi panel, kisah sukses pelanggan, pembaruan komunitas, dan penjelasan mendalam tentang fitur tersebut.
? Blog: Di sini, Anda dapat menemukan tutorial dan fitur penyelaman mendalam untuk membantu Anda mempelajari lebih lanjut tentang Flyte.
RFC: RFC digunakan untuk mengusulkan ide dan fitur baru guna meningkatkan Flyte. Anda dapat merujuk mereka untuk terus mengetahui perkembangan terkini dan berkontribusi pada pertumbuhan platform.
Ada banyak cara untuk terlibat dalam Flyte, antara lain:
help wanted atau good-first-issue dan mengikuti panduan KONTRIBUSI untuk mengirimkan perubahan ke basis kode.Flyte tersedia di bawah Lisensi Apache 2.0. Gunakan dengan bijak.
