Unduh clearml - Unduh Kode Sumber clearml

clearml

Kode sumber lainnya

v1.16.5 - ClearML

Unduh

CLEAR | ML

ClearML - Rangkaian Alat Auto -Magis untuk merampingkan alur kerja AI Anda
Manajer Eksperimen, MLOPS/LLMOPS dan Manajemen Data

? ClearML is open-source - Leave a star to support the project! ?

Clearml

^{Sebelumnya dikenal sebagai kereta Allegro}

ClearML adalah rangkaian pengembangan dan produksi ML/DL. Ini berisi lima modul utama:

Eksperimen Manajer - Pelacakan Eksperimen Otomagical, Lingkungan dan Hasil
MLOPS / LLMOPS - Solusi Orkestrasi, Otomasi & Pipa untuk pekerjaan ML / DL / Genai (Kubernetes / Cloud / Bare -Metal)
Manajemen Data-Manajemen Data & Solusi Kontrol Versi yang Dapat Dikatakan Terbeda di Top Object-Storage (S3 / GS / AZURE / NAS)
Model-Serving-Solusi Model Layak Model yang Dapat Diukur Cloud !
- Menyebarkan titik akhir model baru dalam waktu kurang dari 5 menit
- Termasuk Dukungan Pelayanan GPU yang dioptimalkan yang didukung oleh NVIDIA-TRITON
- dengan pemantauan model out-of-the-box
Laporan - Buat dan bagikan Dokumen Markdown yang Kaya Mendukung Konten Online Yang Dapat Disembuhkan
Dasbor Orkestrasi - Dasbor Live Rich untuk seluruh kluster komputasi Anda (Cloud / Kubernetes / On -Prem)
BARU ? GPU Fraksional - Berbasis Kontainer, Keterbatasan Memori GPU Level Driver? !!!

Menginstruksikan Komponen-Komponen Ini adalah ClearMl-Server , lihat Hosting Self-Hosting & Gratis

Daftar & Mulailah Menggunakan dalam waktu kurang dari 2 menit

Tutorial yang ramah untuk Anda mulai

Langkah 1 - Manajemen Eksperimen
Langkah 2 - Pengaturan Agen Eksekusi Jarak Jauh
Langkah 3 - Jaraknya menjalankan tugas

Manajemen Eksperimen	Kumpulan data


Orkestrasi	Saluran pipa

Manajer Eksperimen ClearML

Menambahkan hanya 2 baris ke kode Anda memberi Anda yang berikut ini

LOG SETUP EKSPERMEN Lengkap
- Info kontrol sumber lengkap, termasuk perubahan lokal yang tidak berkomitmen
- Lingkungan Eksekusi (termasuk paket & versi spesifik)
- Hyper-parameter
  - argparse /Click /Pythonfire untuk parameter baris perintah dengan nilai yang saat ini digunakan
  - Kamus Parameter Eksplisit
  - TensorFlow mendefinisikan (ABSL-PY)
  - Konfigurasi dan overrides hydra
- File bobot model awal
Eksperimen Penangkapan Otomatis Eksperimen Penuh
- Stdout dan Stderr
- Pemantauan Sumber Daya (Pemanfaatan CPU/GPU, Suhu, IO, Jaringan, dll.)
- Snapshot Model (dengan unggahan otomatis opsional ke Central Storage: Shared Folder, S3, GS, Azure, HTTP)
- Artefacts Log & Store (Folder Bersama, S3, GS, Azure, HTTP)
- Tensorboard/Tensorboardx, metrik, histogram, gambar, sampel audio dan video
- Matplotlib & Seaborn
- Antarmuka Logger ClearML untuk fleksibilitas lengkap.
Dukungan dan integrasi platform yang luas
- Kerangka kerja ML / DL yang didukung: Pytorch (termasuk 'Ignite / Lightning), TensorFlow, Keras, Autokeras, Fastai, XGBoost, LightGBM, Megengine dan Scikit-Learn
- Integrasi yang mulus (termasuk kontrol versi) dengan Jupyter Notebook dan Pycharm Remote Debugging

Mulailah menggunakan ClearML

Daftar gratis ke layanan hosting ClearML (sebagai alternatif, Anda dapat mengatur server Anda sendiri, lihat di sini).
Server Demo ClearML: ClearML tidak lagi menggunakan server demo secara default. Untuk mengaktifkan server demo, atur variabel lingkungan CLEARML_NO_DEFAULT_SERVER=0 . Kredensial tidak diperlukan, tetapi eksperimen yang diluncurkan ke server demo bersifat publik, jadi pastikan untuk tidak meluncurkan eksperimen yang sensitif jika menggunakan server demo.
Instal Paket Python clearml :
```
pip install clearml
```
Hubungkan SDK ClearML ke server dengan membuat kredensial, lalu jalankan perintah di bawah ini dan ikuti instruksi:
```
clearml-init
```

Tambahkan dua baris ke kode Anda:

 from clearml import Task
task = Task . init ( project_name = 'examples' , task_name = 'hello world' )

Dan Anda sudah selesai! Segala sesuatu output proses Anda sekarang secara otomatis masuk ke ClearML.

Langkah selanjutnya, otomatisasi! Pelajari lebih lanjut tentang otomatisasi dua klik ClearML di sini .

Arsitektur ClearML

Komponen run-time ClearML:

Paket ClearML Python - Untuk mengintegrasikan ClearML ke dalam skrip Anda yang ada dengan menambahkan hanya dua baris kode, dan secara opsional memperluas eksperimen Anda dan alur kerja lainnya dengan set kelas dan metode ClearML yang kuat dan serbaguna.
Server ClearML - untuk menyimpan data eksperimen, model, dan alur kerja; Mendukung Web UI Eksperimen Manager dan MLOPS Automation untuk reproduktifitas dan penyetelan. Ini tersedia sebagai layanan yang di -host dan open source bagi Anda untuk menggunakan server ClearML Anda sendiri.
Agen ClearML - untuk orkestrasi MLOPS, percobaan dan reproduktifitas alur kerja, dan skalabilitas.

Modul tambahan

ClearML-Session- Luncurkan Jupyterlab / VScode-Server Remote di dalam Docker apa pun, di mesin cloud / on-prem
ClearML -Task - Jalankan basis kode apa pun pada mesin jarak jauh dengan penebangan jarak jauh dari Tensorboard, Matplotlib & Output Konsol
CLEARML -DATA - CLI untuk mengelola dan versi kumpulan data Anda, termasuk membuat/mengunggah/mengunduh data dari S3/GS/Azure/Nas
AWS Auto -Scaler - Secara otomatis memutar instance EC2 berdasarkan beban kerja Anda dengan anggaran yang telah dikonfigurasi sebelumnya! Tidak perlu untuk Ake!
Hyper-parameter Optimization-Optimalkan kode apa pun dengan pendekatan kotak hitam dan algoritma optimasi Bayesian canggih
Otomation Pipeline - Bangun jalur pipa berdasarkan eksperimen / pekerjaan yang ada, mendukung pembangunan pipa pipa!
Slack Integration - Laporkan Eksperimen Kemajuan / Kegagalan langsung ke Slack (sepenuhnya dapat disesuaikan!)

Mengapa ClearMl?

ClearML adalah solusi kami untuk masalah yang kami bagikan dengan banyak peneliti dan pengembang lain di alam semesta pembelajaran mesin/pembelajaran mendalam: melatih model pembelajaran mendalam tingkat produksi adalah proses yang mulia namun berantakan. ClearML melacak dan mengontrol proses dengan mengaitkan kontrol versi kode, proyek penelitian, metrik kinerja, dan asal model.

Kami merancang ClearML khusus untuk membutuhkan integrasi yang mudah sehingga tim dapat melestarikan metode dan praktik yang ada.

Gunakan setiap hari untuk meningkatkan kolaborasi dan visibilitas di tim Anda
Buat pekerjaan jarak jauh dari percobaan apa pun dengan klik tombol
Mengotomatiskan proses dan membuat pipa untuk mengumpulkan log eksperimen, output, dan data Anda
Simpan semua data Anda pada solusi penyimpanan objek apa pun, dengan antarmuka yang paling mudah
Jadikan data Anda transparan dengan membuat katalog semuanya di platform ClearML

Kami percaya ClearML adalah inovatif. Kami ingin menetapkan standar baru integrasi yang benar -benar mulus antara manajemen eksperimen, MLOP, dan manajemen data.

Siapa kita

ClearML didukung oleh Anda dan tim Clear.ml, yang membantu perusahaan perusahaan membangun MLOPS yang dapat diskalakan.

Kami membangun ClearML untuk melacak dan mengendalikan proses yang mulia namun berantakan dari pelatihan model pembelajaran mendalam tingkat produksi. Kami berkomitmen untuk mendukung dan memperluas kemampuan ClearML dengan penuh semangat.

Kami berjanji untuk selalu kompatibel ke belakang, memastikan semua log, data, dan pipa Anda akan selalu meningkatkan dengan Anda.

Lisensi

Lisensi Apache, Versi 2.0 (lihat lisensi untuk informasi lebih lanjut)

Jika ClearML adalah bagian dari proses pengembangan / proyek / publikasi Anda, silakan kutip kami ❤️:

 @misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/allegroai/clearml},
url={https://clear.ml/},
author = {ClearML},
}

Dokumentasi, Komunitas & Dukungan

Untuk informasi lebih lanjut, lihat dokumentasi resmi dan di YouTube.

Sebagai contoh dan penggunaan kasus, periksa folder contoh dan dokumentasi yang sesuai.

Jika Anda memiliki pertanyaan: Posting di saluran Slack kami, atau beri tag pertanyaan Anda di StackOverflow dengan tag ' ClearMl ' ( tag pelatihan sebelumnya ).

Untuk permintaan fitur atau laporan bug, silakan gunakan masalah GitHub.

Selain itu, Anda selalu dapat menemukan kami di [email protected]