Simplifine

Sederhanakan

Penyempurnaan LLM Berbasis Cloud Sumber Terbuka yang Super Mudah

Coba di sini

Bergabunglah dengan Perselisihan kami

Dapatkan Kunci API GRATIS untuk FINETUNING DI SINI

Sederhanakan menyederhanakan penyempurnaan LLM pada kumpulan data atau model apa pun dengan satu perintah sederhana, menangani semua infrastruktur, manajemen pekerjaan, penyimpanan cloud, dan inferensi.

Fitur

• Penyempurnaan LLM Berbasis Cloud yang Mudah: Sempurnakan LLM apa pun hanya dengan satu perintah.

• Integrasi Cloud yang Mulus: Secara otomatis mengelola pengunduhan, penyimpanan, dan pengoperasian model langsung dari cloud.

• Bantuan AI Bawaan: Dapatkan bantuan terkait pemilihan hyperparameter, pembuatan kumpulan data sintetis, dan pemeriksaan kualitas data.

• Peralihan Di Perangkat ke Cloud: Tambahkan dekorator sederhana untuk transisi dari pelatihan lokal ke berbasis cloud.

• Optimasi Otomatis: Secara otomatis mengoptimalkan model dan paralelisasi data melalui Deepspeed ✅ dan FDSP ✅.

• Dukungan Evaluasi Khusus: Gunakan LLM bawaan untuk fungsi evaluasi atau impor metrik evaluasi khusus Anda sendiri.

• Dukungan Komunitas: Mengajukan pertanyaan dukungan apa pun tentang Simplifine Community Discord.

• Dipercaya oleh Institusi Terkemuka: Laboratorium penelitian di Universitas Oxford mengandalkan Simplifine untuk kebutuhan penyempurnaan LLM mereka.

---

Mulai cepat

Mulailah di sini >

Dokumentasi

Temukan dokumentasi lengkap kami di docs.simplifine.com.

Instalasi

Menginstal dari PyPI

 pip instal simplifine-alpha

Anda juga dapat langsung menginstal dari github menggunakan perintah berikut:

 pip instal git+https://github.com/simplifine-llm/Simplifine.git

Berkontribusi

Kami mencari kontributor! Bergabunglah dengan thread contributors di Discord kami:

Lisensi

Simplifine dilisensikan di bawah GNU General Public License Versi 3. Lihat file LISENSI untuk lebih jelasnya.

Mendukung

Untuk semua permintaan fitur, bug, dan dukungan, bergabunglah dengan Discord kami!

Jika Anda memiliki saran untuk fitur baru yang ingin Anda terapkan, silakan ajukan masalah—kami akan bekerja keras untuk mewujudkannya secepatnya!

Untuk pertanyaan lainnya, jangan ragu untuk menghubungi kami di [email protected].

Pembaruan

v0.0.8

• ? Perbaikan Bug: Menyederhanakan kode dan menyelesaikan masalah terkait pelatih untuk pengoperasian yang lebih lancar.

• Fitur Baru: Memperkenalkan dukungan untuk mendefinisikan file konfigurasi yang lebih kompleks, meningkatkan fleksibilitas pelatih.

• Dokumentasi: Menambahkan contoh baru, termasuk tutorial tentang pelatihan berbasis cloud dan membuat pendeteksi berita palsu.

• ? Dokumentasi yang Diperbarui: Lihat dokumen terbaru di docs.simplifine.com.

v0.0.71

• ? Perbaikan Bug: Memperbaiki masalah yang menyebabkan kegagalan pemuatan pada konfigurasi tertentu, memastikan kompatibilitas yang lebih luas.

• Fitur Baru: Mengaktifkan instalasi langsung dari Git dan menambahkan dukungan untuk Token API Hugging Face, memungkinkan akses ke model terbatas.

• Dokumentasi: Contoh yang diperbarui untuk mencerminkan fitur terbaru.

Pertimbangan Komputasi Umum

Saat ini kami mendukung DistributedDataParallel (DDP) dan ZeRO dari DeepSpeed.

TL;DR :

• DDP berguna ketika suatu model dapat ditampung dalam memori GPU (termasuk gradien dan status aktivasi).

• ZeRO berguna ketika suatu model memerlukan sharding di beberapa GPU.

Versi Lebih Panjang :

• DDP : Distributed Data Parallel (DDP) membuat replika model pada setiap prosesor (GPU). Misalnya, bayangkan 8 GPU, masing-masing diberi satu titik data—ini akan menghasilkan ukuran batch sebesar 8. Replika model kemudian diperbarui di setiap perangkat. DDP mempercepat pelatihan dengan memparalelkan proses pemberian data. Namun, DDP gagal jika replika tidak dapat muat di memori GPU. Ingat, memori tidak hanya menampung parameter tetapi juga gradien dan status pengoptimal.

• ZeRO : ZeRO adalah pengoptimalan canggih yang dikembangkan oleh DeepSpeed ​​dan hadir dalam berbagai tahap (1, 2, dan 3). Setiap tahapan membagi bagian berbeda dari proses pelatihan (parameter, gradien, dan status aktivasi). Ini sangat berguna jika suatu model tidak dapat memuat memori GPU. ZeRO juga mendukung pembongkaran ke CPU, sehingga memberikan lebih banyak ruang untuk melatih model yang lebih besar.

Contoh Skenario dan Metode Optimasi yang Tepat:

1. Model LLaMA-3-8b dengan presisi 16-bit : Gunakan ZeRO Stage 3 pada 8 A100.

2. Model LLaMA-3-8b dengan adaptor LoRA : Biasanya baik-baik saja dengan DDP pada A100s.

3. GPT-2 dengan presisi 16-bit : Gunakan DDP.

FAQ

Masalah: RuntimeError: Kesalahan saat membuat ekstensi 'cpu_adam' python dev

Kesalahan ini terjadi ketika python-dev tidak diinstal, dan ZeRO menggunakan offload. Untuk mengatasinya, coba:

 # Coba sudo apt-get install python3-dev jika yang berikut ini gagal.apt-get install python-dev # untuk Python 2.x installapt-get install python3-dev # untuk instalasi Python 3.x

Lihat tautan ini