Peluncur Kerangka NeMo

Peluncur Kerangka NeMo

Penting

NeMo Framework Launcher hanya kompatibel dengan NeMo versi 1.0.

NeMo Framework Launcher adalah alat cloud-native untuk meluncurkan tugas pelatihan NeMo Framework secara menyeluruh.

Silakan merujuk ke Panduan Peluncur NeMo untuk informasi lebih lanjut.

Kerangka NeMo berfokus pada pelatihan model dasar untuk model AI generatif. Pra-pelatihan model bahasa besar (LLM) biasanya memerlukan banyak komputasi dan paralelisme model untuk menskalakan pelatihan secara efisien. NeMo Framework mencakup teknik pelatihan skala besar terbaru termasuk:

• Paralelisme model
  • Tensor
  • Saluran pipa
  • Urutan
• Pengoptimal Terdistribusi
• Pelatihan presisi campuran
  • FP8
  • BF16
• Pos Pemeriksaan Terdistribusi
• Model Komunitas
  • LLAMA-2

Pelatihan model NeMo Framework berskala hingga 1000 GPU dan dapat digunakan untuk melatih LLM pada triliunan token.

Peluncur dirancang sebagai alat yang sederhana dan mudah digunakan untuk meluncurkan tugas pelatihan NeMo FW di CSP atau klaster lokal. Peluncur biasanya digunakan dari node kepala dan hanya memerlukan instalasi python minimal.

Peluncur akan menghasilkan dan meluncurkan skrip pengiriman untuk penjadwal cluster dan juga akan mengatur dan menyimpan hasil pekerjaan. File konfigurasi yang diuji disertakan dengan peluncur tetapi apa pun dalam file konfigurasi dapat dengan mudah dimodifikasi oleh pengguna.

Peluncur NeMo FW diuji dengan Kontainer NeMo FW yang dapat diterapkan di sini. Akses otomatis. Pengguna juga dapat dengan mudah mengonfigurasi peluncur untuk menggunakan gambar kontainer apa pun yang ingin mereka sediakan.

Peluncur NeMo FW mendukung:

• Penyiapan dan konfigurasi cluster
• Pengunduhan, kurasi, dan pemrosesan data
• Konfigurasi paralel model
• Pelatihan model
• Penyempurnaan model (SFT dan PEFT)
• Evaluasi model
• Ekspor dan penerapan model

Beberapa model yang kami dukung antara lain:

• GPT
  • Pra-pelatihan, Penyempurnaan, SFT, PEFT
• BERT
• T5/MT5
  • PEFT, MoE (non-ahli)

Lihat Matriks Fitur untuk lebih jelasnya.

Instalasi

NeMo Framework Launcher harus diinstal pada node kepala atau mesin lokal di lingkungan python virtual.

git clone https://github.com/NVIDIA/NeMo-Framework-Launcher.git
cd NeMo-Framework-Launcher
pip install -r requirements.txt

Penggunaan

Cara terbaik untuk memulai dengan NeMo Framework Launcher adalah melalui NeMo Framework Playbooks

Setelah semuanya dikonfigurasi di file .yaml , Peluncur dapat dijalankan dengan:

python main.py

Karena Peluncur menggunakan Hydra, konfigurasi apa pun dapat diganti langsung di file .yaml atau melalui baris perintah. Lihat tata bahasa override Hydra untuk informasi lebih lanjut.

Berkontribusi

Kontribusi dipersilakan!

Untuk berkontribusi pada NeMo Framework Launcher, cukup buat permintaan tarik dengan perubahan di GitHub. Setelah pull request ditinjau oleh Developer NeMo FW, disetujui, dan lulus pengujian unit dan CI, maka pull request tersebut akan digabungkan.

Lisensi

NeMo Framework Launcher dilisensikan di bawah Lisensi Apache 2.0