Unduhan EasyLM - Unduhan kode sumber EasyLM

EasyLM

Kode Sumber AI

1.0.0

Unduh

MudahLM

Model bahasa besar (LLM) menjadi mudah, EasyLM adalah solusi terpadu untuk pra-pelatihan, penyesuaian, evaluasi, dan penyajian LLM di JAX/Flax. EasyLM dapat meningkatkan pelatihan LLM ke ratusan akselerator TPU/GPU dengan memanfaatkan fungsionalitas pjit JAX.

Dibangun di atas transformator dan kumpulan data Hugginface, repo ini menyediakan basis kode yang mudah digunakan dan disesuaikan untuk melatih model bahasa besar tanpa kerumitan di banyak kerangka kerja lainnya.

EasyLM dibuat dengan JAX/Flax. Dengan memanfaatkan utilitas pjit JAX, EasyLM mampu melatih model besar yang tidak muat pada satu akselerator dengan membagi bobot model dan data pelatihan ke beberapa akselerator. Saat ini, EasyLM mendukung beberapa pelatihan TPU/GPU dalam satu host serta pelatihan multi-host di Google Cloud TPU Pods.

Saat ini, model berikut ini didukung:

LLaMA
LLaMA 2
LLaMA 3

Server Perselisihan

Kami menjalankan komunitas Discord tidak resmi (tidak terafiliasi dengan Google) untuk diskusi terkait pelatihan LLM di JAX. Ikuti tautan ini untuk bergabung dengan server Discord. Kami memiliki saluran khusus untuk beberapa kerangka LLM berbasis JAX, termasuk EasyLM, JaxSeq, Alpa dan Levanter.

Model Dilatih dengan EasyLM

BukaLLaMA

OpenLLaMA adalah reproduksi LLaMA kami yang berlisensi permisif dan dapat digunakan untuk tujuan komersial. Lihat halaman utama proyek di sini. OpenLLaMA dapat berfungsi sebagai pengganti bobot LLaMA di EasyLM. Silakan merujuk ke dokumentasi LLaMA untuk lebih jelasnya.

Koala

Koala adalah chatbot baru kami yang disempurnakan di atas LLaMA. Jika Anda tertarik dengan chatbot Koala kami, Anda dapat melihat postingan blog dan dokumentasi untuk menjalankannya secara lokal.

Instalasi

Metode instalasi berbeda antara host GPU dan host Cloud TPU. Langkah pertama adalah menarik dari GitHub.

git clone https://github.com/young-geng/EasyLM.git
cd EasyLM
export PYTHONPATH= " ${PWD} : $PYTHONPATH "

Menginstal pada Host GPU

Lingkungan GPU dapat diinstal melalui Anaconda.

conda env create -f scripts/gpu_environment.yml
conda activate EasyLM

Menginstal di Cloud TPU Host

VM host TPU dilengkapi dengan Python dan PIP yang sudah diinstal sebelumnya. Cukup jalankan skrip berikut untuk menyiapkan host TPU.

./scripts/tpu_vm_setup.sh

Dokumentasi

Dokumentasi EasyLM dapat ditemukan di direktori docs.

Referensi

Jika menurut Anda EasyLM berguna dalam penelitian atau aplikasi Anda, silakan mengutip menggunakan BibTeX berikut:

 @software{geng2023easylm,
  author = {Geng, Xinyang},
  title = {EasyLM: A Simple And Scalable Training Framework for Large Language Models},
  month = March,
  year = 2023,
  url = {https://github.com/young-geng/EasyLM}
}