lora instruct

?‍?? LoRA-Instruksikan

Repositori ini berisi kode untuk menyempurnakan LLM sumber terbuka permisif menggunakan adaptasi peringkat rendah (LoRA).

Kode diuji menggunakan dataset Stanford Alpaca.

• Perkiraan waktu pelatihan untuk menyempurnakan RedPajama-INCITE-Base-7B-v0.1 dengan satu RTX 3090 dan Stanford Alpaca adalah ~12 jam.
• Perkiraan waktu pelatihan untuk menyempurnakan RedPajama-INCITE-Base-7B-v0.1 dengan RTX 3090 dan RTX Titan serta Stanford Alpaca adalah ~6,5 jam.
• Saat ini hanya mendukung LoRA Instruct fine-tuning RedPajama-INCITE-Base-7B-v0.1.

Terinspirasi oleh Alpaca-LoRA

Model Terlatih

Model	Berjalan	Waktu Pelatihan	Link
LLaMA 3B	⬜
LLaMA 7B	⬜
Piyama Merah 3B	✅	1:44:14
Piyama Merah 7B	✅	3:09:58
MPT 3B	⬜
MPT 7B	⬜
Elang 7B	✅

Spesifikasi Perangkat Keras Pelatihan

 Ubuntu 20.04.1 LTS (WSL2)

Driver Version: 531.41
CUDA Version: 12.1
cuDNN version: 8.5.0

Pengaturan Lokal

Instal dependensi

poetry install

Untuk menyempurnakan penggunaan GPU seri NVidia 2000 atau versi lebih lama, silakan beri komentar pada baris ini di finetune.py

 model = prepare_model_for_int8_training ( model )

Pelatihan ( finetune.py )

File ini berisi aplikasi langsung PEFT / LoRA ke model dekoder saja, serta beberapa kode yang terkait dengan konstruksi cepat dan tokenisasi.

Contoh penggunaan:

python finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

Pelatihan Terdistribusi dengan? Mempercepat

Kami menggunakan perpustakaan accelerate HuggingFace untuk pelatihan terdistribusi. Berikut ini contoh pelatihan terdistribusi dengan dua GPU.

• CATATAN: harap atur variabel lingkungan berikut

 export WORLD_SIZE=2
export CUDA_VISIBLE_DEVICES=0,1

torchrun 
    --nproc_per_node=2 
    --master_port=1234 
    finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

Referensi

• LoRA: Adaptasi Model Bahasa Besar Tingkat Rendah
• Metode Penyempurnaan Efisien Parameter (PEFT) yang canggih
• Stanford Alpaca: Model LLaMA yang mengikuti Instruksi
• Tutorial EMNLP 2022: Penyempurnaan Modular dan Efisien Parameter untuk Model NLP