lora instruct

??? LoRA-คำสั่ง

พื้นที่เก็บข้อมูลนี้มีโค้ดสำหรับการปรับแต่ง LLM โอเพ่นซอร์สที่อนุญาตโดยละเอียดโดยใช้การปรับอันดับต่ำ (LoRA)

รหัสได้รับการทดสอบโดยใช้ชุดข้อมูล Stanford Alpaca

• เวลาฝึกอบรมโดยประมาณสำหรับการปรับแต่ง RedPajama-INCITE-Base-7B-v0.1 ด้วย RTX 3090 ตัวเดียวและ Stanford Alpaca คือ ~12 ชั่วโมง
• เวลาฝึกอบรมโดยประมาณสำหรับการปรับแต่ง RedPajama-INCITE-Base-7B-v0.1 ด้วย RTX 3090 และ RTX Titan และ Stanford Alpaca อย่างละเอียดคือ ~6.5 ชั่วโมง
• ปัจจุบันรองรับเฉพาะ LoRA Instruct การปรับแต่ง RedPajama-INCITE-Base-7B-v0.1 เท่านั้น

แรงบันดาลใจจากอัลปาก้า-LoRA

โมเดลที่ผ่านการฝึกอบรม

แบบอย่าง	วิ่ง	เวลาการฝึกอบรม	ลิงค์
ลามา 3B
ลามา 7B
ชุดนอนสีแดง 3B		1:44:14
ชุดนอนสีแดง 7B		3:09:58
เอ็มพีที 3บี
MPT 7B
ฟอลคอน 7B

ข้อมูลจำเพาะฮาร์ดแวร์การฝึกอบรม

 Ubuntu 20.04.1 LTS (WSL2)

Driver Version: 531.41
CUDA Version: 12.1
cuDNN version: 8.5.0

การตั้งค่าท้องถิ่น

ติดตั้งการพึ่งพา

poetry install

หากต้องการปรับแต่งโดยใช้ GPU NVidia 2000 series หรือรุ่นก่อนหน้า โปรดแสดงความคิดเห็นในบรรทัดนี้ใน finetune.py

 model = prepare_model_for_int8_training ( model )

การฝึกอบรม ( finetune.py )

ไฟล์นี้มีแอปพลิเคชัน PEFT / LoRA ที่ตรงไปตรงมาเพื่อถอดรหัสเฉพาะโมเดลเท่านั้น รวมถึงโค้ดบางส่วนที่เกี่ยวข้องกับการสร้างและโทเค็นทันที

ตัวอย่างการใช้งาน:

python finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

กระจายการฝึกอบรมด้วย ? เร่งความเร็ว

เราใช้ไลบรารี accelerate ของ HuggingFace สำหรับการฝึกอบรมแบบกระจาย ต่อไปนี้เป็นตัวอย่างสำหรับการฝึกอบรมแบบกระจายกับ GPU สองตัว

• หมายเหตุ: โปรดตั้งค่าตัวแปรสภาพแวดล้อมต่อไปนี้

 export WORLD_SIZE=2
export CUDA_VISIBLE_DEVICES=0,1

torchrun 
    --nproc_per_node=2 
    --master_port=1234 
    finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

อ้างอิง

• LoRA: การปรับเปลี่ยนอันดับต่ำของโมเดลภาษาขนาดใหญ่
• วิธีการปรับพารามิเตอร์แบบละเอียดที่มีประสิทธิภาพ (PEFT) ที่ล้ำสมัย
• Stanford Alpaca: โมเดล LLaMA ที่ทำตามคำแนะนำ
• บทช่วยสอน EMNLP 2022: การปรับแต่งแบบละเอียดอย่างมีประสิทธิภาพแบบโมดูลาร์และพารามิเตอร์สำหรับโมเดล NLP