lora instruct

??‍?? LoRA-指導

此儲存庫包含使用低秩適應 (LoRA) 微調許可型開源 LLM 的程式碼。

程式碼使用斯坦福羊駝資料集進行測試。

• 使用單一 RTX 3090 和史丹佛羊駝微調 RedPajama-INCITE-Base-7B-v0.1 的估計訓練時間約為 12 小時。
• 使用 RTX 3090 和 RTX Titan 以及史丹佛羊駝微調 RedPajama-INCITE-Base-7B-v0.1 的估計訓練時間約為 6.5 小時。
• 目前僅支援 LoRA Instruct 微調 RedPajama-INCITE-Base-7B-v0.1。

靈感來自羊駝-LoRA

訓練有素的模型

模型	跑步	訓練時間	關聯
駱駝3B	⬜
美洲駝7B	⬜
紅色睡衣3B	✅	1:44:14
紅色睡衣7B	✅	3:09:58
MPT 3B	⬜
MPT 7B	⬜
獵鷹7B	✅

培訓硬體規格

 Ubuntu 20.04.1 LTS (WSL2)

Driver Version: 531.41
CUDA Version: 12.1
cuDNN version: 8.5.0

本地設定

安裝依賴項

poetry install

若要使用 NVidia 2000 系列 GPU 或更早版本進行微調，請在finetune.py中註解掉這一行

 model = prepare_model_for_int8_training ( model )

訓練（ finetune.py ）

該檔案包含 PEFT / LoRA 僅解碼模型的簡單應用，以及一些與提示建置和標記化相關的程式碼。

用法範例：

python finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

分散式訓練？加速

我們使用 HuggingFace 的accelerate庫進行分散式訓練。以下是使用兩個 GPU 進行分散式訓練的範例。

• 注意：請設定以下環境變數

 export WORLD_SIZE=2
export CUDA_VISIBLE_DEVICES=0,1

torchrun 
    --nproc_per_node=2 
    --master_port=1234 
    finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

參考

• LoRA：大型語言模型的低階適應
• 最先進的參數高效微調 (PEFT) 方法
• 斯坦福羊駝：遵循指示的 LLaMA 模型
• EMNLP 2022 教學：NLP 模型的模組化與參數高效能微調