lora instruct

??‍?? LoRA-指导

该存储库包含使用低秩适应 (LoRA) 微调许可型开源 LLM 的代码。

代码使用斯坦福羊驼数据集进行测试。

• 使用单个 RTX 3090 和斯坦福羊驼微调 RedPajama-INCITE-Base-7B-v0.1 的估计训练时间约为 12 小时。
• 使用 RTX 3090 和 RTX Titan 以及斯坦福羊驼微调 RedPajama-INCITE-Base-7B-v0.1 的估计训练时间约为 6.5 小时。
• 目前仅支持 LoRA Instruct 微调 RedPajama-INCITE-Base-7B-v0.1。

灵感来自羊驼-LoRA

训练有素的模型

模型	跑步	训练时间	关联
骆驼3B	⬜
美洲驼7B	⬜
红色睡衣3B	✅	1:44:14
红色睡衣7B	✅	3:09:58
MPT 3B	⬜
MPT 7B	⬜
猎鹰7B	✅

培训硬件规格

 Ubuntu 20.04.1 LTS (WSL2)

Driver Version: 531.41
CUDA Version: 12.1
cuDNN version: 8.5.0

本地设置

安装依赖项

poetry install

要使用 NVidia 2000 系列 GPU 或更早版本进行微调，请在finetune.py中注释掉这一行

 model = prepare_model_for_int8_training ( model )

训练（ finetune.py ）

该文件包含 PEFT / LoRA 仅解码模型的简单应用，以及一些与提示构建和标记化相关的代码。

用法示例：

python finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

分布式训练？加速

我们使用 HuggingFace 的accelerate库进行分布式训练。以下是使用两个 GPU 进行分布式训练的示例。

• 注意：请设置以下环境变量

 export WORLD_SIZE=2
export CUDA_VISIBLE_DEVICES=0,1

torchrun 
    --nproc_per_node=2 
    --master_port=1234 
    finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

参考

• LoRA：大型语言模型的低阶适应
• 最先进的参数高效微调 (PEFT) 方法
• 斯坦福羊驼：遵循指令的 LLaMA 模型
• EMNLP 2022 教程：NLP 模型的模块化和参数高效微调