lora instruct

?‍?? Instrução LoRA

Este repositório contém código para ajuste fino de LLMs de código aberto permissivos usando adaptação de baixa classificação (LoRA).

O código é testado usando o conjunto de dados Stanford Alpaca.

• O tempo estimado de treinamento para o ajuste fino do RedPajama-INCITE-Base-7B-v0.1 com um único RTX 3090 e Stanford Alpaca é de aproximadamente 12 horas.
• O tempo estimado de treinamento para o ajuste fino do RedPajama-INCITE-Base-7B-v0.1 com RTX 3090 e RTX Titan e Stanford Alpaca é de aproximadamente 6,5 horas.
• Atualmente suporta apenas o ajuste fino do LoRA Instruct RedPajama-INCITE-Base-7B-v0.1.

Inspirado em Alpaca-LoRA

Modelos treinados

Modelo	Corre	Tempo de treinamento	Link
LLaMA 3B	⬜
LLaMA 7B	⬜
VermelhoPijama 3B	✅	1:44:14
VermelhoPijama 7B	✅	3:09:58
MPT 3B	⬜
MPT 7B	⬜
Falcão 7B	✅

Especificações de hardware de treinamento

 Ubuntu 20.04.1 LTS (WSL2)

Driver Version: 531.41
CUDA Version: 12.1
cuDNN version: 8.5.0

Configuração local

Instalar dependências

poetry install

Para fazer o ajuste fino usando a GPU da série NVidia 2000 ou anterior, comente esta linha em finetune.py

 model = prepare_model_for_int8_training ( model )

Treinamento ( finetune.py )

Este arquivo contém uma aplicação direta de PEFT/LoRA para o modelo somente decodificador, bem como algum código relacionado à construção de prompt e tokenização.

Exemplo de uso:

python finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

Treinamento Distribuído com ? Acelerar

Usamos a biblioteca accelerate do HuggingFace para treinamento distribuído. A seguir está um exemplo de treinamento distribuído com duas GPUs.

• NOTA: defina as seguintes variáveis ​​de ambiente

 export WORLD_SIZE=2
export CUDA_VISIBLE_DEVICES=0,1

torchrun 
    --nproc_per_node=2 
    --master_port=1234 
    finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

Referências

• LoRA: adaptação de baixo nível de modelos de linguagem grande
• Métodos de última geração de ajuste fino com eficiência de parâmetros (PEFT)
• Stanford Alpaca: um modelo LLaMA que segue instruções
• Tutorial EMNLP 2022: Ajuste fino modular e com eficiência de parâmetros para modelos de PNL