lora instruct

?‍?? Instrucción LoRA

Este repositorio contiene código para ajustar los LLM de código abierto permisivos mediante adaptación de bajo rango (LoRA).

El código se prueba utilizando el conjunto de datos Stanford Alpaca.

• El tiempo de entrenamiento estimado para ajustar RedPajama-INCITE-Base-7B-v0.1 con un solo RTX 3090 y Stanford Alpaca es de aproximadamente 12 horas.
• El tiempo de entrenamiento estimado para ajustar RedPajama-INCITE-Base-7B-v0.1 con RTX 3090 y RTX Titan y Stanford Alpaca es de aproximadamente 6,5 horas.
• Actualmente solo admite el ajuste fino de LoRA Instruct RedPajama-INCITE-Base-7B-v0.1.

Inspirado en Alpaca-LoRA

Modelos entrenados

Modelo	Corre	Tiempo de entrenamiento	Enlace
Llama 3B	⬜
LLAMA 7B	⬜
Pijama Rojo 3B	✅	1:44:14
Pijama Rojo 7B	✅	3:09:58
MPT 3B	⬜
MPT 7B	⬜
Halcón 7B	✅

Especificaciones del hardware de capacitación

 Ubuntu 20.04.1 LTS (WSL2)

Driver Version: 531.41
CUDA Version: 12.1
cuDNN version: 8.5.0

Configuración local

Instalar dependencias

poetry install

Para realizar ajustes con la GPU de la serie NVidia 2000 o anterior, comente esta línea en finetune.py

 model = prepare_model_for_int8_training ( model )

Entrenamiento ( finetune.py )

Este archivo contiene una aplicación sencilla de PEFT/LoRA al modelo de solo decodificador, así como código relacionado con la construcción rápida y la tokenización.

Uso de ejemplo:

python finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

Entrenamiento distribuido con ? Acelerar

Utilizamos la biblioteca accelerate de HuggingFace para la capacitación distribuida. El siguiente es un ejemplo de entrenamiento distribuido con dos GPU.

• NOTA: establezca las siguientes variables de entorno

 export WORLD_SIZE=2
export CUDA_VISIBLE_DEVICES=0,1

torchrun 
    --nproc_per_node=2 
    --master_port=1234 
    finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

Referencias

• LoRA: adaptación de bajo rango de modelos de lenguaje grandes
• Métodos de ajuste fino con eficiencia de parámetros (PEFT) de última generación
• Stanford Alpaca: un modelo LLaMA que sigue instrucciones
• Tutorial EMNLP 2022: Ajuste modular y eficiente en parámetros para modelos de PNL