lora instruct

?‍?? ЛоРА-Инструкт

Этот репозиторий содержит код для тонкой настройки разрешительных LLM с открытым исходным кодом с использованием низкоранговой адаптации (LoRA).

Код протестирован с использованием набора данных Stanford Alpaca.

• Ориентировочное время обучения для точной настройки RedPajama-INCITE-Base-7B-v0.1 с одним RTX 3090 и Stanford Alpaca составляет ~12 часов.
• Ориентировочное время обучения для тонкой настройки RedPajama-INCITE-Base-7B-v0.1 с RTX 3090, RTX Titan и Stanford Alpaca составляет ~6,5 часов.
• В настоящее время поддерживается только тонкая настройка LoRA Instruct RedPajama-INCITE-Base-7B-v0.1.

Вдохновлен Альпакой-Лора

Обученные модели

Модель	Бежит	Время обучения	Связь
ЛЛАМА 3Б	⬜
ЛЛАМА 7Б	⬜
Красная Пижама 3Б	✅	1:44:14
Красная Пижама 7Б	✅	3:09:58
МПТ 3Б	⬜
МПТ 7Б	⬜
Сокол 7Б	✅

Спецификация учебного оборудования

 Ubuntu 20.04.1 LTS (WSL2)

Driver Version: 531.41
CUDA Version: 12.1
cuDNN version: 8.5.0

Локальная установка

Установить зависимости

poetry install

Для точной настройки с использованием графического процессора NVidia серии 2000 или более ранней версии закомментируйте эту строку в finetune.py

 model = prepare_model_for_int8_training ( model )

Обучение ( finetune.py )

Этот файл содержит простое применение PEFT/LoRA для модели только декодера, а также некоторый код, связанный с созданием подсказок и токенизацией.

Пример использования:

python finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

Распределенное обучение с? Ускорение

Мы используем библиотеку accelerate HuggingFace для распределенного обучения. Ниже приведен пример распределенного обучения с двумя графическими процессорами.

• ПРИМЕЧАНИЕ. установите следующие переменные среды.

 export WORLD_SIZE=2
export CUDA_VISIBLE_DEVICES=0,1

torchrun 
    --nproc_per_node=2 
    --master_port=1234 
    finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

Ссылки

• LoRA: низкоранговая адаптация больших языковых моделей
• Современные методы точной настройки параметров (PEFT)
• Стэнфордская альпака: модель LLaMA, выполняющая инструкции
• Учебное пособие EMNLP 2022: модульная и эффективная точная настройка моделей НЛП