Викунья-LoRA-RLHF-PyTorch

полный конвейер для точной настройки Vicuna LLM с LoRA и RLHF на потребительском оборудовании

Викунья-LoRA-RLHF-PyTorch
- Оглавление
- Настройка среды
- Список дел
- Бегать
  - Скачать Весы Викуньи
  - Контролируемая точная настройка
  - Объединить адаптер PEFT с моделью
  - Модель вознаграждения поездов
  - Объединение адаптера вознаграждения в модель
  - Настройка LM с помощью PPO
- Темы
- Ссылка
- Звездная история
- Пожертвование
- Лицензия

Настройка среды

穷人卡：2080Ti 12G
torch==2.0.0
cuda==11.8

Список дел

Скачать Весы Викуньи
SFT: контролируемая точная настройка
Объединить адаптер с моделью
РЛХФ
- модель вознаграждения за поезд
- тюнинг с RL

Бегать

Скачать Весы Викуньи

python apply_delta.py --base ' decapoda-research/llama-7b-hf ' --target ' ./weights/vicuna-7b ' --delta lmsys/vicuna-7b-delta-v1.1

Контролируемая точная настройка

сначала проверьте src/peft/utils/save_and_load.py. Прокомментируйте только строку 52, чтобы

 # #to_return = {k: v for k, v in to_return.items() if (("lora_" in k and adapter_name in k) or ("bias" in k))}

тогда беги

python supervised_finetune.py --data_path ' ./data/merge_sample.json ' --output_path ' lora-Vicuna ' --model_path ' ./weights/vicuna-7b ' --eval_steps 200 --save_steps 200 --test_size 1

Объединить адаптер PEFT с моделью

сначала проверьте версию peft, если peft не 0.2.0, следует установить peft==0.2.0

pip uninstall peft -y
pip install peft==0.2.0  # 0.3.0.dev0 has many errors

python merge_peft_adapter.py --model_name ' lora-Vicuna '

pip uninstall peft -y
pip install git+https://github.com/huggingface/peft.git # then comments peft/utis/save_and_load.py line 52.

Модель вознаграждения поездов

python train_reward_model.py --model_name ' ./weights/vicuna-7b ' --gradient_accumulation_steps 32 --per_device_train_batch_size 1 --train_subset 100 --eval_subset 10 --local_rank 0 --bf16 False

Объединение адаптера вознаграждения в модель

python merge_peft_adapter.py --model_name ./reward_model_vicuna-7b

Настройка LM с помощью PPO

python tuning_lm_with_rl.py --model_name ' ./lora-Vicuna-adapter-merged ' --reward_model_name ' ./reward_model_vicuna-7b-adapter-merged ' --adafactor False --tokenizer_name ' decapoda-research/llama-7b-hf ' --save_freq 100 --output_max_length 128 --batch_size 1 --gradient_accumulation_steps 1 --batched_gen True --ppo_epochs 1 --seed 0 --learning_rate 1.4e-5 --early_stopping True --output_dir ' ./tuning_llama_rl_checkpoints '

Темы

Вес модели Vicuna отсутствует в хабе HuggingFace, поэтому вам необходимо сначала загрузить ее, запустив скрипты apply_delta.py.
SFT-файл, файл peft代码, src/peft/utils/save_and_load.py , строка 52有这行代码 #to_return = {k: v для k, v в to_return.items() if (("lora_" в k и имя_адаптера в k) или ("bias" в k))}，需要将其注释掉，否则在finetune完之后，保存不了 модель адаптера 的参数。切记！
Файл PEFT, git上安装的是 0.3.0.dev0 版本, merge_peft_adapter的时候有问题,需要切换到peft==0.2.0 (В версии 0.3.0.dev0 используется _get_submodules() 这个函数)
Модель вознаграждения поезда 会发生另一个问题: ValueError: вес находится на мета-устройстве, нам нужно value , которое нужно поставить в 0. 需要参看 Transformer在github 上的最新代码, 我在发现这个问题的时候, 隔天发现在transformer的github上8 小时前才刚刚修复了这个问题。
最后一步，代码上基本是ok的，但是本人只有2080Ti的卡，加载完finetune model之后，再加载Reward model的时候Недостаточно памяти CUDA, не хватает памяти.