Vicuna-LoRA-RLHF-PyTorch

eine vollständige Pipeline zur Feinabstimmung von Vicuna LLM mit LoRA und RLHF auf Consumer-Hardware

Inhaltsverzeichnis

Vicuna-LoRA-RLHF-PyTorch
- Inhaltsverzeichnis
- Umgebungseinrichtung
- Todo-Liste
- Laufen
  - Laden Sie Vicuna-Gewichte herunter
  - Überwachte Feinabstimmung
  - PEFT-Adapter in Modell einbinden
  - Zugbelohnungsmodell
  - Prämienadapter in Modell einbinden
  - Tuning von LM mit PPO
- Themen
- Referenz
- Star-Geschichte
- Spende
- Lizenz

Umgebungseinrichtung

穷人卡：2080Ti 12G
torch==2.0.0
cuda==11.8

Todo-Liste

Laufen

Laden Sie Vicuna-Gewichte herunter

python apply_delta.py --base ' decapoda-research/llama-7b-hf ' --target ' ./weights/vicuna-7b ' --delta lmsys/vicuna-7b-delta-v1.1

Überwachte Feinabstimmung

Überprüfen Sie zuerst src/peft/utils/save_and_load.py. Kommentieren Sie nur die Zeile 52 bis

 # #to_return = {k: v for k, v in to_return.items() if (("lora_" in k and adapter_name in k) or ("bias" in k))}

dann rennen

python supervised_finetune.py --data_path ' ./data/merge_sample.json ' --output_path ' lora-Vicuna ' --model_path ' ./weights/vicuna-7b ' --eval_steps 200 --save_steps 200 --test_size 1

PEFT-Adapter in Modell einbinden

Überprüfen Sie zuerst die Peft-Version. Wenn Peft nicht 0.2.0 ist, sollte Peft==0.2.0 installiert werden

pip uninstall peft -y
pip install peft==0.2.0  # 0.3.0.dev0 has many errors

python merge_peft_adapter.py --model_name ' lora-Vicuna '

pip uninstall peft -y
pip install git+https://github.com/huggingface/peft.git # then comments peft/utis/save_and_load.py line 52.

Zugbelohnungsmodell

python train_reward_model.py --model_name ' ./weights/vicuna-7b ' --gradient_accumulation_steps 32 --per_device_train_batch_size 1 --train_subset 100 --eval_subset 10 --local_rank 0 --bf16 False

Prämienadapter in Modell einbinden

python merge_peft_adapter.py --model_name ./reward_model_vicuna-7b

Tuning von LM mit PPO

python tuning_lm_with_rl.py --model_name ' ./lora-Vicuna-adapter-merged ' --reward_model_name ' ./reward_model_vicuna-7b-adapter-merged ' --adafactor False --tokenizer_name ' decapoda-research/llama-7b-hf ' --save_freq 100 --output_max_length 128 --batch_size 1 --gradient_accumulation_steps 1 --batched_gen True --ppo_epochs 1 --seed 0 --learning_rate 1.4e-5 --early_stopping True --output_dir ' ./tuning_llama_rl_checkpoints '

Themen

Das Gewicht des Vicuna-Modells ist nicht auf dem HuggingFace-Hub verfügbar, daher müssen Sie es zuerst herunterladen, indem Sie apply_delta.py-Skripte ausführen.
SFT hat die Funktion „src/peft/utils/save_and_load.py“ und „src/peft/utils/save_and_load.py“ in Zeile 52 verwendet #to_return = {k: v für k, v in to_return.items() if (("lora_" in k und adapter_name in k) oder ("bias" in k))}完之后,保存不了-Adaptermodell的参数.切记！
PEFT ist die neueste Version von 0.3.0.dev0 und enthält die Datei „merge_peft_adapter“. (0.3.0.dev0 ist eine _get_submodules()-Version)
Zugbelohnungsmodell: ValueError: Das Gewicht befindet sich auf dem Metagerät. Wir benötigen einen value , den wir auf 0 einfügen können. Dieser Transformator wird verwendet在github上的最新代码, 我在发现这个问题的时候, 隔天发现在transformer的github上8小时前才刚刚修复了这个问题.
最后一步, 代码上基本是ok的, 但是本人只有2080Ti的卡, 加载完Finetune-Modell之后, 再加载Reward-Modell的时候直接CUDA Nicht mehr im Gedächtnis.