ビクーニャ-LoRA-RLHF-PyTorch

消費者向けハードウェアで LoRA および RLHF を使用して Vicuna LLM を微調整するための完全なパイプライン

ビクーニャ-LoRA-RLHF-PyTorch
- 目次
- 環境設定
- Todoリスト
- 走る
  - ビクーニャウェイトをダウンロード
  - Finetune 監修
  - PEFT アダプターをモデルにマージする
  - 報酬モデルを訓練する
  - 報酬アダプターをモデルにマージ
  - PPO を使用した LM のチューニング
- トピックス
- 参照
- スターの歴史
- 寄付
- ライセンス

環境設定

穷人卡：2080Ti 12G
torch==2.0.0
cuda==11.8

Todoリスト

ビクーニャウェイトをダウンロード
SFT: 監修済み Finetune
アダプターをモデルにマージ
RLHF
- 報酬モデルを訓練する
- RLによるチューニング

走る

ビクーニャウェイトをダウンロード

python apply_delta.py --base ' decapoda-research/llama-7b-hf ' --target ' ./weights/vicuna-7b ' --delta lmsys/vicuna-7b-delta-v1.1

Finetune 監修

最初にsrc/peft/utils/save_and_load.pyを確認してください。行 52 のみをコメント化してください。

 # #to_return = {k: v for k, v in to_return.items() if (("lora_" in k and adapter_name in k) or ("bias" in k))}

それから走ります

python supervised_finetune.py --data_path ' ./data/merge_sample.json ' --output_path ' lora-Vicuna ' --model_path ' ./weights/vicuna-7b ' --eval_steps 200 --save_steps 200 --test_size 1

PEFT アダプターをモデルにマージする

まず peft のバージョンを確認してください。peft が 0.2.0 でない場合は、peft==0.2.0 をインストールする必要があります。

pip uninstall peft -y
pip install peft==0.2.0  # 0.3.0.dev0 has many errors

python merge_peft_adapter.py --model_name ' lora-Vicuna '

pip uninstall peft -y
pip install git+https://github.com/huggingface/peft.git # then comments peft/utis/save_and_load.py line 52.

報酬モデルを訓練する

python train_reward_model.py --model_name ' ./weights/vicuna-7b ' --gradient_accumulation_steps 32 --per_device_train_batch_size 1 --train_subset 100 --eval_subset 10 --local_rank 0 --bf16 False

報酬アダプターをモデルにマージ

python merge_peft_adapter.py --model_name ./reward_model_vicuna-7b

PPO を使用した LM のチューニング

python tuning_lm_with_rl.py --model_name ' ./lora-Vicuna-adapter-merged ' --reward_model_name ' ./reward_model_vicuna-7b-adapter-merged ' --adafactor False --tokenizer_name ' decapoda-research/llama-7b-hf ' --save_freq 100 --output_max_length 128 --batch_size 1 --gradient_accumulation_steps 1 --batched_gen True --ppo_epochs 1 --seed 0 --learning_rate 1.4e-5 --early_stopping True --output_dir ' ./tuning_llama_rl_checkpoints '

トピックス

Vicuna モデルの重みは HuggingFace ハブにないため、最初に apply_delta.py スクリプトを実行してダウンロードする必要があります。
SFT の前に、注意事項があり、インストールが必要です。 src/peft/utils/save_and_load.py 、行 52 にこの行代コードがある場合 #to_return = {k: v for k, v in to_return.items( ) if ((k の「lora_」および k のアダプター名) または (k の「bias」 k))}、これを登録する必要がありますが、微調整が完了した後、アダプターモデルのパラメータは保持されません。
PEFT のバージョン、現在 git 上にインストールされているのは 0.3.0.dev0 バージョンです。merge_peft_adapter の時点では問題があり、peft==0.2.0 (0.3.0.dev0 には _get_submodules() この関数がありません) に切り替える必要があります。
報酬モデルを訓練する時の天気会発生另一问题： ValueError: 重みはメタデバイス上にあります。0 に入れるvalueが必要です。必要に応じて参照してください。 Transformer の github で公開この問題は 8 時間前に修正されました。
最後に、コードは基本的に正常ですが、本人が 2080Ti のポートしか持っていないため、完微調整モデルを追加した後、報酬モデルを再ロードすると、CUDA がメモリ不足になるため、実行されません。