비쿠나-LoRA-RLHF-PyTorch

소비자 하드웨어에서 LoRA 및 RLHF를 사용하여 Vicuna LLM을 미세 조정하는 전체 파이프라인

비쿠나-LoRA-RLHF-PyTorch
- 목차
- 환경설정
- 할 일 목록
- 달리다
  - 비쿠나 가중치 다운로드
  - 감독된 미세 조정
  - PEFT 어댑터를 모델에 병합
  - 보상 모델 훈련
  - 보상 어댑터를 모델에 병합
  - PPO로 LM 튜닝
- 주제
- 참조
- 스타의 역사
- 기부
- 특허

환경설정

穷人卡：2080Ti 12G
torch==2.0.0
cuda==11.8

할 일 목록

달리다

비쿠나 가중치 다운로드

python apply_delta.py --base ' decapoda-research/llama-7b-hf ' --target ' ./weights/vicuna-7b ' --delta lmsys/vicuna-7b-delta-v1.1

감독된 미세 조정

src/peft/utils/save_and_load.py를 먼저 확인하세요. 52번째 줄만 주석 처리하세요.

 # #to_return = {k: v for k, v in to_return.items() if (("lora_" in k and adapter_name in k) or ("bias" in k))}

그런 다음 실행

python supervised_finetune.py --data_path ' ./data/merge_sample.json ' --output_path ' lora-Vicuna ' --model_path ' ./weights/vicuna-7b ' --eval_steps 200 --save_steps 200 --test_size 1

PEFT 어댑터를 모델에 병합

peft 버전을 먼저 확인하세요. peft가 0.2.0이 아닌 경우 peft==0.2.0을 설치해야 합니다.

pip uninstall peft -y
pip install peft==0.2.0  # 0.3.0.dev0 has many errors

python merge_peft_adapter.py --model_name ' lora-Vicuna '

pip uninstall peft -y
pip install git+https://github.com/huggingface/peft.git # then comments peft/utis/save_and_load.py line 52.

보상 모델 훈련

python train_reward_model.py --model_name ' ./weights/vicuna-7b ' --gradient_accumulation_steps 32 --per_device_train_batch_size 1 --train_subset 100 --eval_subset 10 --local_rank 0 --bf16 False

보상 어댑터를 모델에 병합

python merge_peft_adapter.py --model_name ./reward_model_vicuna-7b

PPO로 LM 튜닝

python tuning_lm_with_rl.py --model_name ' ./lora-Vicuna-adapter-merged ' --reward_model_name ' ./reward_model_vicuna-7b-adapter-merged ' --adafactor False --tokenizer_name ' decapoda-research/llama-7b-hf ' --save_freq 100 --output_max_length 128 --batch_size 1 --gradient_accumulation_steps 1 --batched_gen True --ppo_epochs 1 --seed 0 --learning_rate 1.4e-5 --early_stopping True --output_dir ' ./tuning_llama_rl_checkpoints '

주제

Vicuna 모델 가중치는 HuggingFace 허브에 없으므로 먼저 apply_delta.py 스크립트를 실행하여 다운로드해야 합니다.
SFT 앞의 경우, 切记有个注事项, 需要检查下安装的peft代码, src/peft/utils/save_and_load.py, 참고 line 52 有这行代码 #to_return = {k: v for k, v in to_return.items( ) 만약에 ((k의 "lora_" 및 k의 어댑터 이름) 또는 (k의 "bias"))}
PEFT의 기본은 0.3.0.dev0의 기본이고,merge_peft_adapter의 기본은 0.3.0.dev0입니다. _get_submodules()를 사용하여)
기차 보상 모델의 时候会发生另一个问题: ValueError: 무게가 메타 장치에 있습니다. 0에 넣을 value 필요합니다. 需要参看 변환기 github의 새로운 세대, 나는 发现这个问题의 时候, 隔天发现에서 Transformer의 github상 8小时前才刚刚修复了这个问题에 있습니다.
最后一步，代码上基本是的，但是本人只有2080Ti 的卡，加载完finetune model 之后，再加载Reward model的时候直接CUDA out of 메모리는 메모리를 사용하여 작동합니다.