alpaca rlhf下載 - alpaca rlhf原始碼下載

alpaca rlhf

Ai源碼

1.0.0

下載

羊駝-rlhf

使用 RLHF（帶有人類回饋的強化學習）微調 LLaMA。

線上示範

快速傅立葉變換
RLHF

DeepSpeed Chat 的修改

步驟1

alpaca_rlhf/deepspeed_chat/training/step1_supervised_finetuning/main.py#main()
- 設定特殊標記
alpaca_rlhf/deepspeed_chat/training/utils/data/data_utils.py#create_dataset_split()
- 僅針對反應進行訓練並添加 eos
- 刪除 end_of_conversation_token
alpaca_rlhf/deepspeed_chat/training/utils/data/data_utils.py#PromptDataset# getitem
- 標籤與輸入不同
alpaca_rlhf/deepspeed_chat/training/utils/data/raw_datasets.py#MultiTurnAlpacaDataset
- 新增 MultiTurnAlpacaDataset
alpaca_rlhf/deepspeed_chat/training/utils/module/lora.py#convert_linear_layer_to_lora
- lora支援多個模組名稱

步驟2

alpaca_rlhf/deepspeed_chat/training/step2_reward_model_finetuning/main.py#main()
- 設定特殊標記
alpaca_rlhf/deepspeed_chat/training/utils/model/reward_model.py#RewardModel#forward()
- 修復數值不穩定問題
alpaca_rlhf/deepspeed_chat/training/utils/data/data_utils.py#create_dataset_split()
- 刪除 end_of_conversation_token

步驟3

alpaca_rlhf/deepspeed_chat/training/step3_rlhf_finetuning/main.py#main()
- 設定特殊標記
alpaca_rlhf/deepspeed_chat/training/utils/data/data_utils.py#create_dataset_split()
- 修復最大長度錯誤
alpaca_rlhf/deepspeed_chat/training/utils/data/data_utils.py#DataCollateRLHF#調用
- 修復邊距填滿錯誤
alpaca_rlhf/deepspeed_chat/training/step3_rlhf_finetuning/ppo_trainer.py#DeepSpeedPPOTrainer#generate_experience
- 獎勵常態化
alpaca_rlhf/deepspeed_chat/training/step3_rlhf_finetuning/ppo_trainer.py#DeepSpeedPPOTrainer#_generate_sequence
- 屏蔽 eos 之後的代幣

斯泰一步一步

在 2 x A100 80G 上運行所有三個步驟
數據集
- Dahoas/rm-static Huggingface 論文 GitHub
- 多圈羊駝毛
  - 這是 alpaca 資料集的多輪版本，基於 AlpacaDataCleaned 和 ChatAlpaca 建置。
先進入./alpaca_rlhf目錄，然後執行以下指令：
- 步驟1：sh run.sh --num_gpus 2 /tmp/pycharm_project_227/alpaca_rlhf/deepspeed_chat/training/step1_supervised_finetuning/main.py --sft_only_data_fTurnAlpaca --s_r/ppaca --s/Fir_Felpacao_r/firpaca --Fel_mp/gpaca +/sad-pir/Fir_Firpaca +/Fir_gpaca +/Fir_gpa/Fir_Firpaca --d/Fir_mp/Fir_Felpaca --d/garapa（Ft/Fir_Firpaca +/Fir_gpaca>/Fir_mp/Fir_Fel/gpaca +/sad-gL/Fir_Fel/gpaca +/sad-gL/Fir_Firpaca --d/Fel（Felpacas>/Firpaca>/Fir_Felpaca --s/p.^gpa research /llama-7b-hf --per_device_train_batch_size 8 --per_device_eval_batch_size 8 --max_seq_len 512 --learning_rate 3e-4 --num_train_epochs 1 --gradient_learning_rate 3e-4 --num_train_epochs 1 --gradient_accumulation_warps 88/Ft. f/actor - -lora_dim 8 --lora_module_name q_proj,k_proj --only_optimize_lora --deepspeed --zero_stage 2
  - 新增--sft_only_data_path MultiTurnAlpaca時，請先解壓縮data/data.zip。
- 步驟2： sh run.sh --num_gpus 2 /tmp/pycharm_project_227/alpaca_rlhf/deepspeed_chat/training/step2_reward_model_finetuning/main.py --data_output_path /cap/audop-tmp-meperfalage/poda-h/lowm. 7b -hf --num_padding_at_beginning 0 --per_device_train_batch_size 4 --per_device_eval_batch_size 64 --learning_rate 5e-4 --num_train_epochs 1 --gradient_accumulation_rate 5e-4 --num_train_epochs 1 --gradient_accumulation_step 108/m dl-tmp/ rlhf /critic --lora_dim 8 --lora_module_name q_proj,k_proj --only_optimize_lora
  - 步驟2的訓練過程
  - 收集所選回應的獎勵的平均值和標準差，並用於標準化步驟 3 中的獎勵。 #DeepSpeedPPOTrainer#generate_experience 方法：'獎勵'：(reward_score - (-0.8677118420600891)) / 0.2210693359375。
- 步驟3： sh run.sh --num_gpus 2 /tmp/pycharm_project_227/alpaca_rlhf/deepspeed_chat/training/step3_rlhf_finetuning/main.py --data_output_path /root/autodl-tmp/dl_/tmp/smpus_mpdeld_path / rlhf/actor/ --tokenizer_name_or_path decapoda-research/llama-7b-hf --critic_model_name_or_path /root/autodl-tmp/rlhf/critic --actor_zero_stage 2 --critic_zero_stage 200000 _m-fperk-_perning_fperning_fper _perning_fperin_fperk _perning _perning_fper _perning_fper; _mini_train_batch_size 4 - -ppo_epochs 2 --actor_learning_rate 9.65e-6 --critic_learning_rate 5e-6 --gradient_accumulation_steps 1 --deepspeed --actor_lora_dim 8 --actor_lora_module_name q_projnamentic_lora_dim 8 --actor_lora_module_name q_projname, 8,8,0 optimize_lora --output_dir /root / autodl-tmp/rlhf/最終
  - 步驟3的訓練過程
推理
- nohup sh run_inference.sh 0 alpaca_rlhf/inference/llama_chatbot_gradio.py --path /root/autodl-tmp/rlhf/final/actor > rlhf_inference.log 2>&1 &
- nohup sh run_inference.sh 0 alpaca_rlhf/inference/llama_chatbot_gradio.py --path /root/autodl-tmp/rlhf/actor > sft_inference.log 2>&1 &