alpaca rlhf

羊驼-rlhf

使用 RLHF（带有人类反馈的强化学习）微调 LLaMA。

在线演示

• 快速傅里叶变换
• RLHF

DeepSpeed Chat 的修改

步骤1

• alpaca_rlhf/deepspeed_chat/training/step1_supervised_finetuning/main.py#main()
  • 设置特殊标记
    • 
• alpaca_rlhf/deepspeed_chat/training/utils/data/data_utils.py#create_dataset_split()
  • 仅根据响应进行训练并添加 eos
    • 
  • 删除 end_of_conversation_token
    • 
• alpaca_rlhf/deepspeed_chat/training/utils/data/data_utils.py#PromptDataset# getitem
  • 标签与输入不同
    • 
• alpaca_rlhf/deepspeed_chat/training/utils/data/raw_datasets.py#MultiTurnAlpacaDataset
  • 添加 MultiTurnAlpacaDataset
    • 
• alpaca_rlhf/deepspeed_chat/training/utils/module/lora.py#convert_linear_layer_to_lora
  • lora支持多个模块名称
    • 

步骤2

• alpaca_rlhf/deepspeed_chat/training/step2_reward_model_finetuning/main.py#main()
  • 设置特殊标记
    • 
• alpaca_rlhf/deepspeed_chat/training/utils/model/reward_model.py#RewardModel#forward()
  • 修复数值不稳定问题
    • 
• alpaca_rlhf/deepspeed_chat/training/utils/data/data_utils.py#create_dataset_split()
  • 删除 end_of_conversation_token
    • 

步骤3

• alpaca_rlhf/deepspeed_chat/training/step3_rlhf_finetuning/main.py#main()
  • 设置特殊标记
    • 
    • 
• alpaca_rlhf/deepspeed_chat/training/utils/data/data_utils.py#create_dataset_split()
  • 修复最大长度错误
    • 
• alpaca_rlhf/deepspeed_chat/training/utils/data/data_utils.py#DataCollat​​orRLHF#调用
  • 修复边距填充错误
    • 
• alpaca_rlhf/deepspeed_chat/training/step3_rlhf_finetuning/ppo_trainer.py#DeepSpeedPPOTrainer#generate_experience
  • 奖励常态化
    • 
• alpaca_rlhf/deepspeed_chat/training/step3_rlhf_finetuning/ppo_trainer.py#DeepSpeedPPOTrainer#_generate_sequence
  • 屏蔽 eos 之后的代币
    • 

斯泰一步一步

• 在 2 x A100 80G 上运行所有三个步骤
• 数据集
  • Dahoas/rm-static Huggingface 论文 GitHub
  • 多圈羊驼毛
    • 这是 alpaca 数据集的多轮版本，基于 AlpacaDataCleaned 和 ChatAlpaca 构建。
• 首先进入./alpaca_rlhf目录，然后运行以下命令：
  • 步骤1：sh run.sh --num_gpus 2 /tmp/pycharm_project_227/alpaca_rlhf/deepspeed_chat/training/step1_supervised_finetuning/main.py --sft_only_data_path MultiTurnAlpaca --data_output_path /root/autodl-tmp/rlhf/tmp/ --model_name_or_path decapoda-research/llama-7b-hf --per_device_train_batch_size 8 --per_device_eval_batch_size 8 --max_seq_len 512 --learning_rate 3e-4 --num_train_epochs 1 --gradient_accumulation_steps 8 --num_warmup_steps 100 --output_dir /root/autodl-tmp/rlhf /演员--lora_dim 8 --lora_module_name q_proj,k_proj --only_optimize_lora --deepspeed --zero_stage 2
    • 添加--sft_only_data_path MultiTurnAlpaca时，请先解压data/data.zip。
  • 步骤2： sh run.sh --num_gpus 2 /tmp/pycharm_project_227/alpaca_rlhf/deepspeed_chat/training/step2_reward_model_finetuning/main.py --data_output_path /root/autodl-tmp/rlhf/tmp/ --model_name_or_path decapoda-research/llama-7b -hf --num_padding_at_beginning 0 --per_device_train_batch_size 4 --per_device_eval_batch_size 64 --learning_rate 5e-4 --num_train_epochs 1 --gradient_accumulation_steps 1 --num_warmup_steps 0 --zero_stage 2 --deepspeed --output_dir /root/autodl-tmp/rlhf/critic --lora_dim 8 --lora_module_name q_proj,k_proj --only_optimize_lora
    • 步骤2的训练过程
      • 
      • 
      • 
      • 
    • 收集所选响应的奖励的平均值和标准差，并用于标准化步骤 3 中的奖励。在一个实验中，它们分别为 -0.8677118420600891 和 0.2210693359375，并用于alpaca_rlhf/deepspeed_chat/training/step3_rlhf_finetuning/ppo_trainer.py#DeepSpeedPPOTrainer#generate_experience 方法：“奖励”：(reward_score - (-0.8677118420600891)) / 0.2210693359375。
      • 
  • 步骤3： sh run.sh --num_gpus 2 /tmp/pycharm_project_227/alpaca_rlhf/deepspeed_chat/training/step3_rlhf_finetuning/main.py --data_output_path /root/autodl-tmp/rlhf/tmp/ --actor_model_name_or_path /root/autodl-tmp/ rlhf/演员/ --tokenizer_name_or_path decapoda-research/llama-7b-hf --critic_model_name_or_path /root/autodl-tmp/rlhf/critic --actor_zero_stage 2 --critic_zero_stage 2 --num_padding_at_beginning 0 --per_device_train_batch_size 4 --per_device_mini_train_batch_size 4 --ppo_epochs 2 --actor_learning_rate 9.65e-6 --critic_learning_rate 5e-6 --gradient_accumulation_steps 1 --deepspeed --actor_lora_dim 8 --actor_lora_module_name q_proj --critic_lora_dim 8 --critic_lora_module_name q_proj,k_proj --only_optimize_lora --output_dir /root/autodl-tmp/rlhf/final
    • 步骤3的训练过程
      • 
      • 
      • 
• 推理
  • nohup sh run_inference.sh 0 alpaca_rlhf/inference/llama_chatbot_gradio.py --path /root/autodl-tmp/rlhf/final/actor > rlhf_inference.log 2>&1 &
  • nohup sh run_inference.sh 0 alpaca_rlhf/inference/llama_chatbot_gradio.py --path /root/autodl-tmp/rlhf/actor > sft_inference.log 2>&1 &

SFT与RLHF的比较

• 聊天
  • 快速傅里叶变换
    • 
  • RLHF
    • 
• 写故事
  • 快速傅里叶变换
    • 
  • RLHF
    • 

参考

文章

• 如何正确指示GPT / RLHF？
• 影响PPO算法性能的10个关键技巧（附PPO算法简洁Pytorch实现）

来源

• 很棒的 RLHF

工具

• 深度快速聊天

数据集

• 斯坦福人类偏好数据集 (SHP)
• HH-RLHF
  • hh-rlhf
    • 通过人类反馈的强化学习来训练一个有用且无害的助手 [论文]
    • 达霍斯/静态-hh
    • 达霍斯/rm-静态
• GPT-4-法学硕士
  • GitHub
  • 纸
  • 地点
• 打开助手
  • 地点
  • GitHub
  • 纸

相关存储库

• 我的羊驼
• 多圈羊驼毛