大規模な言語モデルの安全性調整を改善するための人間の好みのデータセット

[ Paper ] [ ? SafeRLHF Datasets ] [ ? BeaverTails ] [ ? Beaver Evaluation ] [ ? BeaverDam-7B ] [ BibTeX ]

BeaverTails は、大規模言語モデル (LLM) における安全性の調整に関する研究をサポートするために特別に開発されたデータセットの広範なコレクションです。現在、コレクションは 3 つのデータセットで構成されています。

300,000 以上の例を含む包括的な分類データセット (PKU-Alignment/BeaverTails)。
300,000 以上のインスタンスを含む設定データセット (PKU-Alignment/PKU-SafeRLHF)。
パフォーマンスを評価するために、細心の注意を払って作成された 700 プロンプトの評価データセット (PKU-Alignment/BeaverTails-Evaluation) が利用可能です。これには、GPT-3.5 で生成されたプロンプトと人間が作成したプロンプトが混在しています。私たちの進行中の研究努力は、データセットを拡張して、そのサイズと有用性をさらに高めることに焦点を当てています。

?新着情報？
データセットのリリース
- 分類データセット
- 好みのデータセット
- 評価データセット
BeaverTails データセットの使用方法
- QA ペアを判断するために QA モデレーションをトレーニングする
- 有益で無害なアシスタントを訓練する
引用
ライセンス

?新着情報？

2023/07/10 : ハグフェイスの QA モデレーションモデルのトレーニングされた重みのオープンソース化を発表しました: PKU-Alignment/beaver-dam-7b。このモデルは、当社独自の分類データセットを使用して細心の注意を払って開発されました。さらに、付属のトレーニングコードもコミュニティで公開されています。
2023/06/29 BeaverTails の大規模なデータセットをさらにオープンソース化しました。現在、 300k 301kトレーニングサンプルと33.4kテストサンプルを含む 300,000 のインスタンスに達しています。詳細については、Hugging Face データセット PKU-Alignment/BeaverTails を参照してください。

データセットのリリース

分類データセット

このデータセットは、人間がラベルを付けた 300,000 を超える質問と回答 (QA) のペアで構成されており、それぞれが特定の危害カテゴリに関連付けられています。 1 つの QA ペアを複数のカテゴリにリンクできることに注意することが重要です。データセットには、次の 14 の危害カテゴリが含まれています。

Animal Abuse
Child Abuse
Controversial Topics, Politics
Discrimination, Stereotype, Injustice
Drug Abuse, Weapons, Banned Substance
Financial Crime, Property Crime, Theft
Hate Speech, Offensive Language
Misinformation Regarding ethics, laws, and safety
Non-Violent Unethical Behavior
Privacy Violation
Self-Harm
Sexually Explicit, Adult Content
Terrorism, Organized Crime
Violence, Aiding and Abetting, Incitement

データセット内のこれら 14 のカテゴリの分布を次の図に視覚化します。

詳細とデータへのアクセスについては、以下を参照してください。

ハグフェイスページ：PKU-Alignment/BeaverTails。
データカード：ビーバーテイルズ。

好みのデータセット

嗜好データセットは 300,000 以上の専門家の比較データで構成されています。このデータセットの各エントリには、質問に対する 2 つの回答と、有用性と無害性を考慮した両方の回答に対する安全性メタラベルと好みが含まれています。

このデータセットのアノテーションパイプラインを次の図に示します。

詳細とデータへのアクセスについては、以下を参照してください。

ハグフェイスページ：PKU-Alignment/PKU-SafeRLHF。
データカード：PKU-SafeRLHF。

評価データセット

当社の評価データセットは、14 の危害カテゴリにまたがり、カテゴリごとに 50 の、慎重に作成された 700 のプロンプトで構成されています。このデータセットの目的は、テスト目的で包括的なプロンプトのセットを提供することです。研究者はこれらのプロンプトを利用して、GPT-4 応答などの独自のモデルから出力を生成し、そのパフォーマンスを評価できます。

詳細とデータへのアクセスについては、以下を参照してください。

ハグフェイスページ：PKU-アライメント/ビーバーテール-評価。
データカード: BeaverTails の評価。

BeaverTails データセットの使用方法

QA ペアを判断するために QA モデレーションをトレーニングする

私たちの? Hugging Face BeaverTailsデータセットは、QA ペアを判断するための QA-Moderation モデルをトレーニングするために使用できます。

このパラダイムでは、QA ペアは、そのリスク中立性の程度、つまり、潜在的に有害な質問における潜在的なリスクが無害な回答によって軽減される程度に基づいて、有害または無害としてラベル付けされます。

examplesディレクトリには、QA モデレーションモデルのトレーニングコードと評価コードが提供されています。また、Hugging Face に関する QA-Moderation モデルのトレーニングされた重みも提供します: PKU-Alignment/beaver-dam-7b 。

有益で無害なアシスタントを訓練する

? Hugging Face SafeRLHF Datasetsを介してBeaverTailsが提供する? Hugging Face SafeRLHF Datasetsデータセットを使用すると、以下の図に示すように、1 ラウンドの RLHF の後、モデルのパフォーマンスを損なうことなく LLM の毒性を効果的に軽減することができます。トレーニングコードは主にSafe-RLHFコードリポジトリを利用します。 RLHF の詳細については、前述のライブラリを参照してください。

Alpaca-7B モデルでSafe-RLHFパイプラインを利用した後、安全性優先のための大幅な分布の変更。

引用

BeaverTails データセットファミリが研究に役立つと思われる場合は、次の論文を引用してください。

 @article { beavertails ,
  title   = { BeaverTails: Towards Improved Safety Alignment of LLM via a Human-Preference Dataset } ,
  author  = { Jiaming Ji and Mickel Liu and Juntao Dai and Xuehai Pan and Chi Zhang and Ce Bian and Chi Zhang and Ruiyang Sun and Yizhou Wang and Yaodong Yang } ,
  journal = { arXiv preprint arXiv:2307.04657 } ,
  year    = { 2023 }
}