Okapiのダウンロード - Okapiソースコードのダウンロード

Okapi

AI ソースコード

1.0.0

ダウンロード

オカピ

人間のフィードバックからの強化学習を使用した、複数言語での命令調整された大規模言語モデル

概要

これは、複数の言語でのヒューマンフィードバックからの強化学習 (RLHF) による大規模言語モデル (LLM) の命令チューニングのためのリソースとモデルを紹介する、Okapi フレームワークのリポジトリです。私たちのフレームワークは、8 つの高リソース言語、11 の中程度のリソース言語、7 つの低リソース言語を含む 26 の言語をサポートしています。

okapi リソース: ChatGPT プロンプト、多言語命令データセット、多言語応答ランキングデータなど、26 言語の RLHF を使用した命令チューニングを実行するためのリソースを提供します。

okapi モデル:Okapi データセット上の 26 言語向けに、RLHF ベースの命令調整された LLM を提供します。当社のモデルには、BLOOM ベースのバージョンと LLaMa ベースのバージョンの両方が含まれています。また、モデルと対話し、リソースを使用して LLM を微調整するためのスクリプトも提供します。

多言語評価ベンチマークデータセット: 26 言語の多言語大規模言語モデル (LLM) を評価するための 3 つのベンチマークデータセットを提供します。ここから完全なデータセットと評価スクリプトにアクセスできます。

使用法とライセンスに関する通知:Okapi は研究用途のみを目的としており、ライセンスが付与されています。データセットは CC BY NC 4.0 (非営利使用のみ許可) であり、データセットを使用してトレーニングされたモデルは研究目的以外に使用しないでください。

評価結果を記載したテクニカルペーパーはこちらからご覧いただけます。

データセットの作成

当社は、多言語フレームワークのokapiに必要なデータを準備するために、次の4つの主要なステップで包括的なデータ収集プロセスを実行します。

英語命令の生成: まず、LLM をチューニングするための 52K の英語命令を Alpaca から取得します。その後、Alpaca と同じ Self-Instruct プロシージャを適用して 106K の追加の英語命令を生成し、Okapi の RLHF ベースのモデル用に 158K の命令を組み合わせたより大きなデータセットが得られます。
指示の翻訳: ChatGPT を利用して、158,000 の英語の指示を 26 のターゲット言語に翻訳します。言語ごとに、158K の命令は教師あり微調整、報酬モデリング、および RLHF 用のデータに分割されます。
ランキングデータの生成: ChatGPT を使用して、LLM からの同じ命令に対する複数の応答出力をランク付けします。複数の言語の応答ランキングデータを生成するために、2 ターンのダイアログアプローチを導入します。(i) 最初に指示と応答が英語に翻訳され、(ii) その後、ChatGPT が翻訳されたデータの英語でのランク付けを支援します。
評価データの作成: HuggingFace Open LLM Leaderboard の 3 つのデータセット、つまり AI2 Reasoning Challenge (ARC)、HellaSwag、および MMLU を活用して、多言語の微調整された LLM を評価します。これらのデータセットは元々英語のみで提供されているため、ChatGPT を使用してフレームワークで 26 の言語に翻訳します。評価データとスクリプトはここにあります。

データセットのダウンロード

データセット全体をダウンロードするには、次のスクリプトを使用できます。

bash scripts/download.sh

特定の言語のデータのみが必要な場合は、スクリプトへの引数として言語コードを指定できます。

bash scripts/download.sh [LANG]
# For example, to download the dataset for Vietnamese: bash scripts/download.sh vi

ダウンロード後、リリースされたデータはデータセットディレクトリにあります。これには次のものが含まれます。

multilingual-alpaca-52k : Alpaca の 52K の英語命令を 26 言語に翻訳したデータ。
multilingual-ranking-data-42k : 26 言語の多言語応答ランキングデータ。言語ごとに 42K の命令が提供されています。それぞれに 4 つのランク付けされた回答があります。このデータは、26 言語の報酬モデルをトレーニングするために使用できます。
multilingual-rl-tuning-64k : RLHF の多言語命令データ。 26 言語ごとに 62K の命令が提供されています。

モデル

okapi データセットと RLHF ベースの命令チューニング技術を使用して、LLaMA と BLOOM の 7B バージョンに基づいて構築された 26 言語向けの多言語微調整 LLM を導入します。モデルは、HuggingFace から入手できます。

モデルとチャットする

okapi は、26 言語の多言語命令調整済み LLM との対話型チャットをサポートしています。チャットについては次の手順に従います。

リポジトリのクローンを作成します

 git clone https://github.com/nlp-uoregon/Okapi.git
cd Okapi
pip install -r requirements.txt

言語のモデルを選択し、チャットします。 26 の言語ごとに、BLOOM ベースのモデルと LLaMa ベースのモデルの両方を選択できます。モデルの完全なリストはここでご覧いただけます。

 from chat import pipeline

model_path = 'uonlp/okapi-vi-bloom'
p = pipeline ( model_path , gpu = True )

instruction = 'Dịch câu sau sang Tiếng Việt' # Translate the following sentence into Vietnamese
prompt_input = 'The City of Eugene - a great city for the arts and outdoors. '

response = p . generate ( instruction = instruction , prompt_input = prompt_input )
print ( response )

トレーニング

また、RLHF を使用して指示データで LLM を微調整するためのスクリプトも提供しており、教師あり微調整、報酬モデリング、RLHF による微調整という 3 つの主要なステップをカバーしています。 LLM を微調整するには、次の手順を使用します。

環境をセットアップします。

conda create -n okapi python=3.9
conda activate okapi
pip install -r requirements.txt

複数の GPU を使用したトレーニング:

監視付き微調整

bash scripts/supervised_finetuning.sh [LANG]

報酬モデリング

bash scripts/reward_modeling.sh [LANG]

RLHFによる微調整

bash scripts/rl_training.sh [LANG]

引用

このリポジトリ内のデータ、モデル、またはコードを使用する場合は、以下を引用してください。

 @article { dac2023okapi ,
  title = { Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback } ,
  author = { Dac Lai, Viet and Van Nguyen, Chien and Ngo, Nghia Trung and Nguyen, Thuat and Dernoncourt, Franck and Rossi, Ryan A and Nguyen, Thien Huu } ,
  journal = { arXiv e-prints } ,
  pages = { arXiv--2307 } ,
  year = { 2023 }
}