Awesome instruction tuning

素晴らしい命令チューニング

オープンソースの命令チューニング データセット、モデル、論文、リポジトリの厳選されたリスト。

データセットとモデル

従来の NLP からの変更

Longpre らに従って、従来の NLP タスクから変更された既存の命令チューニング データセットをすべてリストします。

リリース	データセット	タスクの数	インスタンスの数	モデル名	ベース	モデルサイズ
2020年5月	統合QA	46	750k	統合QA	ロバート	110-340メートル
2021年4月	クロスフィット	159	71.M	BART-クロスフィット	バート	140メートル
2021年4月	ナチュラルインスタ v1.0	61	620k	BART将軍	バート	140メートル
2021-09	2021年フラン	62	4.4M	フラン・ラMDA	ラMDA	137B
2021-10	P3	62	12M	TO、TO+、TO++	T5-LM	3-11B
2021-10	メタルCL	142	3.5M	メタルCL	GPT-2	770メートル
2021-11	エクスミックス	107	500k	ExT5	T5	220M-11B
2022-04	スーパーナチュラル研究所	1613	5M	Tk-Instruct	T5-LM、mT5	17-13B
2022-10	GLM	77	12M	GLM-130B	GLM	130B
2022-10	2022年フラン	1836年	15M	フラン-T5、フラン-PaLM	T5-LM、PaLM	10 M-540B
2022-11	xP3	71	81M	ブルームズ、mTO	ブルーム、mT5	13-176B
2022-12	アンナチュラル研究所	117	64k	T5-LM-ウンナット。研究所	T5-LM	11B

LLM によって生成される

リリース	モデル名	ベース	モデルサイズ	データセット	インスタンスの数	言語
2022-12	GPT-3自己研究所	GPT-3	175B	自己指導	82k	えん
2023-03-03	アルパカ	ラマ	7B	アルパカデータ	52k	えん
2023-03-19	アルパカローラ	ラマ	7B 13B 30B	アルパカデータ、アルパカデータ_クリーン化	52k	えん
2023-03-23	中国料理ビクーニャ	ラマ	7B 13B	BELLE、グアナコデータセット	1M	zh
2023-03-24	アルパカCoT	ラマ	7B	データセット	----	エン・ジー
2023-03-25	ドリー	ドリー	6B	アルパカデータ	52k	えん
2023-03-25	グアナコ	ラマ	7B	グアナコデータセット	534k	エン・ジー・ジャ・デ
2023-03-28	チャイニーズ-LLaMA-アルパカ	ラマ	7B	alpaca_data_zh、pCLUE、translation2019zh、alpaca_data、Self-Instruct	2M	zh
2023-03-29	巨大チャット	ラマ	7B 13B	命令ワイルド	104k	エン・ジー
2023-03-31	ルオトゥオ	LLaMAチャットGLM	7B 6B	trans_chinese_alpaca_data	52k	zh
2023-03-31	セレブラス-ロラ-アルパカ	Cerebras-GPT	2.7B	AlpacaDataCleaned	52k	えん

多言語ツール

既存のデータセットのほとんどは英語です。しかし、世界の人口のほとんどは、自分たちの言語のデータを利用できるという点で十分なサービスを受けられていません。世界中の誰もが生成 AI の恩恵を受けられるようにするにはどうすればよいでしょうか?私たちは、英語のデータセットを 100 以上の言語に無料で翻訳できる、ヘルシンキ NLP に基づいた簡単なオープンソース翻訳ツールを開発しました。これらの変換されたデータセットには多少のノイズが含まれる可能性がありますが、高価で高品質なデータの実行可能な代替として機能します。以下を参照してください。

translator.py の使用:

 python  translator.py  model_name  source_data_path

例：

 python  translator.py  Helsinki-NLP/opus-mt-en-zh  alpaca_data.json

私たちのツールは、アルパカ データと Helsinki-NLP/opus-mt-en-zh モデルを操作できるように設計されています。データセットやヘルシンキ NLP モデルが異なると、結果も異なります。モデルの制限により、モデルの機能によって制約されるため、翻訳品質が常に最適であるとは限りません。たとえば、英語から中国語への翻訳で単語が繰り返される例を観察したため、連続して 3 回出現する任意の長さの文字列を含む翻訳済みプロンプトを排除する「process.py」を開発しました。最終版は「transrated_alpaca_data.json」で提供します。

process.py の使用:

 python  process.py  unprocessed_data_path

例：

 python  process.py  translated_data.json

# ヘルシンキ-NLP モデルには、入力文の最大長制限がある場合があります。制限を超えるプロンプトは翻訳前に破棄されました。

論文

私たちはこの分野の論文を徹底的にレビューし、最も価値のある論文を以下にリストしました。

微調整された言語モデルはゼロショット学習者です2021.9

マルチタスク プロンプト トレーニングによりゼロショット タスクの一般化が可能2021.10

人間のフィードバックによる指示に従う言語モデルのトレーニング2022.3

Super-Natural命令: 1600以上のNLPタスクの宣言命令による一般化2022.4

検索拡張による教師なしクロスタスクの一般化2022.4

命令の導入: 少数の例から自然言語タスクの説明まで2022.5

スケーリング命令 - 微調整された言語モデル2022.10

指示を推測してください!反転学習により言語モデルが強化される ゼロショット学習者2022.10

不自然な命令: (ほぼ) 人的労力を使わずに言語モデルを調整する2022.12

構成タスク構成による統合表からテキストへのモデルのクロスタスク一般化の改善2022.12

Self-Instruct: 言語モデルと自己生成された命令の調整2022.12

MultiInstruct: 命令チューニングによるマルチモーダル ゼロショット学習の改善2022.12

Flan コレクション: 効果的な命令チューニングのためのデータと手法の設計2023.1

状況に応じた指導学習2023.2

リポジトリ

さらに、参照用に関連リポジトリのリストも提供しました。

命令

素晴らしい指導学習

素晴らしい命令データセット

ICL

ICL_PaperList

コンテキスト内プロンプト学習

理由

LM推論

LLM-推論-論文

思考の連鎖論文

フレームワーク

OpenICL