Awesome instruction tuning

很棒的指令調整

開源指令調優資料集、模型、論文、儲存庫的精選清單。

資料集和模型

傳統NLP修改

繼 Longpre 等人之後，我們列出了所有從傳統 NLP 任務修改而來的現有指令調優資料集。

發布	數據集	任務數量	實例數	型號_名稱	根據	型號_尺寸
2020-05	統一品質保證	46	75萬	統一品質保證	羅伯塔	110-340米
2021年4月	綜合健身	159	71.M	BART 綜合健身	捷運	140M
2021年4月	自然研究所 v1.0	61	62萬	捷運將軍	捷運	140M
2021年9月	水果餡餅 2021	62	4.4M	弗蘭-LaMDA	拉MDA	137B
2021年10月	P3	62	12M	至、至+、至++	T5-LM	3-11B
2021年10月	金屬CL	142	3.5M	金屬CL	GPT-2	770米
2021年11月	混合型	107	500k	ExT5	T5	220M-11B
2022年4月	超自然研究所。	1613	5M	Tk-指導	T5-LM、mT5	17-13B
2022年10月	廣義線性模型	77	12M	GLM-130B	廣義線性模型	130乙
2022年10月	水果餡餅 2022	1836年	15M	餡餅-T5、餡餅-PaLM	T5-LM、PaLM	10 M-540 B
2022年11月	xP3	71	81M	布魯姆茲，mTO	布魯姆，mT5	13-176B
2022年12月	非自然研究所。	117	64k	T5-LM-Unnat。研究所。	T5-LM	11B

由法學碩士生成

發布	型號_名稱	根據	型號_尺寸	數據集	實例數	語言
2022年12月	GPT-3 自我安裝	GPT-3	175B	自學	82k	恩
2023-03-03	羊駝毛	駱駝	7B	羊駝數據	52k	恩
2023-03-19	羊駝-洛拉	駱駝	7B 13B 30B	alpaca_data、alpaca_data_cleaned	52k	恩
2023-03-23	中國駱駝毛	駱駝	7B 13B	BELLE、Guanaco資料集	1M	Zh
2023-03-24	羊駝毛CoT	駱駝	7B	數據集	----	恩智
2023-03-25	多莉	多莉	6B	羊駝數據	52k	恩
2023-03-25	原駝	駱駝	7B	原駝資料集	534k	恩智加德
2023-03-28	中國-美洲駝-羊駝	駱駝	7B	alpaca_data_zh、pCLUE、translation2019zh、alpaca_data、自學	2M	Zh
2023-03-29	巨聊	駱駝	7B 13B	指令狂野	104k	恩智
2023-03-31	駱駝	駱駝聊天GLM	7B 6B	trans_chinese_alpaca_data	52k	Zh
2023-03-31	腦-勞拉-羊駝	Cerebras-GPT	2.7B	羊駝資料清理	52k	恩

多語言工具

大多數現有資料集都是英文的。然而，世界上大多數人口在其語言數據的可用性方面得不到充分服務。如何確保世界各地的每個人都能從生成式人工智慧中受益？我們開發了一個基於 Helsinki-NLP 的簡單且開源的翻譯工具，能夠免費將英語資料集翻譯成 100 多種語言。儘管這些翻譯後的資料集可能包含一些噪音，但它們可以作為昂貴的高品質資料的可行替代方案。見下文。

翻譯器.py的使用：

 python  translator.py  model_name  source_data_path

例子：

 python  translator.py  Helsinki-NLP/opus-mt-en-zh  alpaca_data.json

我們的工具設計用於處理羊駝資料和 Helsinki-NLP/opus-mt-en-zh 模型。不同的資料集或赫爾辛基自然語言處理模型會產生不同的結果。由於模型的局限性，受到模型能力的約束，翻譯品質可能並不總是最優的。例如，我們觀察到英漢翻譯中存在重複單字的情況，這促使我們開發「process.py」來消除包含連續出現三次的任意長度字串的翻譯提示。我們在“translated_alpaca_data.json”中提供最終版本。

process.py的使用：

 python  process.py  unprocessed_data_path

例子：

 python  process.py  translated_data.json

# Helsinki-NLP 模型可能有最大輸入句子長度限制。對於超出限制的提示，我們在翻譯前已將其丟棄。

文件

我們廣泛審查了該領域的論文，並在下面列出了最有價值的論文：

微調語言模式是零樣本學習者2021.9

多工提示訓練實現零樣本任務泛化2021.10

訓練語言模型遵循人類回饋的指令2022.3

超自然指令：透過聲明性指令對 1600 多個 NLP 任務進行泛化2022.4

透過檢索增強進行無監督跨任務泛化2022.4

指令歸納：從幾個例子到自然語言任務描述2022.5

擴展指令-微調語言模型2022.10

猜猜看指令！翻轉學習讓語言模型變得更強零樣本學習者2022.10

非自然指令：在（幾乎）無需人工的情況下調整語言模型2022.12

使用組合任務配置改進統一表到文字模型的跨任務泛化2022.12

自我指導：將語言模型與自生成指令對齊2022.12

MultiInstruct：透過指令調優改進多模態零樣本學習2022.12

Flan Collection：有效指令調優的資料與方法設計2023.1

情境教學學習2023.2

儲存庫

此外，我們還提供了相關儲存庫的清單以供進一步參考。

操作說明

很棒的指令學習

很棒的指令資料集

ICL

ICL_紙張列表

情境提示式學習

原因

LM推理

法學碩士推理論文

思想鏈論文

框架

開放式ICL