Awesome instruction tuning

Réglage des instructions génial

Une liste organisée d'ensembles de données, de modèles, d'articles et de référentiels de réglage d'instructions open source.

Ensembles de données et modèles

Modifié à partir de la PNL traditionnelle

À la suite de Longpre et al., nous répertorions tous les ensembles de données de réglage d'instructions existants modifiés à partir des tâches PNL traditionnelles.

Libérer	Ensembles de données	Nombre de tâches	Nombre d'instances	Nom_modèle	Base	Modèle_Taille
2020-05	Assurance qualité unifiée	46	750k	Assurance qualité unifiée	Roberta	110-340 M
2021-04	CrossFit	159	71.M	BART-CrossFit	BART	140 M
2021-04	Installation naturelle v1.0	61	620 000 $	Général BART	BART	140 M
2021-09	Flans 2021	62	4,4 millions	Flan-LaMDA	LaMDA	137B
2021-10	P3	62	12M	À, À+, À++	T5-LM	3-11B
2021-10	MétalCL	142	3,5 millions	MétalCL	GPT-2	770 M
2021-11	ExMix	107	500 000 $	ExT5	T5	220M-11B
2022-04	Inst. surnaturel.	1613	5M	Tk-Instruire	T5-LM, mT5	17-13B
2022-10	GLM	77	12M	GLM-130B	GLM	130 B
2022-10	Flan 2022	1836	15M	Flan-T5, Flan-PaLM	T5-LM, PaLM	10M-540B
2022-11	XP3	71	81M	BLOOMz, mTO	FLEUR, mT5	13-176B
2022-12	Inst. contre nature.	117	64 000 $	T5-LM-Unnat. Inst.	T5-LM	11B

Généré par les LLM

Libérer	Nom_modèle	Base	Modèle_Taille	Ensembles de données	Nombre d'instances	Langue
2022-12	GPT-3 Auto-installation.	GPT-3	175B	Auto-instruction	82 000 $	Fr
2023-03-03	alpaga	Lama	7B	alpaga_data	52 000 $	Fr
2023-03-19	alpaga-lora	Lama	7B 13B 30B	alpaca_data、alpaca_data_cleaned	52 000 $	Fr
2023-03-23	Chinois-Vigogne	Lama	7B 13B	BELLE、GuanacoDataset	1M	Zh
2023-03-24	Alpaga-CoT	Lama	7B	ensemble de données	----	En Zh
2023-03-25	chariot	chariot	6B	alpaga_data	52 000 $	Fr
2023-03-25	guanaco	Lama	7B	GuanacoEnsemble de données	534 ko	En Zh Ja De
2023-03-28	Chinois-LLaMA-Alpaga	Lama	7B	alpaca_data_zh、pCLUE、translation2019zh、alpaca_data、Auto-instruction	2M	Zh
2023-03-29	ColossalChat	Lama	7B 13B	InstructionSauvage	104 000 $	En Zh
2023-03-31	Luotuo	LLaMA ChatGLM	7B 6B	trans_chinese_alpaca_data	52k	Zh
2023-03-31	cerebras-lora-alpaga	Cérébras-GPT	2,7B	AlpacaDataNettoyé	52k	Fr

Outils multilingues

La plupart des ensembles de données existants sont en anglais. Cependant, la majeure partie de la population mondiale est mal desservie en termes de disponibilité de données sur leurs langues. Comment garantir que chacun, partout dans le monde, puisse bénéficier de l’IA générative ? Nous avons développé un outil de traduction simple et open source basé sur Helsinki-NLP, capable de traduire gratuitement des ensembles de données anglais dans plus de 100 langues. Même si ces ensembles de données traduits peuvent contenir du bruit, ils constituent une alternative viable aux données coûteuses et de haute qualité. Voir ci-dessous.

Utilisation de traducteur.py :

 python  translator.py  model_name  source_data_path

Exemple:

 python  translator.py  Helsinki-NLP/opus-mt-en-zh  alpaca_data.json

Notre outil est conçu pour fonctionner avec les données d'alpaga et le modèle Helsinki-NLP/opus-mt-en-zh. Différents ensembles de données ou modèles Helsinki-NLP donnent des résultats variables. En raison des limites du modèle, contraintes par les capacités du modèle, la qualité de la traduction peut ne pas toujours être optimale. Par exemple, nous avons observé des cas de mots répétés dans les traductions de l'anglais vers le chinois, ce qui nous a conduit à développer « process.py » pour éliminer les invites traduites contenant des chaînes de n'importe quelle longueur apparaissant trois fois consécutives. Nous fournissons la version finale dans "translated_alpaca_data.json".

Utilisation de process.py :

 python  process.py  unprocessed_data_path

Exemple:

 python  process.py  translated_data.json

# le modèle Helsinki-NLP peut avoir une limite maximale de longueur de phrase d'entrée. Nous avons supprimé les invites qui dépassent la limite avant de les traduire.

Papiers

Nous avons examiné en profondeur les articles dans ce domaine et avons répertorié ci-dessous les plus précieux :

Les modèles linguistiques affinés sont des apprenants zéro-shot 2021.9

La formation multitâche invitée permet la généralisation des tâches Zero-Shot 2021.10

Former des modèles de langage pour suivre les instructions avec des commentaires humains 2022.3

Instructions super-naturelles : généralisation via des instructions déclaratives sur plus de 1 600 tâches PNL 2022.4

Généralisation multi-tâches non supervisée via l'augmentation de la récupération 2022.4

Introduction à l'instruction : de quelques exemples à des descriptions de tâches en langage naturel 2022.5

Mise à l'échelle des modèles de langage affinés par les instructions 2022.10

Devinez les instructions ! L'apprentissage inversé rend les modèles linguistiques plus forts pour les apprenants Zero-Shot 2022.10

Instructions contre nature : réglage des modèles linguistiques avec (presque) aucun travail humain 2022.12

Amélioration de la généralisation inter-tâches des modèles table-texte unifiés avec des configurations de tâches de composition 2022.12

Auto-instruction : aligner le modèle de langage avec les instructions auto-générées 2022.12

MultiInstruct : amélioration de l'apprentissage multimodal Zero-Shot via le réglage des instructions 2022.12

La collection Flan : Concevoir des données et des méthodes pour un réglage efficace des instructions 2023.1

Apprentissage pédagogique en contexte 2023.2

Dépôts

De plus, nous avons fourni une liste de référentiels associés pour référence ultérieure.

Instruction

génial-instruction-apprentissage

ensemble de données d'instructions génial

ICL

ICL_PaperList

apprentissage contextuel

Raison

Raisonnement LM

Documents de raisonnement LLM

Articles sur la chaîne de pensées

Cadre

OuvrirICL