Awesome instruction tuning

Ajuste de instrução incrível

Uma lista selecionada de conjuntos de dados, modelos, artigos e repositórios de ajuste de instruções de código aberto.

Conjuntos de dados e modelos

Modificado da PNL Tradicional

Seguindo Longpre et al., listamos todos os conjuntos de dados de ajuste de instruções existentes modificados de tarefas tradicionais de PNL.

Liberar	Conjuntos de dados	Número de tarefas	Número de instâncias	Nome_modelo	Base	Tamanho_modelo
2020-05	Controle de qualidade unificado	46	750 mil	Controle de qualidade unificado	Roberto	110-340 metros
2021-04	CrossFit	159	71.M	BART-CrossFit	BARTO	140 milhões
2021-04	Natural Insta v1.0	61	620 mil	General BART	BARTO	140 milhões
2021-09	Flan 2021	62	4,4 milhões	Flan-LaMDA	LaMDA	137B
2021-10	P3	62	12 milhões	PARA, PARA+, PARA++	T5-LM	3-11B
2021-10	MetalCL	142	3,5 milhões	MetalCL	GPT-2	770 milhões
2021-11	ExMix	107	500 mil	ExT5	T5	220M-11B
2022-04	Inst Super-Natural.	1613	5 milhões	Tk-Instruir	T5-LM, mT5	17-13B
2022-10	GLM	77	12 milhões	GLM-130B	GLM	130B
2022-10	Flan 2022	1836	15 milhões	Flan-T5, Flan-PaLM	T5-LM, PaLM	10M-540B
2022-11	xP3	71	81 milhões	BLOOMz, mTO	FLOR, mT5	13-176B
2022-12	Inst. Não Natural.	117	64 mil	T5-LM-Unnat. Inst.	T5-LM	11B

Gerado por LLMs

Liberar	Nome_modelo	Base	Tamanho_modelo	Conjuntos de dados	Número de instâncias	Linguagem
2022-12	GPT-3 Auto Inst.	GPT-3	175B	Auto-instruir	82 mil	Pt
03/03/2023	alpaca	LLaMA	7B	dados_alpaca	52 mil	Pt
19/03/2023	alpaca-lora	LLaMA	7B 13B 30B	alpaca_data、alpaca_data_cleaned	52 mil	Pt
23/03/2023	Vicunha Chinesa	LLaMA	7B 13B	BELLE、GuanacoDataset	1 milhão	Zh
2023-03-24	Alpaca-CoT	LLaMA	7B	conjunto de dados	----	Em Zh
2023-03-25	boneca	boneca	6B	dados_alpaca	52 mil	Pt
2023-03-25	guanaco	LLaMA	7B	GuanacoDataset	534 mil	En Zh Ja De
28/03/2023	Chinês-LLaMA-Alpaca	LLaMA	7B	alpaca_data_zh、pCLUE、translation2019zh、alpaca_data、Autoinstrução	2 milhões	Zh
2023-03-29	Colossal Bate-papo	LLaMA	7B 13B	Instrução Selvagem	104 mil	Em Zh
31/03/2023	Luotuo	LLaMA ChatGLM	7B 6B	trans_chinese_alpaca_data	52k	Zh
31/03/2023	cerebras-lora-alpaca	Cerebras-GPT	2,7B	AlpacaDataCleaned	52k	Pt

Ferramentas multilíngues

A maioria dos conjuntos de dados existentes está em inglês. No entanto, a maior parte da população mundial está mal servida em termos de disponibilidade de dados para as suas línguas. Como garantir que todas as pessoas em todo o mundo possam beneficiar da IA ​​generativa? Desenvolvemos uma ferramenta de tradução simples e de código aberto baseada em Helsinki-NLP, capaz de traduzir conjuntos de dados em inglês para mais de 100 idiomas sem nenhum custo. Embora estes conjuntos de dados traduzidos possam conter algum ruído, eles servem como uma alternativa viável aos dados dispendiosos e de alta qualidade. Veja abaixo.

Uso do tradutor.py:

 python  translator.py  model_name  source_data_path

Exemplo:

 python  translator.py  Helsinki-NLP/opus-mt-en-zh  alpaca_data.json

Nossa ferramenta foi projetada para funcionar com dados de alpaca e o modelo Helsinki-NLP/opus-mt-en-zh. Diferentes conjuntos de dados ou modelos Helsinki-PNL produzem resultados variados. Devido às limitações do modelo, limitadas pelas capacidades do modelo, a qualidade da tradução pode nem sempre ser ideal. Por exemplo, observamos ocorrências de palavras repetidas nas traduções do inglês para o chinês, o que nos levou a desenvolver o "process.py" para eliminar prompts traduzidos contendo strings de qualquer comprimento que aparecem três vezes consecutivas. Fornecemos a versão final em "translated_alpaca_data.json".

Uso de process.py:

 python  process.py  unprocessed_data_path

Exemplo:

 python  process.py  translated_data.json

# o modelo Helsinque-PNL pode ter um limite máximo de comprimento de frase de entrada. Descartamos os prompts que ultrapassam o limite antes de traduzi-los.

Artigos

Revisamos extensivamente artigos neste campo e listamos os mais valiosos abaixo:

Modelos de linguagem ajustados são alunos com chance zero 2021.9

Treinamento solicitado multitarefa permite generalização de tarefas Zero-Shot 2021.10

Treinar modelos de linguagem para seguir instruções com feedback humano 2022.3

Instruções sobrenaturais: generalização por meio de instruções declarativas em mais de 1600 tarefas de PNL 2022.4

Generalização não supervisionada de tarefas cruzadas por meio de aumento de recuperação 2022.4

Indução de instrução: de alguns exemplos às descrições de tarefas em linguagem natural 2022.5

Dimensionando modelos de linguagem ajustados por instrução 2022.10

Adivinhe a instrução! A aprendizagem invertida torna os modelos de linguagem mais fortes, alunos zero-shot 2022.10

Instruções não naturais: ajustando modelos de linguagem com (quase) nenhum trabalho humano 2022.12

Melhorando a generalização entre tarefas de modelos unificados de tabela para texto com configurações de tarefas composicionais 2022.12

Autoinstrução: Alinhando modelo de linguagem com instruções autogeradas 2022.12

MultiInstruct: Melhorando o aprendizado multimodal Zero-Shot por meio do ajuste de instrução 2022.12

A coleção Flan: projetando dados e métodos para ajuste de instrução eficaz 2023.1

Aprendizagem de instrução em contexto 2023.2

Repositórios

Além disso, fornecemos uma lista de repositórios relacionados para referência futura.

Instrução

aprendizado de instrução incrível

conjunto de dados de instruções incrível

ICL

ICL_PaperList

aprendizagem imediata no contexto

Razão

Raciocínio LM

Artigos de raciocínio LLM

Artigos sobre Cadeia de Pensamentos

Estrutura

OpenICL