Awesome instruction tuning

Impresionante ajuste de instrucciones

Una lista seleccionada de conjuntos de datos, modelos, artículos y repositorios de ajuste de instrucciones de código abierto.

Conjuntos de datos y modelos

Modificado de la PNL tradicional

Siguiendo a Longpre et al., enumeramos todos los conjuntos de datos de ajuste de instrucciones existentes modificados a partir de tareas tradicionales de PNL.

Liberar	Conjuntos de datos	Número de tareas	Número de instancias	nombre_modelo	Base	Modelo_Tamaño
2020-05	Control de calidad unificado	46	750k	Control de calidad unificado	roberta	110-340 millones
2021-04	crossfit	159	71.M	BART-CrossFit	BART	140 millones
2021-04	Instituto Natural v1.0	61	620 mil	General BART	BART	140 millones
2021-09	Flan 2021	62	4,4 millones	Flan-LaMDA	LaMDA	137B
2021-10	P3	62	12M	A, A+, A++	T5-LM	3-11B
2021-10	MetalCL	142	3,5 millones	MetalCL	GPT-2	770 millones
2021-11	exmix	107	500 mil	ExT5	T5	220M-11B
2022-04	Inst. sobrenatural.	1613	5M	Tk-Instruir	T5-LM, mT5	17-13B
2022-10	GLM	77	12M	GLM-130B	GLM	130B
2022-10	Flan 2022	1836	15M	Flan-T5, Flan-PaLM	T5-LM, PaLM	10M-540B
2022-11	xP3	71	81M	BLOOMz, mTO	FLORACIÓN, mT5	13-176B
2022-12	Inst antinatural.	117	64 mil	T5-LM-Unnat. Inst.	T5-LM	11B

Generado por LLM

Liberar	nombre_modelo	Base	Modelo_Tamaño	Conjuntos de datos	Número de instancias	Idioma
2022-12	Autoinstalación GPT-3.	GPT-3	175B	Autoinstrucción	82 mil	es
2023-03-03	alpaca	Llama	7B	datos_alpaca	52 mil	es
2023-03-19	alpaca lora	Llama	7B 13B 30B	alpaca_data、alpaca_data_cleaned	52 mil	es
2023-03-23	Chino-Vicuña	Llama	7B 13B	BELLE、GuanacoConjunto de datos	1M	zh
2023-03-24	Alpaca-CoT	Llama	7B	conjunto de datos	----	En Zh
2023-03-25	muñequita	muñequita	6B	datos_alpaca	52 mil	es
2023-03-25	guanaco	Llama	7B	GuanacoConjunto de datos	534 mil	En Zh Ja De
2023-03-28	China-LLaMA-Alpaca	Llama	7B	alpaca_data_zh, pCLUE, translation2019zh, alpaca_data, autoinstrucciones	2M	zh
2023-03-29	ColosalChat	Llama	7B 13B	InstrucciónSalvaje	104 mil	En Zh
2023-03-31	Luo Tuo	LLaMA ChatGLM	7B 6B	trans_chinese_alpaca_data	52k	zh
2023-03-31	cerebros-lora-alpaca	Cerebras-GPT	2,7 mil millones	AlpacaDatosLimpiado	52k	es

Herramientas multilingües

La mayoría de los conjuntos de datos existentes están en inglés. Sin embargo, la mayor parte de la población mundial no cuenta con servicios suficientes en términos de disponibilidad de datos para sus idiomas. ¿Cómo garantizar que todas las personas en todo el mundo puedan beneficiarse de la IA generativa? Hemos desarrollado una herramienta de traducción sencilla y de código abierto basada en Helsinki-NLP, capaz de traducir conjuntos de datos en inglés a más de 100 idiomas sin costo. Aunque estos conjuntos de datos traducidos pueden contener algo de ruido, sirven como una alternativa viable a los datos costosos y de alta calidad. Vea abajo.

Uso de traductor.py:

 python  translator.py  model_name  source_data_path

Ejemplo:

 python  translator.py  Helsinki-NLP/opus-mt-en-zh  alpaca_data.json

Nuestra herramienta está diseñada para trabajar con datos de alpacas y el modelo Helsinki-NLP/opus-mt-en-zh. Diferentes conjuntos de datos o modelos Helsinki-NLP arrojan resultados variables. Debido a las limitaciones del modelo, limitadas por las capacidades del modelo, es posible que la calidad de la traducción no siempre sea óptima. Por ejemplo, observamos casos de palabras repetidas en las traducciones del inglés al chino, lo que nos llevó a desarrollar "process.py" para eliminar mensajes traducidos que contengan cadenas de cualquier longitud que aparezcan tres veces consecutivas. Proporcionamos la versión final en "translated_alpaca_data.json".

Uso de proceso.py:

 python  process.py  unprocessed_data_path

Ejemplo:

 python  process.py  translated_data.json

# el modelo Helsinki-NLP puede tener un límite máximo de longitud de oración de entrada. Hemos descartado las indicaciones que exceden el límite antes de traducirlas.

Papeles

Hemos revisado exhaustivamente artículos en este campo y hemos enumerado los más valiosos a continuación:

Los modelos de lenguaje perfeccionados son aprendices de cero posibilidades 2021.9

La capacitación impulsada por tareas múltiples permite la generalización de tareas de disparo cero 2021.10

Entrenar modelos de lenguaje para seguir instrucciones con retroalimentación humana 2022.3

Instrucciones sobrenaturales: generalización mediante instrucciones declarativas en más de 1600 tareas de PNL 2022.4

Generalización de tareas cruzadas no supervisada mediante aumento de recuperación 2022.4

Inducción de instrucción: de unos pocos ejemplos a descripciones de tareas en lenguaje natural 2022.5

Instrucción escalable: modelos de lenguaje perfeccionados 2022.10

¡Adivina la instrucción! El aprendizaje invertido fortalece los modelos lingüísticos Alumnos de oportunidad cero 2022.10

Instrucciones antinaturales: ajuste de modelos de lenguaje sin (casi) mano de obra humana 2022.12

Mejora de la generalización entre tareas de modelos unificados de tabla a texto con configuraciones de tareas de composición 2022.12

Autoinstrucción: Alinear el modelo de lenguaje con instrucciones autogeneradas 2022.12

MultiInstruct: Mejora del aprendizaje multimodal Zero-Shot mediante el ajuste de instrucciones 2022.12

The Flan Collection: Diseño de datos y métodos para un ajuste eficaz de la instrucción 2023.1

Aprendizaje por instrucción en contexto 2023.2

Repositorios

Además, hemos proporcionado una lista de repositorios relacionados para mayor referencia.

Instrucción

impresionante-instrucción-aprendizaje

impresionante conjunto de datos de instrucciones

ICL

ICL_PaperList

aprendizaje rápido en contexto

Razón

razonamiento LM

LLM-Documentos de razonamiento

Documentos sobre la cadena de pensamientos

Estructura

OpenICL