Inicio>Relacionado con la programación>Código Fuente de IA
Descargar

ChatGPT: código abierto y más allá

Chino simplificado | Inglés

El camino hacia la implementación y trascendencia del modelo ChatGPT de código abierto

Desde la fuga accidental de los pesos de LLaMA y el impresionante rendimiento del ajuste de instrucciones de LLaMA por parte de Stanford Alpaca utilizando datos creados a partir de la API gpt-3 de forma autoinstructiva, la comunidad de código abierto se ha interesado cada vez más en realizar un gran modelo de lenguaje al nivel de ChatGPT Cada vez más esperanzador.

Este repositorio tiene como objetivo registrar este proceso de reproducción y trascendencia, y proporcionar una descripción general para la comunidad.

Incluyendo: progreso tecnológico relacionado, modelos básicos, modelos de dominio, capacitación, razonamiento, tecnología, datos, multilenguaje, multimodalidad, etc.

# Tabla de contenido
  • Modelos básicos
  • Modelos de dominio
  • Modelos de instrucción de dominio general
  • Fusión de modelos
  • Alternativas al transformador
  • Multimodal
  • Ministerio de Educación
  • Datos
    • Datos previos al entrenamiento
    • Datos de instrucción
    • Generación de datos sintéticos
  • Evaluación
    • Punto de referencia
    • Tabla de clasificación
  • Marco/Kit de herramientas/Plataforma
  • Alineación
  • Varios idiomas
    • expansión de vocabulario
  • Entrenamiento/ajuste eficiente
  • Inferencia de bajo costo
    • cuantificación
    • proyectos
    • Compresión rápida
  • Incitación
  • Seguridad
  • Veracidad
  • Exceder la ventana de contexto
  • Edición de conocimientos
    • Implementaciones
  • Conocimiento externo
    • motor de búsqueda de IA
    • Chatea con documentos
    • Análisis de contenido
    • Base de datos vectorial
  • Herramientas externas
    • Usando herramientas existentes
    • Crear nuevas herramientas
  • Agente
  • LLM como XXX
  • Colecciones similares

Modelos básicos

contribuyente modelo/proyecto licencia idioma característica principal
Meta LLAMA/LLAMA2 multi LLaMA-13B supera a GPT-3(175B) y LLaMA-65B es competitivo con PaLM-540M.
Modelo base para la mayoría de trabajos posteriores.
AbrazandoCara-Gran Ciencia FLORACIÓN multi un modelo de lenguaje grande (LLM) autorregresivo entrenado por HuggingFace BigScience.
AbrazandoCara-Gran Ciencia BLOOMZ multi Versión ajustada con instrucciones de modelos de lenguaje multilingüe previamente entrenados de BLOOM y mT5 en combinación de tareas multilingües.
EleutherAI GPT-J es Modelo de transformador entrenado con Mesh Transformer JAX de Ben Wang.
Meta OPTAR es Modelos abiertos de lenguaje transformador preentrenados. El objetivo del desarrollo de este conjunto de modelos OPT es permitir reproducibilidad.
y una investigación responsable a escala, y traer más voces a la mesa para estudiar el impacto de estos LLM.
Sistemas cerebrales Cerebras-GPT es LLM previamente capacitado, similar a GPT-3, disponible comercialmente, capacitado de manera eficiente en la supercomputadora Andromeda AI,
entrenado de acuerdo con las leyes de escala de Chinchilla (20 tokens por parámetro del modelo), que es óptimo para el cálculo.
EleutherAI pitón es Combinar análisis de interpretabilidad y leyes de escala para comprender cómo se desarrolla el conocimiento.
y evoluciona durante el entrenamiento en transformadores autorregresivos.
Estabilidad-IA EstableLM es Modelos de lenguaje de IA de estabilidad
FDU MUSGO es/zh Un modelo de lenguaje conversacional mejorado con una herramienta de código abierto de la Universidad de Fudan.
simetría y FDU TBC-2 zh 12B LM de código abierto.
@mlfundaciones AbiertoFlamingo es Un marco de código abierto para entrenar grandes modelos multimodales.
EleutherAI GPT-NeoX-20B es Su arquitectura se parece intencionadamente a la del GPT-3 y es casi idéntica a la del GPT-J-6B.
UCB OpenLLaMA Apache-2.0 es Una reproducción abierta de LLaMA.
mosaicoml MPT Apache-2.0 es MPT-7B es un modelo estilo GPT y el primero de la serie de modelos MosaicML Foundation.
Entrenado con tokens 1T de un conjunto de datos curado por MosaicML, MPT-7B es de código abierto,
utilizable comercialmente y equivalente a LLaMa 7B en métricas de evaluación.
JuntosEquipo RedPajama-INCITE-Base-3B-v1 Apache-2.0 es Un modelo de lenguaje previamente entrenado con parámetros de 2.8B, previamente entrenado enRedPajama-Data-1T,
junto con una versión adaptada a las instrucciones y una versión de chat.
Rayo-IA Lit-LLaMA Apache-2.0 - Implementación independiente de LLaMA que es totalmente de código abierto bajo licencia Apache 2.0.
@conceptodemente PLM Licencia MIT es Una implementación de código abierto de los modelos Google PaLM.
TII Halcón-7B Licencia TII Falcon LLM es un modelo de decodificador causal de 7 mil millones de parámetros construido por TII y entrenado en 1,500 mil millones de tokens de RefinedWeb mejorados con corpus seleccionados.
TII Halcón-40B Licencia TII Falcon LLM multi un modelo de decodificador causal de 40 mil millones de parámetros construido por TII y entrenado en 1000 mil millones de tokens de RefinedWeb mejorados con corpus seleccionados.
investigación del tigre tigrebot Apache-2.0 es/zh un LLM multilingüe y multitarea.
BAAI Aquila/Aquila2 BAAI_Aquila_Model_License es/zh El modelo de lenguaje Aquila hereda las ventajas de diseño arquitectónico de GPT-3 y LLaMA, reemplazando un lote de subyacentes más eficientes.
implementaciones de operadores y rediseño del tokenizador para soporte bilingüe chino-inglés.
OpenBMB CPM-abeja Acuerdo de licencia de modelo universal-Declaración de fuente-Restricciones de publicidad-Autorización comercial es/zh CPM-Bee es un modelo base bilingüe chino-inglés totalmente de código abierto y utilizable comercialmente con una capacidad de diez mil millones de parámetros.
Y ha sido entrenado previamente en un extenso corpus de tokens a escala de billones.
Baichuan baichuan-7B Apache-2.0 es/zh Ha logrado el mejor rendimiento entre modelos del mismo tamaño en estándar.
Puntos de referencia autorizados en chino e inglés (C-EVAL, MMLU, etc.).
Tencent lyraChatGLM Licencia MIT es/zh Hasta donde sabemos, es la primera versión acelerada de ChatGLM-6B .
La velocidad de inferencia de lyraChatGLM ha alcanzado una aceleración de 300 veces respecto a la versión original anterior.
Seguimos trabajando duro para mejorar aún más el rendimiento.
fuerza de ventas XGen Apache-2.0 multi LLM de código abierto de Salesforce con una longitud de secuencia de 8k
Laboratorio de IA de Shanghái PasanteLM Apache-2.0 es/zh InternLM tiene un modelo base de 7 mil millones de parámetros de código abierto y un modelo de chat diseñado para escenarios prácticos. El modelo tiene las siguientes características:
Aprovecha billones de tokens de alta calidad para capacitación y establecer una poderosa base de conocimientos.
Admite una longitud de ventana de contexto de 8k, lo que permite secuencias de entrada más largas y capacidades de razonamiento más sólidas.
Proporciona un conjunto de herramientas versátil para que los usuarios creen de manera flexible sus propios flujos de trabajo.
xverse-ai XVERSO Apache-2.0 multi LLM multilingües desarrollados por XVERSE Technology Inc.
Escritor palmira Apache-2.0 es Extremadamente potente y al mismo tiempo extremadamente rápido. Este modelo sobresale en muchas tareas matizadas.
como clasificación y resumen de sentimientos.
Mistral AI Mistral Apache-2.0 es Mistral 7B es un modelo de parámetros 7.3B que:
1. Supera a Llama 2 13B en todos los puntos de referencia
2. Supera a Llama 1 34B en muchos puntos de referencia
3. Se acerca al rendimiento de CodeLlama 7B en código, sin dejar de ser bueno en tareas de inglés
4. Utiliza atención de consultas agrupadas (GQA) para una inferencia más rápida
5. Utiliza atención de ventana deslizante (SWA) para manejar secuencias más largas a un costo menor
SkyworkAI Skywork - es/zh En los principales puntos de referencia de evaluación, Skywork-13B está a la vanguardia de los modelos chinos de código abierto y es el nivel óptimo en la misma escala de parámetros;
se puede utilizar comercialmente sin aplicación; también ha abierto un conjunto de datos chinos de 600G (150 mil millones de tokens).
01.AI yi - es/zh Los modelos de la serie Yi son modelos de lenguaje de gran tamaño entrenados desde cero por los desarrolladores de 01.AI.
Sistemas IEIT Yuan-2.0 - es/zh En este trabajo, se introduce la Atención basada en filtrado localizado (LFA) para incorporar el conocimiento previo de las dependencias locales del lenguaje natural en la Atención.
Basado en LFA, desarrollamos y lanzamos Yuan 2.0, un modelo de lenguaje grande con parámetros que van desde 2,1 mil millones a 102,6 mil millones. Un método de generación y filtrado de datos.
se presenta para construir un conjunto de datos de preentrenamiento y ajuste fino en alta calidad. Se propone un método de entrenamiento distribuido con paralelo de canalización no uniforme, paralelo de datos y paralelo de optimizador.
lo que reduce en gran medida los requisitos de ancho de banda de la comunicación dentro del nodo y logra un buen rendimiento en la capacitación distribuida a gran escala.
Los modelos Yuan 2.0 muestran una capacidad impresionante en generación de código, resolución de problemas matemáticos y chat en comparación con los modelos existentes.
Nanbeige Nanbeige Apache-2.0 es/zh Nanbeige-16B es un modelo de lenguaje de 16 mil millones de parámetros desarrollado por Nanbeige LLM Lab. Utiliza tokens de 2.5T para el entrenamiento previo. Los datos de entrenamiento incluyen una gran cantidad de corpus de Internet de alta calidad, varios libros, códigos, etc. Buenos resultados en varios conjuntos de datos de evaluación autorizados. Esta versión incluye Base, Chat, Base-32k y Chat-32k.
búsqueda profunda-ai búsqueda profunda-LLM Licencia MIT es/zh un modelo de lenguaje avanzado que comprende 67 mil millones de parámetros y ha sido entrenado desde cero en un vasto conjunto de datos de 2 billones de tokens tanto en inglés como en chino.
LLM360 LLM360 - - La mayoría de los lanzamientos de LLM de código abierto incluyen ponderaciones de modelos y resultados de evaluación. Sin embargo, a menudo se necesita información adicional para comprender genuinamente el comportamiento de un modelo y, por lo tanto, esta información no suele estar disponible para la mayoría de los investigadores, nos comprometemos a publicar todos los puntos de control intermedios. ¡hasta 360!) recopilados durante el entrenamiento, todos los datos de entrenamiento (y su mapeo a los puntos de control), todas las métricas recopiladas (por ejemplo, pérdida, norma de gradiente, resultados de evaluación) y todo el código fuente para el preprocesamiento de datos y el entrenamiento del modelo. Los artefactos pueden ayudar investigadores y profesionales tengan una visión más profunda del proceso de construcción de LLM y realicen investigaciones como el análisis de la dinámica del modelo. Esperamos que LLM360 pueda ayudar a que los LLM avanzados sean más transparentes, fomenten la investigación en laboratorios de menor escala y mejoren la reproducibilidad en la investigación de IA.
FDU, etc. CT-LLM - zh/es Centrándose en el idioma chino, CT-LLM utiliza principalmente datos chinos de un corpus de 1,200 mil millones de tokens, incluidos 800 mil millones de chinos, 300 mil millones de ingleses y 100 mil millones de tokens de código, incluido el proceso de capacitación de CT-LLM. procesamiento de datos y el corpus chino de preentrenamiento masivo y apropiado (MAP-CC), y la introducción del punto de referencia de casos rígidos chinos (CHC-Bench), fomentamos una mayor investigación e innovación, con el objetivo de por modelos lingüísticos más inclusivos y adaptables.
tigrelab MAPA-NEO - zh/es El primer modelo grande de código abierto para todo el proceso, desde el procesamiento de datos hasta el entrenamiento del modelo y los pesos del modelo.
Campamento de datos DCLM - - Proporciona herramientas y orientación para procesar datos sin procesar, tokenización, mezcla de datos, entrenamiento de modelos y evaluación del desempeño. El modelo básico 7B tiene un rendimiento excelente.

Modelos de dominio

contribuyente modelo dominio idioma modelo base característica principal
UT suroeste/
UIUC/OSU/HDU		 ChatDoctor médico es LLAMA Quizás el primer modelo de chat de dominio específico adaptado a LLaMA.
Cambridge Visual Med-Alpaca biomédico es LLaMA-7B un modelo de base multimodal diseñado específicamente para el ámbito biomédico.
GOLPEAR BenTsao/ChatGLM-Med médico zh LLaMA/ChatGLM ajustado con el conjunto de datos de conocimientos médicos chinos, que se genera utilizando la API gpt3.5.
ShanghaiTech, etc. DoctorGLM médico es/zh ChatGLM-6B Modelo de consulta médica chino perfeccionado en ChatGLM-6B.
JUEVES AIRE BioMedGPT-1.6B biomédico es/zh - un modelo de base molecular multimodal previamente entrenado con 1.600 millones de parámetros que asocia gráficos moleculares 2D con textos.
@LiuHC0428 LeyGPT_es legal zh ChatGLM-6B un modelo general en el ámbito legal chino, entrenado con datos generados mediante autoinstrucción confiable.
SJTU MédicoGPT-zh médico zh ChatGLM-6B un modelo general en el dominio médico chino, datos diversos generados mediante autoinstrucción.
SJTU PMC-LLaMA médico zh LLAMA Continuar Capacitando LLaMA en Papeles Médicos.
AbrazosCara codificador estrella generación de código es - un modelo de lenguaje (LM) entrenado en código fuente y texto en lenguaje natural. Sus datos de entrenamiento incorporan más de.
80 lenguajes de programación diferentes, así como texto extraído de problemas y confirmaciones de GitHub y de cuadernos.
@CogStack NHS-LLM médico es no claro Un modelo conversacional para atención médica entrenado usando OpenGPT.
@pengxiao-canción LeyWGPT legal zh LLaMA/ChatGLM ampliar el vocabulario con terminologías legales chinas, instrucción perfeccionada sobre datos generados mediante autoinstrucción.
Duxiaoman xuanyuan finanzas zh FLORACIÓN-176B Un gran modelo de chat financiero chino con cientos de miles de millones de parámetros.
CUHK HuatuoGPT médico zh no claro HuatuoGPT, un modelo de lenguaje grande (LLM) entrenado en un vasto corpus médico chino Nuestro objetivo con HuatuoGPT es.
construir un 'ChatGPT' más profesional para escenarios de consultas médicas.
PKU Abogado LLaMA legal zh LLAMA Continúe con la capacitación previa sobre datos legales chinos, la insturcción sintonizada con los exámenes legales y la consultoría legal qa pares.
JUE LexiLaw legal zh ChatGLM-6B capacitado en una combinación de datos generales (BELLE 1.5M) y datos legales
JUEVES, etc. taoli educación zh LLAMA Un gran modelo para la educación china internacional. Amplía el vocabulario específico del modelo base.
y utiliza el conjunto de datos patentado del dominio para ajustar las instrucciones.
NUES Cabra aritmética es LLAMA un modelo LLaMA ajustado que supera significativamente al GPT-4 en una variedad de tareas aritméticas.
Goat, optimizado en un conjunto de datos generado sintéticamente, logra un rendimiento de vanguardia en la subtarea aritmética de BIG-bench.
CU/Nueva York FinGPT finanzas es - un marco de código abierto de extremo a extremo para modelos financieros de lenguaje grande (FinLLM).
Microsoft AsistenteCodificador generación de código es codificador estrella entrenado con 78k instrucciones de código evolucionado supera a Claude-Plus (+6,8) , Bard (+15,3) e InstructCodeT5+ (+22,3) en los puntos de referencia HumanEval.
UCAS Cuerno de la abundancia finanzas zh LLAMA afinar LLaMA sobre conocimiento financiero chino,
PKU ChatLaw legal zh Ziya/Ánima Modelo de dominio legal chino.
@michael-wzhu ChatMed médico zh LLAMA LLM médico chino basado en LLaMA-7B.
RABO almachat salud mental zh ChatGLM-6B LLM de diálogo chino en el ámbito de la salud mental, basado en ChatGLM-6B.
@shibing624 MédicoGPT médico zh ChatGLM-6B Entrene su propio modelo médico GPT con ChatGPT Training Pipeline.
BJTU TransGPT transporte zh LLaMA-7B Modelo de transporte chino.
BAAI Código Aquila generación de código multi Águila AquilaCode-multi es un modelo multilingüe que admite la generación de código de alta precisión para varios lenguajes de programación, incluidos Python/C++/Java/Javascript/Go, etc.
Ha logrado resultados impresionantes en la evaluación de HumanEval (Python), con puntuaciones Pass@1, Pass@10 y Pass@100 de 26/45,7/71,6, respectivamente, en HumanEval-X.
Evaluación de generación de código en varios idiomas, supera significativamente a otros modelos de código abierto con parámetros similares (al 19 de julio de 2023).
AquilaCode-py, por otro lado, es una versión Python en un solo lenguaje del modelo que se centra en la generación de código Python.
También ha demostrado un rendimiento excelente en la evaluación HumanEval, con puntuaciones Pass@1, Pass@10 y Pass@100 de 28,8/50,6/76,9 (al 19 de julio de 2023).
Meta CódigoLLaMA generación de código multi Llama-2 una familia de grandes modelos de lenguaje para código basado en Llama 2 que proporciona un rendimiento de última generación entre modelos abiertos, capacidades de relleno,
soporte para contextos de entrada grandes y capacidad de seguimiento de instrucciones de disparo cero para tareas de programación.
UNSW, etc. Darwin ciencias naturales es LLaMA-7B el primer LLM de código abierto para ciencias naturales, principalmente en física, química y ciencia de materiales.
alibaba EcoGPT comercio electrónico es/zh BLOOMZ Un modelo de lenguaje grande adaptado a las instrucciones para el comercio electrónico.
TIGER-AI-Lab Mamut matemáticas es LLaMA2/CódigoLLaMA una serie de modelos de lenguaje grande (LLM) de código abierto diseñados específicamente para la resolución de problemas matemáticos generales. Los modelos MAmmoTH están entrenados en MathInstruct.
un conjunto de datos de ajuste de instrucciones meticulosamente seleccionado que es liviano pero generalizable. MathInstruct se compila a partir de 13 conjuntos de datos de fundamentos matemáticos.
seis de los cuales están seleccionados recientemente por este trabajo. Se centra exclusivamente en el uso híbrido de fundamentos de cadena de pensamiento (CoT) y programa de pensamiento (PoT).
y garantiza una amplia cobertura de diversos campos matemáticos.
SJTU Abel matemáticas es LLaMA2 Proponemos la supervisión parental *, una estrategia de niñera para el ajuste fino supervisado. Parental Oversight no se limita a ningún método de procesamiento de datos específico, sino que define la filosofía de procesamiento de datos que debe guiar el ajuste fino supervisado en la era de la IA generativa (GAI). .
FDU DISCO-DerechoLLM legal zh Baichuan-13B FudanDISC ha lanzado DISC-LawLLM, un sistema legal inteligente chino impulsado por un modelo de lenguaje grande.
El sistema puede proporcionar varios servicios legales para diferentes grupos de usuarios. Además, DISC-Law-Eval está construido para evaluar el modelo de lenguaje legal grande desde aspectos objetivos y subjetivos.
El modelo tiene ventajas obvias en comparación con los grandes modelos legales existentes.
El equipo también puso a disposición un conjunto de datos de ajuste fino supervisado (SFT) de alta calidad de 300.000, DISC-Law-SFT.
HKU, etc. ChatPsiquiatra salud mental es llama-7b Este repositorio ofrece código abierto para el modelo LLaMA-7B ajustado por Instruct, que se ha perfeccionado con datos de instrucción de domian de asesoramiento.
Para construir nuestro conjunto de datos de ajuste de instrucciones de tamaño 8K, recopilamos ejemplos de diálogos de asesoramiento del mundo real y utilizamos GPT-4 como extractor y filtro.
Además, hemos introducido un conjunto integral de métricas, específicamente adaptadas al dominio LLM+Consejería, mediante la incorporación de criterios de evaluación de asesoramiento de dominio.
Estas métricas permiten evaluar el desempeño en la generación de contenido lingüístico que involucra habilidades de asesoramiento multidimensionales.
CAS StarWhisper astronómico zh - StarWhisper, un modelo astronómico de gran tamaño, mejora significativamente la lógica de razonamiento y la integridad del modelo mediante el ajuste del corpus astrofísico etiquetado por expertos.
entrenamiento de texto largo lógico y optimización de preferencias directas En el CG-Eval publicado conjuntamente por el Keguei AI Research Institute y LanguageX AI Lab, alcanzó el segundo lugar en general.
justo debajo del GPT-4, y su razonamiento matemático y capacidades astronómicas están cerca o superan al GPT 3.5 Turbo.
ZhiPuAI FinGLM finanzas zh ChatGLM soluciones de SMP2023-ELMFT (La evaluación del modelo grande de tecnología financiera).
PKU, etc. CódigoShell generación de código es/zh - CodeShell es un modelo de lenguaje grande de código (LLM) desarrollado conjuntamente por el Knowledge Computing Lab de la Universidad de Pekín y el equipo de inteligencia artificial del Sichuan Tianfu Bank. Tiene 7 mil millones de parámetros.
se entrenó en 500 mil millones de tokens y tiene una longitud de ventana de contexto de 8192. En puntos de referencia de evaluación de código autorizados (HumanEval y MBPP), CodeShell logra el mejor rendimiento para modelos de su escala.
FDU DISCO-FinLLM finanzas zh Baichuan-13B-Chat DISC-FinLLM es un modelo de lenguaje grande en el campo financiero. Es un sistema financiero inteligente multiexperto compuesto por cuatro módulos para diferentes escenarios financieros: consultoría financiera,
análisis de textos financieros, cálculos financieros y recuperación de conocimientos financieros y respuesta a preguntas.
búsqueda profunda Codificador de búsqueda profunda generación de código es/zh - Deepseek Coder comprende una serie de modelos de lenguaje de código entrenados en un 87 % de código y un 13 % de lenguaje natural en inglés y chino, y cada modelo está previamente entrenado en tokens 2T.
En cuanto a las capacidades de codificación, Deepseek Coder logra un rendimiento de última generación entre los modelos de código fuente abierto en múltiples lenguajes de programación y varios puntos de referencia.
Microsoft Matemáticaspulpo matemáticas multi LLaMA2 Este trabajo es pionero en la exploración y construcción de potentes LLM de razonamiento matemático multilingüe (xMR). Para lograr esto, realizamos los siguientes trabajos:
1. MGSM8KInstruct , el primer conjunto de datos de instrucción de razonamiento matemático multilingüe, que abarca diez idiomas distintos, abordando así el problema de la escasez de datos de entrenamiento en tareas xMR.
2. MSVAMP , un conjunto de datos de prueba xMR fuera del dominio, para realizar una evaluación más exhaustiva y completa de las capacidades matemáticas multilingües del modelo.
3. MathOctopus , nuestros eficaces LLM multilingües de razonamiento matemático, que se entrenan con diferentes estrategias, que superan notablemente a los LLM convencionales de código abierto y exhiben superioridad sobre ChatGPT en escenarios de pocas posibilidades.
ITREC Zh-MT-LLM marítimo es/zh ChatGLM3-6b Los datos de entrenamiento utilizan los datos del dominio marítimo Zh-mt-sft organizados para tres segmentos principales y 30w datos de conversación generalesmoss-003-sft-data Zh-mt-sft contiene específicamente CrimeKgAssitant-1.8w, Zh-law-qa. Zh-law-court relacionado con las leyes y regulaciones marítimas Preguntas y respuestas, Zh-edu-qa y Zh-edu-qb relacionados con la educación y capacitación marítima, y Zh-mt-qa relacionado con preguntas y respuestas sobre conocimientos marítimos especializados.
@SmartFlowAI EmoLLM salud mental zh - EmoLLM es una serie de grandes modelos de salud mental que pueden ayudar a comprender a los usuarios, apoyar a los usuarios y ayudar a los usuarios. Enlaces de asesoramiento sobre salud mental, ajustados a partir de las instrucciones LLM .

algunos modelos médicos: aquí

algunas llms de dominio: Awesome-Domain-LLM

modelos de curación: Awesome-Healthcare-Foundation-Models

Modelos de instrucción de dominio general

contribuyente modelo/proyecto idioma modelo básico característica principal
stanford Alpaca es LLAMA/OPT utilice datos de seguimiento de instrucciones de 52K generados por técnicas de autoinstrucciones para ajustar 7B LLaMA,
El modelo resultante, Alpaca, se comporta de manera similar al modelo text-davinci-003 en el conjunto de evaluación de seguimiento de instrucciones Self-Instruct.
Alpaca ha inspirado muchos modelos posteriores.
LianJiaTech BELDAD es/zh BLOOMZ-7B1-mt quizás el primer modelo chino que sigue a Alpaca.
JUE ChatGLM-6B es/zh - Conocido modelo chino.
Ladrillos de datos Muñequita es GPT-J 6B utilice datos de Alpaca para perfeccionar un modelo de 2 años: GPT-J, que exhibe una calidad sorprendentemente alta
instrucción que sigue una conducta no característica del modelo fundamental en el que se basa.
@tloen Alpaca-LoRA es llama-7b entrenado en cuestión de horas en un solo RTX 4090,
reproducir los resultados de Stanford Alpaca utilizando una adaptación de rango bajo (LoRA),
y puede ejecutarse en una Raspberry pi.
ColosalAI Coatí7B es/zh LLaMA-7B un modelo de lenguaje grande desarrollado por el proyecto ColossalChat
Laboratorio de IA de Shanghái Adaptador LLaMA es llama-7b Ajuste de LLaMA para seguir instrucciones en 1 hora y 1,2 millones de parámetros
Corteza de éter Llama-X es LLAMA Investigación académica abierta sobre la mejora de LLaMA a SOTA LLM.
JuntosEquipo OpenChatKit es GPT-NeoX-20B OpenChatKit proporciona una potente base de código abierto para crear chatbots especializados y de uso general para diversas aplicaciones.
El kit incluye modelos de lenguaje adaptados a las instrucciones, un modelo de moderación y un sistema de recuperación extensible para incluir
respuestas actualizadas de repositorios personalizados.
nomic-ai GPT4Todos es LLAMA capacitado en una recopilación masiva de datos limpios del asistente, incluidos códigos, historias y diálogos.
@ymcui China-LLaMA-Alpaca es/zh LLaMA-7B/13B ampliar el vocabulario chino basado en el LLaMA original y utilizar datos chinos para la capacitación previa secundaria,
mejorar aún más la comprensión semántica básica del chino. Además, el proyecto utiliza datos de instrucción en chino.
para realizar ajustes sobre la base del LLaMA chino, mejorando significativamente la comprensión y ejecución de instrucciones del modelo.
Universidad de Berkeley
stanford
UMC		 Vicuña es Llama-13B Impresionante GPT-4 con 90% de calidad ChatGPT.
UCSD/SYSU bayeta es/zh LLAMA ajustado con LoRA. Utiliza 100.000 diálogos generados al permitir que ChatGPT charle consigo mismo.
Los datos de Alpaca también se utilizan para mejorar su rendimiento.
Universidad de Berkeley Coala es LLAMA En lugar de maximizar la cantidad recopilando la mayor cantidad de datos web posible, el equipo se centra en recopilar un pequeño conjunto de datos de alta calidad .
@imClumsyPanda langchain-ChatGLM es/zh ChatGLM-6B ChatGLM basado en conocimiento local con langchain.
@yangjianxin1 Luciérnaga zh florecer-1b4-zh
florecer-2b6-zh		 Ajuste de instrucciones en un conjunto de datos chino. Poda de vocabulario, ZeRO y paralelismo tensorial.
se utilizan para reducir eficazmente el consumo de memoria y mejorar la eficiencia del entrenamiento.
Microsoft GPT-4-LLM es/zh LLAMA tiene como objetivo compartir datos generados por GPT-4 para crear un LLM que siga instrucciones con aprendizaje supervisado y aprendizaje reforzado.
abrazando la cara PilaLLaMA es LLAMA capacitado en datos de StackExchange y el objetivo principal es servir como tutorial y recorrido sobre
cómo entrenar el modelo con RLHF y no principalmente el rendimiento del modelo.
nebuly ChatLLaMA es - una biblioteca que le permite crear asistentes hiperpersonalizados similares a ChatGPT utilizando sus propios datos y la menor cantidad de computación posible.
@juncongmoo ChatLLaMA es LLAMA Modelo RLHF basado en LLaMA, ejecutable en una sola GPU.
@juncongmoo minichatgpt es GPT/OPT... Entrenar ChatGPT en 5 minutos con ColossalAI.
@LC1332 Luotuo-Chino-LLM zh LLaMA/ChatGLM Instrucción de modelos de idioma chino perfeccionados, ¡con colaboración incluida!
@Facico Chino-Vicuña zh LLAMA Un modelo chino basado en LLaMA que sigue instrucciones, ajustado con Lora, compatible con inferencia cpp y colaboración proporcionada.
@yanqiangmiffy InstruirGLM es/zh ChatGLM-6B Modelo de seguimiento de instrucciones basado en ChatGLM, ajustado en una variedad de fuentes de datos, admite aceleración de velocidad profunda y LoRA.
alibaba wombat es LLAMA Se propone un nuevo paradigma de aprendizaje llamado RRHF, como alternativa a RLHF, que puntúa las respuestas generadas por
diferentes políticas de muestreo y aprende a alinearlas con las preferencias humanas mediante la pérdida de clasificación y el rendimiento.
es comparable a RLHF, con menos modelos utilizados en el proceso.
@WuJunde alpaca-glassoff es LLAMA Se puede ejecutar un mini Chat AI con imágenes aceptables en su propia computadora portátil, basado en Stanford-Alpaca y Alpaca-Lora.
@JosephusCheung guanaco multi llama-7b Un modelo de lenguaje multilingüe que sigue instrucciones.
@LibertadInteligencia Zoológico LLM multi BLOOMZ/LLaMA un proyecto que proporciona datos, modelos y puntos de referencia de evaluación para modelos de lenguaje grandes.
modelo lanzado: Phoenix, Quimera
SZU lily es/zh LLAMA ampliar el vocabulario chino , modelos completamente ajustados, modelos chinos más grandes basados ​​en LLaMA, agregación de datos de instrucciones en chino, detalles reproducibles...
@lamini-ai lamini multi - Generador de datos para generar instrucciones para capacitar LLM que siguen instrucciones.
Estabilidad-IA EstableVicuña es LLAMA una versión adicional con instrucciones ajustadas y entrenada en RLHF de Vicuña v0 13b, con mejor rendimiento que Vicuña.
abrazando la cara AbrazosChat es LLAMA parece ser el primero disponible para acceder como una plataforma similar a ChatGPT.
Microsoft AsistenteLM es LLAMA entrenado con 70k instrucciones evolucionadas, Evol-Instruct es un método novedoso que utiliza LLM en lugar de humanos para producir en masa automáticamente
Instrucciones de dominio abierto de varios niveles de dificultad y rango de habilidades, para mejorar el desempeño de los LLM.
FDU AbiertoChinoLLaMA es/zh llama-7b capacitar aún más a LLaMA en datos chinos, mejorando el desempeño de LLaMA en tareas chinas.
@chenfeng357 chat-chino-abiertoLLaMA es/zh LLAMA El código de entrenamiento completo del modelo Chino-Llama de código abierto, incluido el proceso completo desde la instrucción previa al entrenamiento y RLHF.
@FSoft-AI4Code CódigoCapibara es LLAMA Modelo LLaMA de código abierto que sigue el ajuste de instrucciones para la generación de código.
@mbzuai-nlp LaMini-LM es LLaMA/Flan-T5... Una manada diversa de modelos destilados a partir de instrucciones a gran escala.
UNT Panda es/zh LLAMA Mayor capacitación previa sobre datos chinos, modelos LLaMA de tamaño completo.
IBM/CMU/MIT Dromedario es LLaMA-65B Autoalineación basada en principios de modelos lingüísticos desde cero con una mínima supervisión humana.
@melodysdreamj AsistenteVicuñaLM multi Vicuña Conjunto de datos del asistente + extensión de conversación de ChatGPT + método de ajuste de Vicuña,
logrando aproximadamente un 7% de mejora en el rendimiento respecto a Vicuña.
sistemas sambanova BLOOMChat multi FLORACIÓN BLOOMChat es un modelo de chat multilingüe de 176 mil millones de parámetros. Tiene instrucciones ajustadas desde BLOOM (176B) en adelante.
conjuntos de datos de conversación estilo asistente y admite conversación, respuesta a preguntas y respuestas generativas en varios idiomas.
TII Falcon-7B-Instruir es Halcón-7B un modelo de decodificador causal de parámetros 7B creado por TII basado en Falcon-7B y ajustado en una combinación de conjuntos de datos de chat/instrucciones.
TII Falcon-40B-Instruir multi Halcón-40B un modelo de decodificador causal de parámetros 40B construido por TII basado en Falcon-40B y ajustado en una mezcla de Baize.
USTC, etc. ExpertLLaMA es LLAMA Utilice el aprendizaje en contexto para escribir automáticamente una identidad de experto personalizada y encontrar la calidad bastante satisfactoria.
Luego anteponemos la identidad de experto correspondiente a cada instrucción para producir datos aumentados de seguimiento de instrucciones.
Nos referimos al marco general como ExpertPrompting ; encontrará más detalles en nuestro artículo.
ZJU CAMA es/zh LLAMA capacitación previa adicional en curso chino sin expansión de vocabulario optimizada en las tareas de extracción de información (IE).
Está disponible un script de preentrenamiento, que incluye transformaciones, construcción y carga de corpus a gran escala, así como un script de ajuste fino de instrucciones LoRA.
JUE UltraChat es LLAMA Primero, el conjunto de datos UltraChat proporciona un rico recurso para el entrenamiento de chatbots. Segundo, al ajustar el modelo LLaMA,
Los investigadores crearon con éxito un modelo de diálogo UltraLLaMA con un rendimiento superior.
RUC YuLan-Chat es/zh LLAMA desarrollado en base a la puesta a punto de LLaMA con instrucciones de alta calidad en inglés y chino.
AI2 Tulú es LLaMA/Pitia/OPT un conjunto de modelos LLaMa completamente ajustados en una sólida combinación de conjuntos de datos.
kaist AutoFee es LLAMA LLM iterativo autorrevisable potenciado por la generación de autorretroalimentación.
@lyogavin Ánima es/zh LLAMA entrenado en base al guanaco 33B de QLoRA, ajustado para 10000 pasos.
JUE ChatGLM2-6B es/zh - ChatGLM 2 -6B es la versión de segunda generación del modelo de chat bilingüe (chino-inglés) de código abierto ChatGLM-6B.
Conserva el flujo de conversación fluido y el bajo umbral de implementación del modelo de primera generación, al tiempo que introduce las siguientes características nuevas:
-Rendimiento más fuerte
- Contexto más largo
- Inferencia más eficiente - Licencia más abierta
Chat abierto Chat abierto es Llama, etc. una serie de modelos de lenguaje de código abierto optimizados en un conjunto de datos pequeño, pero diverso y de alta calidad, de conversaciones de múltiples rondas.
Específicamente, utilizamos solo ~6.000 conversaciones GPT-4 filtradas directamente de las ~90.000 conversaciones ShareGPT.
A pesar del pequeño tamaño del conjunto de datos, OpenLLMs ha demostrado un rendimiento notable.
CAS BayLing multi LLAMA BayLing es un LLM en inglés/chino equipado con alineación avanzada del idioma,
mostrando una capacidad superior en generación de inglés/chino, seguimiento de instrucciones e interacción de múltiples turnos.
estabilidadai LibreWilly/LibreWilly2 es LLAMA/LLAMA2 FreeWilly es un modelo Llama65B ajustado en un conjunto de datos estilo Orca.
FreeWilly2 es un modelo Llama2 70B ajustado en un conjunto de datos estilo Orca.
FreeWilly2 supera a Llama2 70B en la clasificación de Huggingface Open LLM.
alibaba Qwen-7B es/zh - Versión de parámetros 7B de la serie de modelos de lenguaje grande, Qwen (abreviado Tongyi Qianwen), propuesta por Alibaba Cloud.
ZJU SaberLM es/zh LLAMA Con el rápido desarrollo de la tecnología de aprendizaje profundo, grandes modelos de lenguaje como ChatGPT han logrado avances sustanciales en el ámbito del procesamiento del lenguaje natural.
Sin embargo, estos modelos expansivos todavía enfrentan varios desafíos en la adquisición y comprensión del conocimiento, incluida la dificultad de actualizar el conocimiento y el conocimiento potencial.
discrepancias y sesgos, conocidos colectivamente como falacias del conocimiento .
El proyecto KnowLM se esfuerza por abordar estos problemas lanzando un marco de modelo de lenguaje bien informado de código abierto a gran escala y lanzando los modelos correspondientes.
NUE TecnologíaGPT es/zh LLAMA TechGPT fortalece principalmente los siguientes tres tipos de tareas:
- Varias tareas de extracción de información, como la extracción de tripletes de relaciones con la "construcción de gráficos de conocimiento" como núcleo.
- Diversas tareas inteligentes de preguntas y respuestas centradas en la "comprensión lectora".
- Varias tareas de generación de secuencias, como la generación de palabras clave, con la "comprensión de texto" como núcleo.
@MiuLab Taiwán-LLaMa es/zh LLaMA2 LLM de chino tradicional para Taiwán.
Xwin-LM Xwin-LM es LLaMA2 Xwin-LM tiene como objetivo desarrollar tecnologías de alineación de código abierto para modelos de lenguaje grandes, incluido el ajuste fino supervisado (SFT),
modelos de recompensa (RM), muestreo de rechazo, aprendizaje reforzado a partir de retroalimentación humana (RLHF), etc. Nuestra primera versión, basada en
Los modelos básicos de Llama2, clasificados como TOP-1 en AlpacaEval, son los primeros en superar a GPT-4 en este punto de referencia.
investigación-wengué yayi es/zh LLAMA/LLAMA2 YaYi se ajustó a partir de millones de datos de dominio de alta calidad construidos artificialmente. Estos datos de entrenamiento cubren cinco dominios clave:
publicidad en los medios, análisis de la opinión pública, seguridad pública, control de riesgos financieros y gobernanza urbana, que abarca más de cien tareas de instrucción del lenguaje natural.
AbrazosCara céfiro es Mistral Zephyr es una serie de modelos de lenguaje que están entrenados para actuar como asistentes útiles. Zephyr-7B-α es el primer modelo de la serie y es una versión mejorada de.
mistralai/Mistral-7B-v0.1 que se entrenó en una combinación de conjuntos de datos sintéticos disponibles públicamente utilizando la optimización de preferencias directas (DPO).
Adherirse Comando-R/Comando R+ multi - Command-R tiene la capacidad de generación multilingüe evaluada en 10 idiomas y capacidades RAG de alto rendimiento.
XAI asimilar es - 314B MoE; longitud del contexto: 8192
ladrillos de datos instrucción-dbrx - - una arquitectura de mezcla de expertos (MoE) detallada con 132 B de parámetros totales, de los cuales 36 B están activos en cualquier entrada. Fue entrenada previamente en 12 T de tokens de texto y datos de código en comparación con otros modelos MoE abiertos como Mixtral-. 8x7B y Grok-1, DBRX es de grano fino, lo que significa que utiliza una mayor cantidad de expertos más pequeños, mientras que DBRX tiene 16 expertos y elige 4. Mixtral-8x7B y Grok-1 tienen 8 expertos y eligen 2.

Fusión de modelos

contribuyente modelo/método característica principal característica principal
FusibleAI FusibleChat En primer lugar, lleva a cabo una fusión de conocimientos por pares para los LLM de origen para derivar múltiples LLM de destino de idéntica estructura y tamaño mediante un ajuste ligero. Luego, estos LLM de destino se fusionan dentro del espacio de parámetros, en el que proponemos un método novedoso VaRM para determinar los pesos de fusión. basado en la relación de variación de las matrices de parámetros antes y después del ajuste fino. una fusión de tres destacados LLM de chat con diversas arquitecturas y escalas, a saber, NH2-Mixtral-8x7B, NH2-Solar-10.7B y OpenChat-3.5-7B, logra un rendimiento promedio de 8,22 en MT-Bench, superando. varios LLM de chat potentes en escalas 7B y 34B como Starling-7B y Yi-34B-Chat, superando incluso a GPT-3.5 (marzo), Claude-2.1 y acercándose a Mixtral-8x7B-Instruct.
arcee-ai kit de fusión Herramientas para fusionar modelos de lenguaje grande antes de practicos.
Sakanaai Evollm Optimización evolutiva de recetas de fusión modelo.

Alternativas al transformador

(¿Quizás sucesores?)

contribuyente método característica principal
Parpadeo Rwkv-lm RWKV es un RNN con rendimiento de LLM a nivel de transformador.
Por lo tanto, está combinando lo mejor de RNN y Transformer: gran rendimiento, inferencia rápida, ahorra VRAM, entrenamiento rápido, CTX_LEN "Infinito" e incrustación de oraciones gratuitas.
MSRA Réget Al lograr simultáneamente el paralelismo de la capacitación, la inferencia de bajo costo y el buen rendimiento.
Luego proponemos el mecanismo de retención para el modelado de secuencia, que admite tres paradigmas de cálculo, es decir, paralelo, recurrente y fragmento recurrente.
Específicamente , la representación paralela permite el paralelismo de entrenamiento.
latencia y memoria de GPU sin sacrificar el rendimiento.
donde cada fragmento se codifica paralelo mientras resume de manera recurrente los resultados experimentales.
La capacitación paralela, la implementación de bajo costo y la inferencia eficiente.
stanford Bapcpack Abackpack es un reemplazo de un transformador que proporciona nuevas herramientas para el control de interpretabilidad a través del control y al mismo tiempo habilita modelos de lenguaje fuertes.
Las mochilas descomponen el significado predictivo de las palabras en componentes no contextualmente, y las agregan por una suma ponderada, permitiendo intervenciones precisas y predecibles.
Stanford, etc. Mezclador de monarca (M2) La idea básica es reemplazar los elementos principales de un transformador con matrices monarca, que son una clase de matrices estructuradas que generalizan el FFT y son subcadráticos,
Hardware-eficiente y expresivo.
CMU, etc. Tipo de serpiente venenosa Mamba es una nueva arquitectura de modelo de espacio de estado que muestra un rendimiento prometedor en datos densos en información, como el modelado de idiomas, donde los modelos subcuadráticos anteriores no se basan en los modelos de espacio de estado de progreso, con un diseño eficiente de hardware e implementación en el espíritu de flashatent.
Juntas computer Rayas Stripedhyena es el primer modelo alternativo competitivo con los mejores transformadores de código abierto de tamaños similares en evaluaciones de contexto corto y largo.
Stripedhyena es una arquitectura híbrida compuesta de atención de múltiples cabezas y asistentes agrupadas y convoluciones cerradas dispuestas a los bloques de inhyena, diferentes de los transformadores tradicionales solo de decodificadores.
1. Decodificación de memoria costantante en bloques de hiena mediante la representación de convoluciones como modelos de espacio de estado (forma modal o canónica), o como filtros truncados.
2. Baja latencia, decodificación más rápida y mayor rendimiento que los transformadores.
3. Mejora en las leyes de escala de capacitación e inferencia óptima, en comparación con las arquitecturas de transformadores optimizadas como LLAMA-2.
4. Entrenado en secuencias de hasta 32k, lo que le permite procesar indicaciones más largas.
Microsoft bgpt BGPT admite el modelado generativo a través de la predicción de los bytes próximos en cualquier tipo de datos y puede realizar cualquier tarea ejecutable en una computadora, mostrando la capacidad de simular todas las actividades dentro del mundo digital, con su potencial solo limitado por los recursos computacionales y nuestra imaginación.
Profundo Griffin-jax Implementación de Jax + Flax de TheGriffin: mezcla de recurrencias lineales cerradas con atención local para modelos de lenguaje eficientes, no código oficial (el código oficial aún no se publica);
La capa RG-LRU, una nueva capa recurrente lineal cerrada, alrededor de la cual diseñamos un nuevo bloque recurrente para reemplazar MQA. modelo híbrido que entrelaza MLP con una mezcla de bloques recurrentes y atención local
Griffin-3b supera a Mamba-3b, y Griffin-7b y Griffin-14b logran el rendimiento competitivo con LLAMA-2, a pesar de ser entrenados en casi 7 veces menos fichas;
AI21 Jamba Jamba es la primera implementación de Mamba a escala de producción. hasta 140k tokens en una sola GPU de 80 GB.
Meta Megalodon Megalodon hereda la arquitectura de mega (promedio móvil exponencial con atención cerrada), e introduce aún más múltiples componentes técnicos para mejorar su capacidad y estabilidad, incluido el promedio móvil exponencial complejo (CEMA), la capa de normalización de tiempo de tiempo, el mecanismo de atención normalizado y la norma previa con dos -Hop Configuración residual.

Ministerio de Educación

contribuyente modelo/proyecto característica principal
mistalai Mixtral-8x7b El modelo de lenguaje grande MIXTRAL-8X7B (LLM) es una mezcla de expertos en la mayoría de los expertos en la mayoría de los puntos de referencia que probamos.
Shanghai AI Lab, etc. Llama-Moe Un modelo MOE pequeño y asequible basado en Llama y Slimpajama.
Nus, etc. Puro Una familia de modelos de lenguaje grande de la mezcla de expertos (MOE) de código abierto.
Copo de nieve Ártico Arctic utiliza una arquitectura de transformador híbrido denso-moe único.

Multimodal

contribuyente proyecto idioma modelo base característica principal
Baihaiaien Idpchat es/zh Llama-13b
Difusión estable		 Abrir modelo multimodal chino, GPU único ejecutable, fácil de implementar, proporcionada por la interfaz de usuario.
KAUST MiniGPT-4 es/zh LLAMA Minigpt-4 alinea un codificador visual congelado de Blip-2 con un LLM congelado, Vicuna, usando solo una capa de proyección,
y produce muchas capacidades emergentes en idioma de visión similares a las demostradas en GPT-4.
MSR, etc. Llava es LLAMA Se propone un ajuste de instrucciones visuales para construir modelos de lenguaje y visión grandes con capacidades de nivel GPT-4.
NUS/THU Vpgtrans es LLAMA/OPT/
Flan-t5/blip-2
...		 Transferir VPG a través de LLM para construir VL-LLM a un costo significativamente más bajo.
Se puede reducir más de 10 veces y los datos de entrenamiento se pueden reducir a alrededor del 10%.
Se lanzan dos novedosas VL-LLM a través de VPGTRANS, incluidos VL-LLAMA y VL-Vicuna .
VL-LLAMA es una versión de versión multimodal al transferir el Blip-2 Opt-6.7B a Llama a través de VPGTRANS.
VL-Vicuna es un chatbot multimodal tipo GPT-4, basado en Vicuna LLM.
CAS, etc. X-llm es/zh ChatGLM-6B X-llm convierte multimodalidades (imágenes, discursos, videos) en idiomas extranjeros que usan interfaces X2L y las alimentan con
Un modelo de idioma grande (CHATGLM) para lograr un LLM multimodal, logrando impresionantes capacidades de chat multimodal.
NTU Nutria es AbiertoFlamingo Un modelo multimodal basado en OpenFlamingo (versión de código abierto de Deepmind's Flamingo),
Entrenado en MIMIC-IT y mostrando una capacidad mejorada de seguimiento de instrucciones y aprendizaje en contexto.
Futhermore, optimizar la implementación de OpenFlamingo, democratizando lo requerido
Recursos de capacitación de 1x A100 GPU a 4X RTX-3090 GPU.
Xmu Lavado es LLAMA Proponga una solución novedosa y asequible para el ajuste de instrucciones en el idioma de la visión, a saber, la adaptación de la mezcla de modalidad (MMA).
Particularmente, MMA es un régimen de optimización de extremo a extremo, que conecta el codificador de imagen y LLM a través de adaptadores livianos.
Mientras tanto, también proponemos un algoritmo de enrutamiento novedoso en MMA, que puede ayudar al modelo a cambiar automáticamente las rutas de razonamiento
para instrucciones de una sola y multimodal.
USTC Pájaro carpintero - - El primer trabajo para corregir la alucinación en modelos de lenguaje grande multimodal.
hpcaitech Sora abierta - - Alternativa de código abierto a Openi Sora.

Ver también: Awesome-Multimodal-Large-Language-Models

Datos

Datos previos al pretrin

contribuyente datos/proyecto idioma característica principal
Juntas computer Datos de Redpajama es Una receta de código abierto para reproducir el conjunto de datos de entrenamiento de llamas.
@orfebre Wikipedia multi Un envoltorio pitónico para la API de Wikipedia.

Datos de instrucción

Ver recopilación de datos de alpaca-cot

contribuyente datos idioma característica principal
fuerza de ventas Diálogo es DialogStudio: hacia los modelos de colección de conjuntos y instrucciones de datos unificados más ricos y diversos para la IA conversacional.

Generación de datos sintéticos

contribuyente método característica principal
UW, etc. autoinstrucción utilizando las propias generaciones del modelo para crear una gran colección de datos de instrucción.
@Liuhc0428 Instrucción de sí mismo confiable Use ChatGPT para generar algunas preguntas y respuestas basadas en un texto determinado.
PKU Evol-Instructo Un método novedoso, propuesto inwizardlm, mediante el uso de LLM en lugar de humanos para producir automáticamente el dominio abierto en masa
Instrucciones de varios niveles de dificultad y rango de habilidades, para mejorar el rendimiento de los LLM.
KAUST, etc. CAMELLO Se propone un nuevo marco de agente comunicativo llamado juego de roles , que implica el uso de inicios para guiar a los agentes de chat
hacia la finalización de la tarea mientras mantiene la consistencia con las intenciones humanas.
El juego de roles se puede utilizar para generar datos de conversación en una tarea/dominio específico.
@Chatarena Chatarena Una biblioteca que proporciona entornos de juego de idiomas de varios agentes y facilita la investigación sobre los agentes autónomos de LLM y sus interacciones sociales.
Proporciona un marco flexible para definir múltiples jugadores, entornos y las interacciones entre ellos, basadas en el proceso de decisión de Markov.

Evaluación

contribuyente método característica principal
- evaluación humana -
Abierto AI Gpt-4/chatgpt -
PKU/CMU/MSRA ... Pandalmo Evaluación del modelo de lenguaje reproducible y automatizado.
UCB Chatbot Arena Chatear con dos modelos anónimos de lado a lado y votar por lo que uno es mejor,
Luego use el sistema de calificación ELO para calcular el rendimiento relativo de los modelos.
Stanford AlpacaEval Evaluación GPT-4/Claude DataSet OnalPacafarm.
clueai Supercluyelyb Versión china de Chatbot Arena desarrollada por Clueai.
Sjtu, etc. Auto-j Un nuevo juez generativo de código abierto que puede evaluar efectivamente diferentes LLM sobre cómo se alinean con la preferencia humana.
UMC Codebertscore Una métrica automática para la generación de código, basada en Bertscore.
Como Bertscore, CodeBertScore aprovecha los incrustaciones contextuales previamente capacitadas de un modelo como CodeBert y coincide con las palabras en el candidato y las oraciones de referencia por similitud de coseno.
De manera diferente a Bertscore, CodeBertScore también codifica la entrada del lenguaje natural u otro contexto junto con el código generado, pero no utiliza ese contexto para calcular las similitudes de coseno.

Punto de referencia

Estado actual de la evaluación doméstica del modelo grande

contribuyente punto de referencia característica principal
princeton banco SWE Un punto de referencia para evaluar modelos de idiomas grandes en los problemas de software del mundo real recopilados de Github.
Un modelo de idioma tiene la tarea de generar un parche que resuelva el problema descrito.
Microsoft Agente Un punto de referencia centrado en el ser humano diseñado específicamente para evaluar las habilidades generales de los modelos fundamentales en tareas pertinentes a la cognición humana y la resolución de problemas.
clueai Agente de superclue Comité de referencia de evaluación del agente basado en tareas nativas chinas.
byte GPT-FATHOM GPT-Fathom es un conjunto de evaluación LLM de código abierto y reproducible, BRIGULADORA DEL LLMS de código abierto y de código cerrado, así como los modelos anteriores de OpenAI en más de 20 puntos de referencia seleccionados en configuraciones alineadas.

Tabla de clasificación

OpenCompass, Huggingface

Marco/kit de herramientas/plataforma

contribuyente proyecto característica principal
CAS Alpaca-CoT Extienda los datos de cuna a Alpaca para aumentar su capacidad de razonamiento.
Objetivos de construir una plataforma de Finetuning (IFT) de instrucciones con una amplia recopilación de instrucciones (especialmente los conjuntos de datos de cuna)
y una interfaz unificada para varios modelos de idiomas grandes.
@hiyouga Catglm-eficiente-ajuste CHATGLM-6B eficiente con PEFT.
@hiyouga Ajuste de eficiencia Llama de ajuste fino con PEFT (PT+SFT+RLHF con Qlora).
@jianzhnie Eficiente-LLM Fineting eficiente de Qlora LLMS.
ColosalAI ColosalChat Una solución de bajo costo de código abierto para cloningchatgpt con una tubería RLHF completa.
Microsoft chat de tierra profunda Capacitación RLHF fácil, rápida y asequible de modelos tipo CHATGPT en todas las escalas.
Laion-AI Asistente abierto Un proyecto destinado a dar a todos acceso a un excelente modelo de idioma grande basado en chat.
Hkust Lmflow Una caja de herramientas extensible, conveniente y eficiente para sintonizar modelos de aprendizaje automático grandes,
diseñado para ser fácil de usar, rápido y confiable, y ACC
Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo