Descarga awesome language model analysis - awesome language model analysis Descarga de código fuente

Impresionante análisis del modelo de lenguaje

Esta lista de artículos se centra en el análisis teórico y empírico de los modelos de lenguaje, especialmente los modelos de lenguaje grandes (LLM). Los artículos de esta lista investigan el comportamiento de aprendizaje, la capacidad de generalización y otras propiedades de los modelos lingüísticos mediante análisis teórico, análisis empírico o una combinación de ambos.

Alcance de esta lista:

Actualmente, esta lista se centra en modelos basados en transformadores .
Esperamos recopilar artículos que solo se centren en el análisis teórico y empírico de modelos lingüísticos, en lugar de artículos que apunten a mejorar el rendimiento de los modelos lingüísticos.

Limitaciones de esta lista:

Esta lista no es exhaustiva y es posible que nos perdamos algunos artículos muy importantes.
Esta lista aún no está bien organizada y es posible que necesitemos reorganizarla en el futuro.
Algunos temas populares aún no están bien tratados, como la ingeniería mecanicista, el sondeo y la interpretabilidad.

Estadísticas de esta lista de artículos:

Número total de artículos diferentes: 550
Para obtener estadísticas más detalladas, consulte el final de esta página.

Si tiene alguna sugerencia o desea contribuir, no dude en abrir un problema o una solicitud de extracción.

Para obtener detalles sobre cómo contribuir, consulte las pautas de contribución.

También puede compartir sus pensamientos y discutir con otros en las Discusiones.

Nota

Para la versión sin categoría, consulte aquí.

Tabla de contenido

Impresionante análisis del modelo de lenguaje
Tabla de contenido
- Fenómenos de interés
  - Aprendizaje en contexto
  - Cadena de pensamiento
  - Alucinación
  - Maldición de reversión
  - Leyes de escala / Habilidades emergentes / Grokking / etc.
  - Mecanismos de conocimiento/memoria
  - Dinámica de entrenamiento / Paisaje / Optimización / Ajuste fino / etc.
  - Aprendizaje / Generalización / Razonamiento / Generalización de débil a fuerte
  - Otros fenómenos / descubrimientos
- Capacidad Representacional
  - ¿Qué puede hacer el transformador? / Propiedades del transformador
  - ¿Qué no puede hacer el transformador? / Limitación del transformador
- Efectividad arquitectónica
  - Normalización de capas
  - Tokenización / Incrustación
  - Atención lineal / Modelos de espacio de estados / Modelos de lenguaje recurrente / etc.
- Paradigmas de entrenamiento
- Ingeniería Mecanística / Sondeo / Interpretabilidad
- Miscelánea

Fenómenos de interés

^ back to top ^

Categorías que se centran en diferentes fenómenos, propiedades y comportamientos observados en modelos de lenguaje grande (LLM) y modelos basados en transformadores.

Aprendizaje en contexto

^ back to top ^

Artículos centrados en el análisis teórico y empírico del aprendizaje en contexto en grandes modelos lingüísticos.