GenAI_Papers

GenAI_Papeles

Este proyecto contiene una lista de artículos de investigación interesantes en el campo de GenAI.

Temas

1. Descripción general
2. Objetivos
3. Alcance y contexto
4. Artículos de investigación
5. Registros de aprendizaje

---

Descripción general

Este repositorio está dedicado a la agregación y discusión de investigaciones innovadoras en el campo de la IA generativa.

La IA generativa, o GenAI, se refiere al subconjunto de la inteligencia artificial centrada en la creación de contenido nuevo, que va desde texto e imágenes hasta código y más. La colección de artículos incluidos en este documento abarca una variedad de temas dentro de GenAI, como redes generativas adversas (GAN), codificadores automáticos variacionales (VAE) y modelos basados ​​en transformadores.

Este compendio sirve como recurso para académicos, profesionales y entusiastas que buscan avanzar en el estado del arte en la generación de contenido impulsado por IA.

Objetivos

Los objetivos principales de este repositorio son:

1. Consolidación de conocimientos : centralizar artículos de investigación fundamentales y de vanguardia que definen y hacen avanzar el campo GenAI.
2. Colaboración comunitaria : fomentar un entorno colaborativo donde la comunidad de investigación Gen AI pueda compartir, discutir y criticar ideas y hallazgos.
3. Promoción de la innovación : inspirar y guiar nuevas iniciativas de investigación y aplicaciones prácticas de las tecnologías GenAI.
4. Integración interdisciplinaria : fomentar la polinización cruzada de ideas de diversos campos como la informática, la psicología cognitiva y las artes digitales para enriquecer la investigación GenAI.

Alcance y contexto

Alcance

El alcance de este repositorio es abarcar una amplia gama de investigaciones dentro de GenAI, que incluyen, entre otras:

• Fundamentos teóricos de los modelos generativos.
• Avances técnicos en el diseño de algoritmos.
• Aplicaciones de GenAI en diversos dominios (por ejemplo, arte, atención médica, desarrollo de software)
• Consideraciones éticas e impactos sociales de GenAI

Contexto

El campo GenAI está situado en la intersección de múltiples disciplinas. Aprovecha el aprendizaje profundo, el modelado estadístico y la creatividad computacional para generar resultados novedosos que pueden imitar o incluso superar la creatividad a nivel humano en ciertos aspectos. Con el rápido ritmo de avance de la IA, es crucial mantener una visión clara y organizada del progreso en esta área, que este repositorio pretende proporcionar.

Artículos de investigación

Nota: No en un orden particular.

Clasificación

Categoría	Papeles	Descripción
Modelos de lenguaje e IA general	1, 10, 11, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 31, 34, 35, 36, 37, 38, 40, 41, 42, 43, 44, 45, 48, 54, 56, 58, 60, 66, 69, 74, 76, 79, 80, 82, 84, 86, 87, 89, 90, 92, 93, 95, 98, 99, 101, 103, 104	Artículos relacionados con modelos de lenguaje, sus aplicaciones, consideraciones éticas y mejoras en la formación o funcionalidad.
Integración de visión y lenguaje	3, 4, 29, 30, 33, 64	Centrándose en la integración de datos visuales con modelos de lenguaje, incluidos transformadores de visión y personalización de texto a imagen.
Mecanismos de Atención y Transformadores	8, 9, 25, 28, 73	Discutir la teoría de la atención en el aprendizaje profundo y la optimización de modelos de transformadores.
Música e IA creativa	5	Un artículo único sobre la generación de música utilizando IA.
Síntesis de imágenes de alta resolución	6, 7, 63	Discutir la síntesis de imágenes de alta resolución utilizando modelos de difusión y transformadores de visión.
Eficiencia y escalamiento en IA	2, 25, 26, 27, 28, 59, 61, 71, 72, 83, 88, 97	Cubriendo la eficiencia de la IA en términos de memoria, inferencia y escalamiento.
Impacto ambiental de la IA	12	Un artículo único que se centra en el impacto ambiental de los sistemas de IA.
IA centrada en el diálogo y la interacción	13, 24, 34, 35, 36, 37, 39, 53, 67, 81, 91	Involucrando aplicaciones y plataformas de diálogo para agentes lingüísticos interactivos.
Mejora de la IA y metaaprendizaje	27, 31, 32, 37, 46, 47, 49, 55, 57, 62, 65, 68, 70, 75, 78, 96	Sobre la mejora de las capacidades de IA mediante la superación personal, la optimización de preferencias y la destilación.
Aplicaciones diversas de IA	29, 30, 33, 50, 52, 77, 85, 94, 100, 102	Discutir aplicaciones específicas de IA, como normas de sentido común y ajuste de instrucciones visuales.

Lista completa

1. Mejora de CLIP con GPT-4: aprovechamiento de descripciones visuales como indicaciones
2. EfficientViT: Transformador de visión eficiente en memoria con atención grupal en cascada
3. Edición de rango uno con llave para personalización de texto a imagen
4. ELIXR: Hacia un sistema de inteligencia artificial de rayos X de uso general mediante la alineación de grandes modelos de lenguaje y codificadores de visión radiológica
5. Generación de música simple y controlable
6. Síntesis de imágenes de alta resolución con modelos de difusión latente
7. Todo vale la pena: una columna vertebral de ViT para modelos de difusión
8. Atención es todo lo que necesitas
9. Una visión matemática de los modelos de atención en el aprendizaje profundo
10. Mejorar la comprensión del lenguaje mediante preentrenamiento generativo
11. Modelos de lenguaje grandes y la prueba de Turing inversa
12. Estimación de la huella de carbono de Bloom, un modelo de lenguaje de parámetros 176b
13. LaMDA: modelos de lenguaje para aplicaciones de diálogo
14. Gorilla: modelo de lenguaje grande conectado con API masivas
15. Modelos fundamentales para problemas, métodos y oportunidades de toma de decisiones
16. Entrenamiento previo continuo de modelos de lenguaje
17. ¿Hasta dónde pueden llegar los camellos? Explorando el estado del ajuste de la instrucción en recursos abiertos
18. Alpagasus: entrenando una mejor alpaca con menos datos
19. Riesgos éticos y sociales de daño proveniente de los modelos lingüísticos
20. Evaluación holística de modelos lingüísticos
21. Sobre el riesgo de contaminación por desinformación con grandes modelos lingüísticos
22. La capacidad de autocorrección moral en grandes modelos lingüísticos
23. HONESTO: Medición de la finalización de oraciones hirientes en modelos lingüísticos
24. ReAct: sinergizando el razonamiento y la actuación en modelos lingüísticos
25. Escalamiento eficiente de la inferencia de transformadores
26. Hipopótamos hambrientos: hacia el modelado del lenguaje con modelos de espacio de estados
27. Promptbreeder: superación personal autorreferencial a través de Prompt Evolution
28. Modelos de lenguaje de transmisión eficientes con receptores de atención
29. Ajuste de instrucciones visuales
30. Líneas de base mejoradas con ajuste de instrucciones visuales
31. Optimización directa de preferencias: su modelo lingüístico es secretamente un modelo de recompensa
32. Distil-Whisper: destilación sólida de conocimientos mediante pseudoetiquetado a gran escala
33. Leer libros es genial, ¡pero no si estás conduciendo! Razonamiento visualmente fundamentado sobre normas de sentido común anulables
34. TeacherLM: Enseñar a pescar en lugar de dar el pescado, modelar el lenguaje de la misma manera
35. Self-RAG: aprender a recuperar, generar y criticar a través de la autorreflexión
36. InstructRetro: Preentrenamiento mejorado con recuperación posterior de ajuste de instrucciones
37. OpenAgents: una plataforma abierta para agentes lingüísticos en la naturaleza
38. Los modelos de lenguaje grandes comprenden y pueden mejorar mediante estímulos emocionales
39. Agentes Comunicativos para el Desarrollo de Software
40. Los modelos de lenguaje grandes son ingenieros rápidos a nivel humano
41. Las indicaciones de menor a mayor permiten un razonamiento complejo en modelos de lenguaje grandes
42. La autoconsistencia mejora el razonamiento de la cadena de pensamiento en modelos de lenguaje
43. Los modelos de lenguaje pueden ser solucionadores lógicos
44. Perdido en el medio: cómo los modelos de lenguaje utilizan contextos largos
45. Instigación contrastiva de la cadena de pensamiento
46. RankZephyr: ¡La reclasificación por lista de disparo cero eficaz y sólida es muy sencilla!
47. LLM en un instante: inferencia eficiente de modelos de lenguaje grande con memoria limitada
48. PowerInfer: modelo rápido de lenguaje grande que funciona con una GPU de consumo
49. Funciones de pérdida centradas en el ser humano (HALO)
50. ¿Un retador del GPT-4V? Primeras exploraciones de Géminis en la experiencia visual
51. Inferencia distribuida y ajuste de modelos de lenguaje grandes a través de Internet
52. GAIA: Generación de avatar parlante Zero-shot
53. AGENTES DORMIENTES: ENTRENAMIENTO DE LLMS ENGAÑOSOS QUE PERSISTEN A TRAVÉS DEL ENTRENAMIENTO DE SEGURIDAD
54. LLMLingua: compresión de indicaciones para la inferencia acelerada de modelos de lenguaje grandes
55. Fundamentos de la recuperación de vectores
56. Modelos de lenguaje autogratificantes
57. BloombergGPT: un gran modelo lingüístico para las finanzas
58. Mistral 7B
59. Redes neuronales escandalosamente grandes: la capa de mezcla de expertos escasamente conectada
60. MegaBlocks: entrenamiento disperso eficiente con una combinación de expertos
61. La combinación de expertos se une al ajuste de instrucciones: una combinación ganadora para modelos de lenguaje grandes
62. Orca 2: Enseñar modelos de lenguaje pequeños a razonar
63. ConvNets combina transformadores de visión a escala
64. Emu Video: Factorización de la generación de texto a video mediante condicionamiento explícito de imagen
65. Pythia: una suite para analizar modelos de lenguaje grandes mediante entrenamiento y escalamiento
66. Llama 2: Fundación abierta y modelos de chat optimizados
67. QLoRA: ajuste eficiente de LLM cuantificados
68. RAG versus ajuste: oleoductos, compensaciones y un estudio de caso sobre agricultura
69. Entrenar modelos de lenguaje para seguir instrucciones con retroalimentación humana.
70. Detección de LLM con binoculares: detección de disparo cero de texto generado por máquina
71. Redes dispersas desde cero: entrenamiento más rápido sin perder rendimiento
72. ZeRO: optimizaciones de memoria para entrenar modelos de billones de parámetros
73. Transformadores de conmutación: escalamiento a modelos de billones de parámetros con escasez simple y eficiente
74. DeepSeekMoE: hacia la máxima especialización experta en modelos de lenguajes de mezcla de expertos
75. MoE-Mamba: Modelos espaciales de estados selectivos eficientes con una mezcla de expertos
76. Code Llama: Modelos de base abiertos para código
77. LLaMA Pro: LLaMA progresivo con expansión de bloques
78. El ajuste fino de reproducción automática convierte modelos de lenguaje débiles en modelos de lenguaje fuertes
79. Mezclador Monarch: una arquitectura simple subcuadrática basada en GEMM
80. Multiagentes basados ​​en modelos de lenguaje grande: una encuesta sobre el progreso y los desafíos
81. Generación de recuperación aumentada para modelos de lenguaje grandes: una encuesta
82. ReAugKD: destilación de conocimientos con recuperación aumentada para modelos de lenguaje previamente entrenados
83. La era de los LLM de 1 bit: todos los modelos de lenguajes grandes están en 1,58 bits
84. Ayudar a escribir artículos similares a Wikipedia desde cero con modelos de lenguaje grandes
85. RAPTOR: Procesamiento abstractivo recursivo para la recuperación organizada en árboles
86. Más allá de A*: mejor planificación con Transformers mediante el arranque de dinámica de búsqueda
87. Conjuntos de datos para modelos de lenguaje grandes: una encuesta completa
88. Un compilador LLM para llamadas a funciones paralelas
89. La cadena de pensamiento provoca el razonamiento en modelos de lenguaje grandes
90. Indicaciones para planificar y resolver: mejorar el razonamiento en cadena de pensamiento de disparo cero mediante modelos de lenguaje grandes
91. ReWOO: desacoplamiento del razonamiento de las observaciones para modelos de lenguaje aumentado eficientes
92. StructLM: Hacia la construcción de modelos generalistas para una base estructurada del conocimiento
93. Una evaluación crítica de la retroalimentación de la IA para alinear modelos de lenguaje grandes
94. ¿Son más llamadas de LLM todo lo que necesita? Hacia las leyes de escala de los sistemas de inferencia compuestos
95. ¿Son las capacidades emergentes de los grandes modelos lingüísticos un espejismo?
96. Yi: Modelos de Fundación Abierta por 01.AI
97. ORPO: Optimización de preferencias monolíticas sin modelo de referencia
98. ¿Los modelos de lenguaje grandes entienden la lógica o simplemente imitan el contexto?
99. Evaluación de modelos de lenguaje grandes entrenados en código
100. Autorrefinamiento: refinamiento iterativo con autorretroalimentación
101. Reflexión: Agentes del lenguaje con aprendizaje por refuerzo verbal
102. MM-REACT: Impulsando ChatGPT para el razonamiento y la acción multimodal
103. HuggingGPT: Resolviendo tareas de IA con ChatGPT y sus amigos en Hugging Face
104. AutoGen: Habilitación de aplicaciones LLM de próxima generación a través de conversaciones entre múltiples agentes
105. Megalodon: preentrenamiento e inferencia eficientes de LLM con longitud de contexto ilimitada
106. Una encuesta sobre aplicaciones de IA generativa
107. MAC-SQL: un marco de colaboración multiagente para texto a SQL
108. Prometheus 2: un modelo de lenguaje de código abierto especializado en evaluar otros modelos de lenguaje
109. MetaGPT: metaprogramación para un marco colaborativo de múltiples agentes
110. Comprensión de las capacidades de razonamiento de los transformadores mediante algoritmos gráficos
111. Desterrar las alucinaciones del LLM requiere repensar la generalización
112. Su contexto no es una matriz: revelando las limitaciones de acceso aleatorio en Transformers
113. LLM Lies: las alucinaciones no son errores, sino características como ejemplos contradictorios
114. Memoria^3: Modelado del lenguaje con memoria explícita
115. Decodificación neurológica: generación de texto neuronal (no) supervisada con restricciones de lógica de predicados
116. LOTUS: Habilitación de consultas semánticas con LLM sobre tablas de datos estructurados y no estructurados
117. Text2SQL no es suficiente: unificando la IA y las bases de datos con TAG
118. Razonamiento en cadena de pensamiento sin indicaciones
119. La cadena de pensamiento permite a los transformadores resolver problemas inherentemente seriales
120. El orden de las premisas es importante en el razonamiento con modelos de lenguaje grandes
121. Enseñar modelos de lenguaje grandes para que se autodepuren
122. SciAgents: Automatización del descubrimiento científico mediante razonamiento gráfico inteligente de múltiples agentes
123. Géminis 1.5: desbloquear la comprensión multimodal a través de millones de tokens de contexto
124. Generación aumentada de recuperación agente para análisis de series temporales
125. Ajuste de reflexión: el reciclaje de datos mejora el ajuste de instrucciones de LLM
126. OLMoE: modelos de lenguaje abiertos de mezcla de expertos
127. Quiet-STAR: Los modelos lingüísticos pueden aprender a pensar antes de hablar
128. Agente Q: Razonamiento y aprendizaje avanzados para agentes autónomos de IA
129. Verifiquemos paso a paso
130. Aprenda más allá de la respuesta: entrenamiento de modelos lingüísticos con reflexión para el razonamiento matemático
131. V-STaR: Verificadores de formación para razonadores autodidactas
132. Memoria de flujo de trabajo del agente
133. Texto conversacional a SQL: una odisea hacia la vanguardia y los desafíos futuros
134. Guiar a los LLM de la manera correcta: generación restringida rápida y no invasiva
135. Mejora de las capacidades de texto a SQL de pocas oportunidades de modelos de lenguaje grandes: un estudio sobre estrategias de diseño rápido
136. Conversión eficiente de texto a SQL sin esquema utilizando modelos de lenguaje grandes
137. SQL-to-Schema mejora la vinculación de esquemas en Text-to-SQL
138. CodeS: hacia la creación de modelos de lenguaje de código abierto para texto a SQL
139. Una comprensión teórica de la cadena de pensamiento: razonamiento coherente y demostración consciente de los errores
140. Instrucciones basadas en principios son todo lo que necesita para cuestionar LLaMA-1/2, GPT-3.5/4
141. Dirigir modelos de lenguaje grandes entre la ejecución de código y el razonamiento textual
142. Pionero de final abierto emparejado (POET): generando sin cesar entornos de aprendizaje cada vez más complejos y diversos y sus soluciones

Registros de aprendizaje

Fecha	Aprendiendo