llm table survey

Encadenamiento

Tabla de contenido

• Encadenamiento

• Puntos de referencia

• Conjuntos de datos

• Modelo de lenguaje grande

• Entrenamiento de mesa de la era anterior a LLM

• Ajuste de instrucciones de tabla

• Código LLM

• Híbrido de tabla y código

• Comprensión y extracción de la tabla multimodal

• Representación

• Incitación

• Herramientas

• Encuesta

• NL2SQL

• Tabla QA

• Hoja de cálculo

• Marco de tareas múltiples

• Tabla de contenido

• Lista de papeles

• Conjuntos de datos y puntos de referencia

Lista de papeles

Modelo de lenguaje grande

• GPT-3, los modelos de idiomas son alumnos de pocos disparos. Neurips 20. [Documento]

• T5, explorando los límites del aprendizaje de transferencia con un transformador de texto a texto unificado. [Papel]

• Los modelos de lenguaje Flan, Finetuned son alumnos de cero disparos. ICLR 22. [Documento] [Código]

• DPO, optimización de preferencias directas: su modelo de idioma es secretamente un modelo de recompensa. Neurips 23. [Documento]

• PEFT, el poder de la escala para la sintonización rápida de los parámetros. EMNLP 21. [Documento]

• Lora, Lora: adaptación de bajo rango de modelos de idiomas grandes. ICLR 22. [Documento]

• La impulso de la cadena de pensamiento, la provisión de la cadena de pensamiento provoca un razonamiento en modelos de idiomas grandes. Neurips 22. [Documento]

• La solicitud de menor a mayoría, la solicitud de menor a mayor parte permite un razonamiento complejo en modelos de idiomas grandes. ICLR 23. [Documento]

• La autoconsistencia, la autoconsistencia mejora el razonamiento de la cadena de pensamiento en los modelos de idiomas. ICLR 23. [Documento]

• React, reaccionar: sinergizando razonamiento y actuación en modelos de idiomas. ICLR 23. [Documento] [Código]

Entrenamiento de mesa de la era anterior a LLM

• Tabert, Tabert: Pretratrening para la comprensión conjunta de datos textuales y tabulares. ACL 20 Main. [Documento] [código]

• TAPEX, TAPEX: Pres prevista en la mesa mediante el aprendizaje de un albacea neuronal SQL. ICLR 22. [Paper] [Código] [Modelos]

• Tabbie, Tabbie: representaciones previas a los datos tabulares. NAACL 21 Main. [Documento] [código]

• Turla, Turla: comprensión de la tabla a través del aprendizaje de representación. VLDB 21. [Documento] [Código]

• Ressql, RessQL: enlace de esquema de desacoplamiento y análisis de esqueleto para texto a SQL. Aaai 23. [documento] [código]

• UnifiedSkg, UnifiedSkg: un conocimiento estructurado de unificación y multitarea con base en modelos de lenguaje de texto a texto. EMNLP 22 Main. [Documento] [código]

• Hoja de cálculo Coder, Hoja de cálculo: predicción de fórmula del contexto semiestructurado. ICML 21. [Paper] [Código]

Ajuste de instrucciones de tabla

• Table-GPT, Tabla-GPT: GPT ajustado por tabla para diversas tareas de tabla. ARXIV 2023. [Documento]

• Tablellama, Tablellama: hacia los grandes modelos generalistas abiertos para tablas. NAACL 24. [PAPEL] [Código] [Modelo: Tablellama 7B] [DataSet: TableStruct]

Código LLM

• Codex, evaluando modelos de idiomas grandes capacitados en código. ARXIV 21. [Documento]

• Starcoder, Starcoder: ¡Que la fuente esté contigo!. TMLR 23. [Paper] [Código] [Modelos]

• Code Llama, Code Llama: Open Foundation Models for Code. ARXIV 23. [Documento] [Código]

• Wizardlm, Wizardlm: Empoderar grandes modelos de lenguaje previamente capacitados para seguir instrucciones complejas. ICLR 24. [Papel] [Modelo: Wizardlm 13b] [Modelo: WizardLM 70B]

• WizardCoder, WizardCoder: Código de empoderamiento de modelos de lenguaje grande con Evol-Instructo. ICLR 24. [Paper] [Código] [Modelos: WizardCoder 15B]

• Magicoder, Magicoder: el código fuente es todo lo que necesitas. ICML 24. [Paper] [Código] [Modelos 6.7B/7B]

• Lemur, Lemur: armonización del lenguaje natural y el código para los agentes del lenguaje. ICLR 24. [Paper] [Código] [Modelo: Lemur 70b] [Modelo: Lemur 70b Chat]

• Infiagente-dabench, infiagent-dabench: evaluación de agentes en tareas de análisis de datos. ICML 24. [Paper] [Código]

Híbrido de tabla y código

• TABLELLM, TABLELLM: habilitando la manipulación de datos tabulares por LLM en escenarios de uso de la oficina reales. [Documento] [Modelo Tablellm 7b] [Modelo Tablellm 13B]

• Structlm, Structlm: Hacia la construcción de modelos generalistas para la conexión a tierra de conocimiento estructurado. ARXIV 24. [PAPEL] [MODELO: STRUSTLM 7B] [MODELO: STRUSTLM 13B] [MODELO: STRUSTLM 34B] [DataSet: SkGinStruct]

Ajuste fino de los parámetros

• FINSQL, FINSQL: marco de texto a SQL basado en Model-Agnóstico LLMS para el análisis financiero. Sigmod Companion 24. [[Paper] (https://arxiv.org/pdf/2401.10506)]

Optimización de preferencias directas

• Sentido, sintetizando datos de texto a SQL de LLM débiles y fuertes. ACL 24. [Documento]

Modelo de lenguaje pequeño + modelo de lenguaje grande

• ZeronL2SQL, que combina modelos de lenguaje pequeños y modelos de idiomas grandes para NL2SQL de disparo cero. VLDB 24. [Documento]

Comprensión y extracción de la tabla multimodal

• Layoutlm, Layoutlm: previa al entrenamiento de texto y diseño para la comprensión de la imagen del documento. KDD 20. [Documento]

• Puntabnet, reconocimiento de tabla basado en imágenes: datos, modelo y evaluación. ECCV 20. [Documento] [Código y datos]

• Table-Llava, comprensión de la tabla multimodal. ACL 24. [Paper] [Código] [Modelo]

• TABLELVM, TABLEVLM: pretruento multimodal para el reconocimiento de la estructura de la tabla. ACL 23. [Documento]

• PIXT3, PIXT3: Generación de tabla a texto basada en píxeles. ACL 24. [Documento]

Representación

• Representación tabular, operadores ruidosos e impactos en las tareas de comprensión de la estructura de la tabla en LLM. Neurips 2023 Taller de aprendizaje de reproducción de la segunda tabla. [Papel]

• Hoja de cálculo, Hoja de cálculo: codificación de hojas de cálculo para modelos de idiomas grandes. ARXIV 24. [Documento]

• Mejora de las capacidades de texto a SQL de modelos de idiomas grandes: un estudio sobre estrategias de diseño inmediato. EMNLP 23. [Documento] [Código]

• Tablas como textos o imágenes: evaluar la capacidad de razonamiento de la tabla de LLM y MLLMS. ARXIV 24. [Documento]

Incitación

NL2SQL

• El amanecer del lenguaje natural a SQL: ¿Estamos completamente listos? VLDB 24. [Documento] [Código]

• MCS-SQL, MCS-SQL: aprovechando múltiples indicaciones y selección de opción múltiple para la generación de texto a SQL. [Papel]

• DIN-SQL, DIN-SQL: aprendizaje en contexto descompuesto de texto a SQL con incomposición de autocorrección, descomposición. Neurips 23. [Documento] [Código]

• Dail-SQL, texto a SQL capacitado por modelos de idiomas grandes: una evaluación de referencia. VLDB 24. [Documento] [Código]

• C3, C3: Texto a SQL de disparo cero con chatgpt. ARXIV 24. [Documento] [Código]

Tabla QA

• Los modelos Dater, Language Language son descomponedores versátiles: descomponen la evidencia y las preguntas para el razonamiento basado en la mesa. Sigir 23. [Documento] [Código]

• Binder, modelos de lenguaje vinculante en idiomas simbólicos. ICLR 23. [Documento] [Código]

• Reactable, reactable: Mejora de reaccionar para la respuesta de las preguntas de la tabla. VLDB 24. [Documento] [Código]

• E5, E5: Análisis de tabla jerárquica de disparo cero utilizando LLM aumentados a través de Explicar, extraer, ejecutar, exhibir y extrapolar. NAACL 24. [Documento] [Código]

• Cadena de mesa, cadena de mesa: tablas en evolución en la cadena de razonamiento para la comprensión de la tabla. ICLR 24. [Documento]

• ITR, un retriever de mesa interno para la respuesta de la mesa robusta. ACL 23. [Documento]

• Li-Rage, Li-Rage: Generación aumentada de recuperación de interacción tardía con señales explícitas para la respuesta de la tabla de dominio abierto. ACL 23. [Documento]

Hoja de cálculo

• SheetCopilot, SheetCopilot: Traer la productividad del software al siguiente nivel a través del agente de modelos de idiomas grandes. Neurips 23. [Documento] [Código]

• Sheetagent, Sheetagent: un agente generalista para el razonamiento de la hoja de cálculo y la manipulación a través de modelos de idiomas grandes. ARXIV 24. [Documento]

• Modelos de lenguaje de visión para la comprensión de la hoja de cálculo: desafíos y oportunidades. ARXIV 24. [Documento]

Marco de tareas múltiples

• Structgpt, structgpt: un marco general para que el modelo de lenguaje grande razone sobre datos estructurados. EMNLP 23 Main. [Documento] [código]

• TAP4LLM, TAP4LLM: Proveedor de tabla en muestreo, aumento y empacación de datos semiestructurados para un razonamiento del modelo de lenguaje grande. ARXIV 23. [Documento]

• UNIDM, UNIDM: un marco unificado para la manipulación de datos con modelos de idiomas grandes. MLSYS 24. [Documento]

• Data-Copilot, Data-Copilot: unir miles de millones de datos y humanos con flujo de trabajo autónomo. ARXIV 23. [Documento] [Código]

Herramientas

• Llamado

• Pandasai

• Vanna

• DB-GPT. DB-GPT: Empoderar interacciones de base de datos con modelos privados de idiomas grandes. [Documento] [código]

• Retclean. Retclean: limpieza de datos basada en recuperación utilizando modelos de base y lagos de datos. [Documento] [código]

Encuesta

• Una encuesta de grandes modelos de idiomas. [Papel]

• Una encuesta sobre agentes autónomos basados ​​en modelos de idiomas grandes. [Papel]

• Tabla previa al entrenamiento: una encuesta sobre arquitecturas de modelos, objetivos previos a la capacitación y tareas aguas abajo. [Papel]

• Transformadores para la representación de datos tabulares: una encuesta de modelos y aplicaciones. [Papel]

• Una encuesta del razonamiento de la tabla con grandes modelos de idiomas. [Papel]

• Una encuesta sobre la respuesta de las preguntas: avances recientes. [Papel]

• Modelos de idiomas grandes (LLM) sobre datos tabulares: una encuesta. [Papel]

• Una encuesta sobre análisis de texto a SQL: conceptos, métodos y direcciones futuras. [Papel]

Conjuntos de datos y puntos de referencia

Puntos de referencia

Nombre	Palabras clave	Artefacto	Papel
MBPP	Código	enlace	arxiv 21
Humanal	Código	enlace	arxiv 21
Dr.Spider	NL2SQL, robustez	enlace	ICLR 23
Medias	Tabla QA	enlace	ACL 15
Wikisql	Tabla QA, NL2SQL	enlace	arxiv 17
Tabfact	Verificación de hechos de tabla	enlace	ICLR 20
Hybirdqa	Tabla QA	enlace	EMNLP 20
Fetaqa	Verificación de hechos de tabla	enlace	TACL 22
Robut	Tabla QA	enlace	ACL 23
Anameta	Metadatos de mesa	enlace	ACL 23
Gpt4table	Tabla QA, tabla a texto	enlace	WSDM 24
Totón	Tabla a texto	enlace	EMNLP 20
Hojas de cálculo	Manipulación de la hoja de cálculo	enlace	Neurips 24
PÁJARO	NL2SQL	enlace	Neurips 23
Araña	NL2SQL	enlace	EMNLP 18
Dr.Spider	NL2SQL	enlace	ICLR 23
Bolpe de ciencia	NL2SQL	enlace	VLDB 24
DS-1000	Análisis de datos	enlace	ICML 23
Infiagente	Análisis de datos	enlace	ICML 24
TableBank	Detección de mesa	enlace	Lerc 20
Pubtabnet	Extracción de tabla	enlace	ECCV 20
Comtqa	Tabla visual QA, detección de tabla, extracción de tabla	enlace	arxiv 24

Conjuntos de datos

Nombre	Palabras clave	Artefacto	Papel
Instrucción de table	Ajuste de instrucciones de tabla	enlace	arxiv 23
WDC	Mesa web	enlace	Www 16
Githables	CSVS Github	enlace	Sigmod 23
DARDO	Tabla a texto	enlace	NAACL 21
Mmtab	Comprensión de la tabla multimodal	enlace	ACL 24
Esquema	Esquemas de bases de datos	enlace	Sigmod 24