llm table survey

Table LLM

Table des matières

• Table LLM

• Repères

• Ensembles de données

• Modèle de grande langue

• Formation de la table de l'ère pré-llm

• Tableau d'instruction

• Code LLM

• Hybride de table et de code

• Compréhension et extraction de la table multimodale

• Représentation

• Incitation

• Outils

• Enquête

• Nl2sql

• Table QA

• Tableur

• Cadre multi-tâches

• Table des matières

• Liste de papier

• Ensembles de données et repères

Liste de papier

Modèle de grande langue

• GPT-3, les modèles de langues sont des apprenants à quelques tirs. Neirips 20. [Papier]

• T5, Exploration des limites de l'apprentissage par transfert avec un transformateur de texte à texte unifié. [Papier]

• Flan, les modèles de langues à finetumés sont des apprenants à tirs zéro. Iclr 22. [Papier] [code]

• DPO, Optimisation directe des préférences: votre modèle de langue est secrètement un modèle de récompense. Neirips 23. [Paper]

• PEFT, la puissance de l'échelle pour le réglage rapide économe en paramètres. EMNLP 21. [Papier]

• Lora, Lora: adaptation de faible rang des modèles de gros langues. ICLR 22. [Papier]

• L'incitation de la chaîne de pensées et l'incitation à la chaîne de pensées suscite le raisonnement dans des modèles de grande langue. Neirips 22. [Paper]

• La moindre invitation, la moindre incitation, le moins à la plus la plus importante permet un raisonnement complexe dans les modèles de gros langues. ICLR 23. [Papier]

• Invitation d'auto-cohérence, l'auto-cohérence améliore le raisonnement de la chaîne de pensée dans les modèles de langue. ICLR 23. [Papier]

• React, React: Synergisant le raisonnement et le jeu dans les modèles de langage. ICLR 23. [Paper] [Code]

Formation de la table de l'ère pré-llm

• Tabert, Tabert: pré-formation pour la compréhension conjointe des données textuelles et tabulaires. ACL 20 Main. [Papier] [Code]

• TAPEX, TAPEX: Table pré-formation via l'apprentissage d'un exécuteur neuronal SQL. ICLR 22. [Paper] [Code] [Modèles]

• Tabbie, Tabbie: Représentations pré-entraînées des données tabulaires. Naacl 21 Main. [Papier] [Code]

• Turl, Turl: Compréhension du tableau grâce à l'apprentissage de la représentation. Vldb 21. [Papier] [code]

• Resdsql, RESDSQL: liaison de schéma de découplage et analyse squelette pour le texte à SQL. Aaai 23. [Papier] [code]

• UnifiedSkg, UnifiedSkg: Unifier et multitâche des connaissances structurées à la terre avec des modèles de langage text-to-texte. EMNLP 22 Main. [Papier] [Code]

• Dreatcoder, coder de calcul: prédiction de formule à partir du contexte semi-structuré. ICML 21. [Paper] [Code]

Tableau d'instruction

• Table-GPT, Table-GPT: GPT régalé pour la table pour diverses tâches de table. Arxiv 2023. [Papier]

• Tablellama, Tablellama: Vers l'ouverture de grands modèles généralistes pour les tables. NAACL 24. [Paper] [Code] [Modèle: Tablellama 7b] [ensemble de données: TableInstruct]

Code LLM

• Codex, évaluant des modèles de grandes langues formés sur le code. Arxiv 21. [Paper]

• Starcoder, Starcoder: Que la source soit avec vous!. TMLR 23. [Paper] [Code] [Modèles]

• Code Llama, Code Llama: Open Foundation Modèles pour le code. arXiv 23. [papier] [code]

• Wizardlm, Wizardlm: autonomiser les grands modèles de langue pré-formés pour suivre des instructions complexes. ICLR 24. [Paper] [Modèle: Wizardlm 13b] [Modèle: Wizardlm 70b]

• WizardCoder, WizardCoder: Autonomiser les modèles de grande langue du code avec instruct EVOL. ICLR 24. [Paper] [Code] [Modèles: WizardCoder 15B]

• Magicoder, Magicoder: le code source est tout ce dont vous avez besoin. ICML 24. [Paper] [Code] [Modèles 6.7b / 7b]

• Lemur, Lémur: harmonisation du langage naturel et code pour les agents linguistiques. ICLR 24. [Paper] [Code] [Modèle: Lémur 70b] [Modèle: CHAT LEMUR 70B]

• Infiagent-Dabench, Infiagent-Dabench: Évaluation des agents sur les tâches d'analyse des données. Icml 24. [Papier] [code]

Hybride de table et de code

• Tablellm, Tablellm: Activation de la manipulation de données tabulaires par LLMS dans des scénarios d'utilisation de bureaux réels. [Paper] [modèle Tablellm 7b] [modèle Tablellm 13B]

• STRUCTLM, STRUCTLM: Vers la construction de modèles généralistes pour la mise à la terre des connaissances structurées. arXiv 24. [Paper] [Modèle: Structlm 7b] [Modèle: Structlm 13b] [Modèle: Structlm 34b] [DataSet: Skginstruct]

Affinement final à paramètres

• FINSQL, FINSQL: Framework Text-to-SQL basé sur Model-Agnostic LLMS pour l'analyse financière. Sigmod Companion 24. [[Papier] (https://arxiv.org/pdf/2401.10506)]]

Optimisation directe des préférences

• Sens, synthétisant des données de texte à SQL à partir de LLM faibles et forts. ACL 24. [Papier]

Modèle de petit langage + modèle grand langage

• Zeronl2SQL, combinant de petits modèles de langage et de grands modèles de langage pour NL2SQL zéro-shot. VLDB 24. [Papier]

Compréhension et extraction de la table multimodale

• Layoutlm, Layoutlm: pré-formation du texte et mise en page pour la compréhension de l'image du document. KDD 20. [Papier]

• PubTabnet, reconnaissance de table basée sur l'image: données, modèle et évaluation. ECCV 20. [Papier] [Code et données]

• Table-lava, compréhension du tableau multimodal. ACL 24. [Paper] [Code] [Modèle]

• TablelVM, TableVlm: pré-formation multimodale pour la reconnaissance de la structure de la table. ACL 23. [Paper]

• PIXT3, PIXT3: Génération de table à texte basée sur Pixel. ACL 24. [Papier]

Représentation

• Représentation tabulaire, opérateurs bruyants et impacts sur les tâches de compréhension de la structure de la table dans les LLM. Atelier d'apprentissage de la représentation de la représentation de Neirips 2023 Second Table. [Papier]

• Spreadsheetllm, Spreadsheetllm: Encodage des feuilles de calcul pour les modèles de grande langue. Arxiv 24. [Paper]

• Améliorer les capacités de texte à SQL des modèles de grands langues: une étude sur les stratégies de conception rapide. EMNLP 23. [Paper] [Code]

• Tables en tant que textes ou images: évaluation de la capacité de raisonnement de la table des LLM et MLLM. Arxiv 24. [Paper]

Incitation

Nl2sql

• L'aube du langage naturel à SQL: sommes-nous pleinement prêts? Vldb 24. [Papier] [code]

• MCS-SQL, MCS-SQL: tirant parti de plusieurs invites et sélection de choix multiples pour la génération de texte à SQL. [Papier]

• DIN-SQL, DIN-SQL: DÉCOMPOSE DU CONTEXT LE TEXTE-TO SQL AVEC COMPRISSIGNEMENT AUTORRECTE, DÉCOMPOSE. Neirips 23. [Paper] [Code]

• Dail-SQL, Text-to-SQL Empowered par les modèles de grande langue: une évaluation de référence. Vldb 24. [Papier] [code]

• C3, C3: Text-to-SQL zéro avec chatgpt. arXiv 24. [papier] [code]

Table QA

• Dater, les modèles de grandes langues sont des décomposeurs polyvalents: décomposer les preuves et les questions pour le raisonnement basé sur la table. Sigir 23. [Paper] [Code]

• Liant, modèles de langage de liaison dans les langues symboliques. ICLR 23. [Paper] [Code]

• Réactable, réactable: améliorer la réaction pour la réponse à la question du tableau. Vldb 24. [Papier] [code]

• E5, E5: analyse de table hiérarchique à tirs zéro utilisant des LLM augmentés via Expliquez, extraire, exécuter, présenter et extrapoler. NAACL 24. [Paper] [Code]

• Chaîne de table, chaîne de table: des tables en évolution de la chaîne de raisonnement pour la compréhension de la table. ICLR 24. [Papier]

• ITR, un retriever de table intérieur pour une question de réponse de table robuste. ACL 23. [Paper]

• Li-Rage, Li-Rage: Génération augmentée de récupération des interactions tardives avec des signaux explicites pour la réponse à la question de la table ouverte. ACL 23. [Paper]

Tableur

• Sheetcopilot, feuille de tôle: amener la productivité du logiciel au niveau suivant par le biais de grands modèles de langage. Neirips 23. [Paper] [Code]

• SheetAgent, Sheetagent: un agent généraliste pour le raisonnement et la manipulation des feuilles de calcul via des modèles de grands langues. Arxiv 24. [Paper]

• Modèles de langage de vision pour la compréhension des feuilles de calcul: défis et opportunités. Arxiv 24. [Paper]

Cadre multi-tâches

• StructGpt, StructGpt: un cadre général pour le modèle de grand langage à raisonner sur les données structurées. EMNLP 23 Main. [Papier] [Code]

• TAP4LLM, TAP4LLM: Fournisseur de table sur l'échantillonnage, l'augmentation et l'emballage des données semi-structurées pour un raisonnement de modèle à grande langue. Arxiv 23. [Papier]

• UNIDM, UNIDM: un cadre unifié pour la manipulation des données avec des modèles de langues importants. MLSYS 24. [Papier]

• Data-Copilot, Data-Copilot: Bridging des milliards de données et humains avec flux de travail autonome. arXiv 23. [papier] [code]

Outils

• Llamaindex

• Pandasaï

• Vanne

• DB-GPT. DB-GPT: Autonomiser les interactions de la base de données avec des modèles privés de grande langue. [Papier] [Code]

• Retclean. Retclean: nettoyage de données basé sur la récupération à l'aide de modèles de fondation et de lacs de données. [Papier] [Code]

Enquête

• Une enquête sur les modèles de grande langue. [Papier]

• Une enquête sur les agents autonomes basés sur un modèle de grande langue. [Papier]

• Pré-formation du tableau: une enquête sur les architectures de modèle, les objectifs de pré-formation et les tâches en aval. [Papier]

• Transformers pour la représentation des données tabulaires: une étude des modèles et des applications. [Papier]

• Une enquête sur le raisonnement de table avec des modèles de grandes langues. [Papier]

• Une enquête sur la réponse à la question du tableau: avancées récentes. [Papier]

• Modèles de grande langue (LLM) sur les données tabulaires - une enquête. [Papier]

• Une enquête sur l'analyse de texte à SQL: concepts, méthodes et orientations futures. [Papier]

Ensembles de données et repères

Repères

Nom	Mots clés	Artefact	Papier
MBPP	Code	lien	arxiv 21
Humain	Code	lien	arxiv 21
Docteur	Nl2sql, robustesse	lien	ICLR 23
WikitableQuestions	Table QA	lien	ACL 15
Wikisql	Tableau QA, NL2SQL	lien	arxiv 17
Tabfact	Vérification des faits de la table	lien	ICLR 20
Hybirdqa	Table QA	lien	EMNLP 20
Fetaqa	Vérification des faits de la table	lien	Tacl 22
Robut	Table QA	lien	ACL 23
Anameta	Métadonnées de table	lien	ACL 23
Gpt4Table	Tableau QA, table à texte	lien	WSDM 24
Total	Table à texte	lien	EMNLP 20
Feuille de calcul	Manipulation de feuille de calcul	lien	Neirips 24
OISEAU	Nl2sql	lien	Neirips 23
Araignée	Nl2sql	lien	EMNLP 18
Docteur	Nl2sql	lien	ICLR 23
ScienceBenchmark	Nl2sql	lien	VLDB 24
DS-1000	Analyse des données	lien	ICML 23
Tamponnage infiageux	Analyse des données	lien	ICML 24
Banque de table	Détection de table	lien	LERC 20
Pubtabnet	Extraction de la table	lien	ECCV 20
Comtqa	TABLEAU VIEUX QA, détection de table, extraction du tableau	lien	arxiv 24

Ensembles de données

Nom	Mots clés	Artefact	Papier
TableInstruct	Tableau d'instructions de table	lien	arxiv 23
WDC	Table de table	lien	Www 16
Gittables	GHUBUB CSVS	lien	Sigmod 23
DARD	Table à texte	lien	NAACL 21
Mmtab	Compréhension de la table multimodale	lien	ACL 24
Schémas	Schémas de base de données	lien	Sigmod 24