llm table survey

LLM-Table-Survey

目次

• LLM-Table-Survey

• ベンチマーク

• データセット

• 大きな言語モデル

• Pre-llm ERAテーブルトレーニング

• テーブル命令調整

• コードLLM

• テーブルとコードのハイブリッド

• マルチモーダルテーブルの理解と抽出

• 表現

• プロンプト

• ツール

• 調査

• NL2SQL

• 表QA

• スプレッドシート

• マルチタスクフレームワーク

• 目次

• ペーパーリスト

• データセットとベンチマーク

ペーパーリスト

大きな言語モデル

• GPT-3、言語モデルは少ないショット学習者です。ニューリップ20。[紙]

• T5、統一されたテキストからテキスト変圧器を使用した転送学習の限界を調査します。 [紙]

• Flan、Finetuned Languageモデルはゼロショット学習者です。 ICLR22。[紙] [コード]

• DPO、直接選好最適化：あなたの言語モデルは密かに報酬モデルです。ニューリップ23。[紙]

• PEFT、パラメーター効率の高いプロンプトチューニングのスケールの力。 emnlp 21。[紙]

• Lora、Lora：大規模な言語モデルの低ランク適応。 ICLR22。[紙]

• 考えされたチェーンプロンプト、考え方のチェーンプロンプトは、大規模な言語モデルで推論を引き出します。ニューリップ22。[紙]

• 最も少ないプロンプトで、最小限のプロンプトが、大規模な言語モデルで複雑な推論を可能にします。 ICLR 23。[紙]

• 自己整合性の促進、自己整合性は、言語モデルの一連の思考推論を改善します。 ICLR 23。[紙]

• 反応、反応：言語モデルでの相乗効果と行動。 ICLR 23。[紙] [コード]

Pre-llm ERAテーブルトレーニング

• TABERT、TABERT：テキストおよび表形式のデータの共同理解のための前登録。 ACL 20メイン。 [紙] [コード]

• Tapex、Tapex：ニューラルSQLエグゼクタを学習することによるテーブル事前トレーニング。 ICLR22。[Paper] [code] [モデル]

• Tabbie、Tabbie：表形式データの前提条件の表現。 NAACL 21メイン。 [紙] [コード]

• Turl、Turl：表現学習を通じてテーブルの理解。 VLDB 21。[Paper] [Code]

• resdsql、resdsql：テキストからSQLのリンクとスケルトンの分離スキーマのデカップリング。 aaai 23。[紙] [コード]

• UnifiedSkg、UnifiedSkg：テキストからテキストへの言語モデルを使用した統合およびマルチタスク構造化された知識の接地。 EMNLP 22 Main。 [紙] [コード]

• SpreadsheetCoder、SpreadsheetCoder：半構造化コンテキストからのフォーミュラ予測。 ICML 21。[Paper] [Code]

テーブル命令調整

• Table-GPT、Table-GPT：多様なテーブルタスク用のテーブルチューニングGPT。 arxiv2023。[紙]

• Tablellama、Tablellama：テーブルの大規模なジェネラリストモデルを開くために。 NAACL 24。

コードLLM

• コーデックス、コードでトレーニングされた大規模な言語モデルの評価。 arxiv 21。[紙]

• Starcoder、Starcoder：ソースがあなたと一緒にいることがあります！ TMLR 23。[Paper] [code] [モデル]

• Code Llama、Code Llama：コードのファンデーションモデルを開きます。 arxiv 23。[紙] [コード]

• Wizardlm、Wizardlm：大規模な訓練を受けた言語モデルに複雑な指示に従うように力を与えます。 ICLR 24。

• WizardCoder、WizardCoder：Evol-Instructを使用したコードコードの大規模な言語モデルに力を与える。 ICLR24。[Paper] [Code] [Models：WizardCoder 15B]

• MagicOder、MagicOder：ソースコードは必要です。 ICML24。[Paper] [code] [モデル6.7b/7b]

• Lemur、Lemur：言語エージェントの自然言語とコードの調和。 ICLR 24。

• Infiagent-Dabench、Infiagent-Dabench：データ分析タスクに関するエージェントの評価。 ICML24。[Paper] [Code]

テーブルとコードのハイブリッド

• Tablellm、Tablellm：実際のオフィス使用シナリオでLLMによる表形式データ操作を可能にします。 [紙] [モデルtablellm 7b] [モデルtablellm 13b]

• structlm、structlm：構造化された知識の接地のためのジェネラリストモデルの構築に向けて。 arxiv 24。

パラメーター効率の高い微調整

• FINSQL、FINSQL：財務分析のためのモデルに依存しないLLMSベースのテキストからSQLフレームワーク。 Sigmod Companion 24。[[Paper]（https://arxiv.org/pdf/2401.10506）]]

直接選好最適化

• 弱いLLMと強いLLMからのテキストからSQLデータを合成する感覚、合成。 ACL 24。[紙]

小言語モデル +大型言語モデル

• ゼロショットNL2SQLの小さな言語モデルと大規模な言語モデルを組み合わせたZeronl2SQL。 VLDB 24。[紙]

マルチモーダルテーブルの理解と抽出

• layoutlm、layoutlm：ドキュメント画像理解のためのテキストとレイアウトの事前トレーニング。 KDD 20。[紙]

• pubtabnet、画像ベースのテーブル認識：データ、モデル、および評価。 ECCV 20。[Paper] [コードとデータ]

• テーブルラバ、マルチモーダルテーブルの理解。 ACL24。[Paper] [Code] [Model]

• tablelvm、tablevlm：テーブル構造認識のためのマルチモーダルプリトレーニング。 ACL 23。[紙]

• PIXT3、PIXT3：Pixelベースのテーブルからテキストの生成。 ACL 24。[紙]

表現

• LLMSの表現、騒々しい演算子、およびテーブル構造の理解に影響を与えることに影響します。 Neurips 2023 2番目のテーブル表現学習ワークショップ。 [紙]

• SpreadSheetllm、SpreadSheetllm：大規模な言語モデルのスプレッドシートのエンコード。 arxiv 24。[紙]

• 大規模な言語モデルのテキスト間機能の強化：迅速な設計戦略に関する研究。 EMNLP 23。[Paper] [Code]

• テキストまたは画像としてのテーブル：LLMSおよびMLLMのテーブル推論能力の評価。 arxiv 24。[紙]

プロンプト

NL2SQL

• SQLへの自然言語の夜明け：私たちは完全に準備ができていますか？ VLDB24。[Paper] [Code]

• MCS-SQL、MCS-SQL：テキストからSQLの生成の複数のプロンプトと複数選択選択を活用します。 [紙]

• din-sql、din-sql：自己修正プロンプト、分解、分解したテキストからSQLのコンテキスト内学習。ニューリップ23。[紙] [コード]

• Dail-SQL、テキストからSQLの大規模な言語モデルによって権限を与えられている：ベンチマーク評価。 VLDB24。[Paper] [Code]

• C3、C3：ChatGPTを使用したゼロショットテキストからSQL。 arxiv24。[Paper] [code]

表QA

• dater、大規模な言語モデルは汎用性の高い分解者です。テーブルベースの推論の証拠と質問を分解します。 Sigir23。[紙] [コード]

• バインダー、シンボリック言語のバインディング言語モデル。 ICLR 23。[紙] [コード]

• 反応可能、リアクタブル：テーブルの質問応答に対する反応の強化。 VLDB24。[Paper] [Code]

• E5、E5：説明、抽出、実行、展示、および外挿を介した拡張LLMSを使用したゼロショット階層テーブル分析。 NAACL24。[Paper] [Code]

• テーブルチェーン、テーブルチェーン：テーブル理解のための推論チェーンの進化テーブル。 ICLR24。[紙]

• ITR、堅牢なテーブル質問応答のための内側のテーブルレトリバー。 ACL 23。[紙]

• Li-rage、Li-rage：オープンドメインテーブルの質問応答の明示的な信号を備えた後期相互作用検索拡張生成。 ACL 23。[紙]

スプレッドシート

• SheetCopilot、SheetCopilot：大規模な言語モデルエージェントを介してソフトウェアの生産性を次のレベルにもたらします。ニューリップ23。[紙] [コード]

• Sheetagent、Sheetagent：大規模な言語モデルを介したスプレッドシートの推論と操作のジェネラリストエージェント。 arxiv 24。[紙]

• スプレッドシートの理解のためのビジョン言語モデル：課題と機会。 arxiv 24。[紙]

マルチタスクフレームワーク

• structgpt、structgpt：構造化されたデータを推論するための大規模な言語モデルの一般的なフレームワーク。 EMNLP 23 Main。 [紙] [コード]

• Tap4llm、tap4llm：サンプリング、拡張、および大規模な言語モデルの推論のための半構造化データの梱包に関するテーブルプロバイダー。 arxiv 23。[紙]

• UNIDM、UNIDM：大規模な言語モデルを使用したデータ操作のための統一されたフレームワーク。 MLSYS24。[紙]

• データコピロット、データコピロット：数十億のデータと人間を自律的なワークフローで橋渡しします。 arxiv 23。[紙] [コード]

ツール

• llamaindex

• パンダサイ

• ヴァンナ

• db-gpt。 DB-GPT：プライベート大規模な言語モデルとのデータベースの相互作用の力を強化します。 [紙] [コード]

• RetClean。 RetClean：基礎モデルとデータ湖を使用した検索ベースのデータクリーニング。 [紙] [コード]

調査

• 大規模な言語モデルの調査。 [紙]

• 大規模な言語モデルベースの自律エージェントに関する調査。 [紙]

• テーブルプレトレーニング：モデルアーキテクチャ、トレーニング前の目標、およびダウンストリームタスクに関する調査。 [紙]

• 表形式のデータ表現のための変圧器：モデルとアプリケーションの調査。 [紙]

• 大規模な言語モデルを使用したテーブル推論の調査。 [紙]

• テーブル質問の回答に関する調査：最近の進歩。 [紙]

• 表形式データ上の大規模な言語モデル（LLM） - 調査。 [紙]

• テキストからSQLへの解析に関する調査：概念、方法、将来の方向。 [紙]

データセットとベンチマーク

ベンチマーク

名前	キーワード	アーチファクト	紙
MBPP	コード	リンク	arxiv 21
人間	コード	リンク	arxiv 21
Dr.Spider	NL2SQL、堅牢性	リンク	ICLR 23
wikitablequestions	表QA	リンク	ACL 15
wikisql	表QA、NL2SQL	リンク	arxiv 17
tabfact	テーブルの事実検証	リンク	ICLR 20
Hybirdqa	表QA	リンク	EMNLP 20
フェタカ	テーブルの事実検証	リンク	TACL22
ロバート	表QA	リンク	ACL 23
アナメタ	テーブルメタデータ	リンク	ACL 23
gpt4table	表QA、テーブルからテキスト	リンク	WSDM 24
トット	テーブルからテキスト	リンク	EMNLP 20
スプレッドシートベンチ	スプレッドシート操作	リンク	ニューリップ24
鳥	NL2SQL	リンク	ニューリップ23
スパイダー	NL2SQL	リンク	emnlp 18
Dr.Spider	NL2SQL	リンク	ICLR 23
サイエンスベンチマーク	NL2SQL	リンク	VLDB 24
DS-1000	データ分析	リンク	ICML 23
Infiagent-Dabench	データ分析	リンク	ICML 24
テーブルバンク	テーブル検出	リンク	LERC 20
Pubtabnet	テーブル抽出	リンク	ECCV 20
comtqa	視覚テーブルQA、テーブル検出、テーブル抽出	リンク	arxiv 24

データセット

名前	キーワード	アーチファクト	紙
テーブルインチュラクト	テーブル命令の調整	リンク	arxiv 23
WDC	Webテーブル	リンク	www 16
ギタブル	github csvs	リンク	Sigmod 23
ダート	テーブルからテキスト	リンク	NAACL 21
mmtab	マルチモーダルテーブルの理解	リンク	ACL 24
スキーマパイル	データベーススキーマ	リンク	Sigmod 24