浙江大學計算創新研究院的研究團隊突破性解決了大型語言模型處理表格資料能力不足的難題，推出了全新模型TableGPT2。 TableGPT2憑藉其獨特的表格編碼器，能夠高效處理各種表格數據，為商業智慧(BI)等數據驅動型應用帶來革命性變化。 Downcodes小編將為您詳細解讀TableGPT2的創新與未來發展方向。
大型語言模型（LLM）的崛起為人工智慧應用帶來了革命性的變化，然而，它們在處理表格資料方面卻存在著明顯的缺點。 浙江大學計算創新研究院的研究團隊針對這個問題，推出了一款名為TableGPT2的全新模型，它能夠直接且高效地整合和處理表格數據，為商業智慧(BI)和其他數據驅動型應用開闢了新的可能性。
TableGPT2的核心創新在於其獨特的表格編碼器，該編碼器專門設計用於捕獲表格的結構信息和單元格內容信息，從而增強模型處理現實應用中常見的模糊查詢、缺失列名和不規則表格的能力。 TableGPT2基於Qwen2.5架構，並經過了大規模的預訓練和微調，涉及超過59.38萬個表格和236萬個高品質的查詢-表格-輸出元組，這是先前研究中前所未有的表格相關資料規模。
為了提升TableGPT2的編碼和推理能力，研究人員對其進行了持續預訓練（CPT），其中80% 的資料是精心註釋的程式碼，以確保其具備強大的編碼能力。 此外，他們還收集了大量的推理資料和包含特定領域知識的教科書，以增強模型的推理能力。 最終的CPT 資料包含860億個經過嚴格篩選的詞符，這為TableGPT2處理複雜的BI 任務和其他相關任務提供了必要的編碼和推理能力。
為了解決TableGPT2在適應特定BI 任務和場景方面的局限性，研究人員對其進行了監督微調（SFT）。 他們建立了一個涵蓋各種關鍵和現實場景的資料集，包括多輪對話、複雜推理、工具使用和高度業務化的查詢。 此資料集結合了人工標註和專家驅動的自動標註流程，確保了資料的品質和相關性。 SFT 過程共使用了236萬個樣本，進一步完善了模型，使其能夠滿足BI 和其他涉及表格的環境的特定需求。
TableGPT2還創新地引入了語義表格編碼器，該編碼器將整個表格作為輸入，為每一列產生一組緊湊的嵌入向量。 這種架構針對表格資料的獨特屬性進行了定制，透過雙向注意力機制和分層特徵提取過程，有效地捕捉了行和列之間的關係。 此外，也採用了列式對比學習方法，鼓勵模型學習有意義的、結構感知的表格語意表示。
為了將TableGPT2與企業級資料分析工具無縫集成，研究人員也設計了代理程式工作流程執行時間框架。 該框架包含三個核心組件:運行時提示工程、安全代碼沙箱和代理評估模組，共同增強了代理的能力和可靠性。 工作流程透過模組化步驟（輸入規範化、代理執行和工具呼叫）支援複雜的資料分析任務，這些步驟協同工作以管理和監控代理的效能。 透過整合用於高效上下文檢索的檢索增強生成(RAG)和用於安全執行的程式碼沙箱，該框架確保TableGPT2在實際問題中提供準確、上下文相關的見解。
研究人員在各種廣泛使用的表格和通用基準測試中對TableGPT2進行了廣泛的評估，結果表明，TableGPT2在表格理解、處理和推理方面表現出色，70億參數模型的平均性能提升了35.20%，720億參數模型的平均效能提升了49.32%，同時維持了強大的通用效能。 為了進行公平的評估，他們僅將TableGPT2與開源的基準中性模型（如Qwen 和DeepSeek）進行比較，確保了模型在各種任務上的均衡、多功能性能，而不會過度擬合任何單一基準測試。 他們還引入並部分發布了一個新的基準測試——RealTabBench，該基準測試強調非常規表格、匿名欄位和複雜查詢，更符合現實場景。
儘管TableGPT2在實驗中取得了最先進的效能，但在將LLM 部署到現實世界的BI 環境中仍存在挑戰。 研究人員指出，未來的研究方向包括:
特定領域編碼:使LLM 能夠快速適應企業特定的領域特定語言（DSL）或偽代碼，以更好地滿足企業資料基礎設施的特定需求。
多代理設計:探索如何有效地將多個LLM 整合到一個統一的系統中，以處理現實應用的複雜性。
多功能表格處理:改善模型處理不規則表格的能力，例如Excel 和Pages 中常見的合併儲存格和不一致的結構，以更好地處理現實世界中各種形式的表格資料。
TableGPT2的推出標誌著LLM 在處理表格資料方面取得了重大進展，為商業智慧和其他資料驅動型應用帶來了新的可能性。 相信隨著研究的不斷深入，TableGPT2將在未來的資料分析領域中發揮越來越重要的作用。
論文網址：https://arxiv.org/pdf/2411.02059v1
TableGPT2的出現為商業智慧領域帶來了新的曙光，其高效的表格資料處理能力以及強大的可擴展性，預示著未來資料分析將更加智慧化和便利化。期待未來TableGPT2能有更廣泛的應用，為各行各業帶來更多價值。