structured generation benchmark

結構化生成基準

為了有效、可靠地使用大型語言模型 (LLM)，必須包含結構化生成技術。能夠獲得正規表示式、JSON 或 Pydantic 資料模型等輸出是製作有用軟體的關鍵。

但是使用 Outlines 或 Instructor 等函式庫來實現這一目標的真正效果是什麼？

該存儲庫匯總了評估來回答這個問題。

函數呼叫

LLM 呼叫函數的能力。

數據集

• Berkeley 函數呼叫排行榜 [2024 年 4 月 16 日更新]

評估

• 我們部署了一個模態函數來使用 Transformers + Outlines 運行開源模型。
• 我們創建了不同的模型處理程序來運行AST simple評估類別的 Gorilla BFCL 腳本 [2024 年 4 月 6 日版本]。
• 我們評估並報告了將它們與排行榜網站[2024 年 4 月 26 日版本]進行比較的結果。

報告

• 概述函數呼叫評估
• 教練功能調用評估

綜合數據生成

使用法學碩士創建人工數據。

報告

• 概述綜合數據生成