structured generation benchmark

结构化生成基准

为了有效、可靠地使用大型语言模型 (LLM)，必须包含结构化生成技术。能够获得正则表达式、JSON 或 Pydantic 数据模型等输出是制作有用软件的关键。

但是使用 Outlines 或 Instructor 等库来实现这一目标的真正效果是什么？

该存储库汇总了评估来回答这个问题。

函数调用

LLM 调用函数的能力。

数据集

• Berkeley 函数调用排行榜 [2024 年 4 月 16 日更新]

评估

• 我们部署了一个模态函数来使用 Transformers + Outlines 运行开源模型。
• 我们创建了不同的模型处理程序来运行AST simple评估类别的 Gorilla BFCL 脚本 [2024 年 4 月 6 日版本]。
• 我们评估并报告了将它们与排行榜网站[2024 年 4 月 26 日版本]进行比较的结果。

报告

• 概述函数调用评估
• 教练功能调用评估

综合数据生成

使用法学硕士创建人工数据。

报告

• 概述综合数据生成