structured generation benchmark

構造化世代ベンチマーク

大規模言語モデル (LLM) を効果的かつ確実に使用するには、構造化された生成手法を組み込むことが不可欠です。正規表現、JSON、または Pydantic データ モデルなどの出力を取得できることは、有用なソフトウェアを作成するための鍵です。

しかし、その目標を達成するために、Outlines や Instructor などのライブラリを使用する実際の効果は何でしょうか?

このリポジトリは、この質問に答えるための評価をまとめました。

関数呼び出し

LLM が関数を呼び出す機能。

データセット

• Berkeley Function Calling Leaderboard [2024 年 4 月 16 日更新]

評価

• トランスフォーマー + アウトラインを使用してオープンソース モデルを実行するモーダル関数をデプロイしました。
• AST simple評価カテゴリ用の Gorilla BFCL スクリプト [2024 年 4 月 6 日バージョン] を実行するためのさまざまなモデル ハンドラーを作成しました。
• Leaderboard Webサイト[2024年4月26日版]と比較して結果を評価し、報告しました。

レポート

• 概要 関数呼び出しの評価
• インストラクター関数呼び出しの評価

合成データの生成

LLM を使用して人工データを作成します。

レポート

• 合成データ生成の概要