structured generation benchmark

tolok ukur generasi terstruktur

Untuk menggunakan Model Bahasa Besar (LLM) secara efektif dan andal, penting untuk menyertakan teknik pembuatan terstruktur. Mampu mendapatkan keluaran seperti ekspresi reguler, JSON, atau model data Pydantic adalah kunci untuk membuat perangkat lunak yang berguna.

Namun apa dampak sebenarnya dari penggunaan perpustakaan seperti Outlines atau Instructor untuk mencapai tujuan tersebut?

Repositori ini telah menyusun evaluasi untuk menjawab pertanyaan ini.

Pemanggilan Fungsi

Kemampuan LLM untuk memanggil fungsi.

Kumpulan data

• Papan Peringkat Panggilan Fungsi Berkeley [pembaruan 16 April 2024]

Evaluasi

• Kami menerapkan fungsi modal untuk menjalankan model sumber terbuka menggunakan Transformers + Outlines.
• Kami membuat penangan model berbeda untuk menjalankan skrip Gorilla BFCL [versi 6 April 2024] untuk kategori evaluasi AST simple .
• Kami mengevaluasi dan melaporkan hasilnya dengan membandingkannya dengan Situs Web Papan Peringkat [versi 26 April 2024].

Laporan

• Menguraikan Evaluasi Pemanggilan Fungsi
• Evaluasi Pemanggilan Fungsi Instruktur

Pembuatan Data Sintetis

Menggunakan LLM untuk membuat data buatan.

Laporan

• Menguraikan Pembuatan Data Sintetis