structured generation benchmark

эталон структурированного поколения

Чтобы эффективно и надежно использовать модели большого языка (LLM), важно включать методы структурированной генерации. Возможность получать выходные данные, такие как регулярные выражения, JSON или модель данных Pydantic, является ключом к созданию полезного программного обеспечения.

Но каков реальный эффект использования таких библиотек, как Outlines или Instructor, для достижения этой цели?

В этом репозитории собраны оценки, чтобы ответить на этот вопрос.

Вызов функции

Возможность LLM вызывать функции.

Наборы данных

• Таблица лидеров вызовов функций Беркли [обновление от 16 апреля 2024 г.]

Оценка

• Мы развернули модальную функцию для запуска моделей с открытым исходным кодом с помощью Transformers + Outlines.
• Мы создали различные обработчики моделей для запуска сценариев Gorilla BFCL [версия от 6 апреля 2024 г.] для категории AST simple .
• Мы оценили и сообщили результаты, сравнив их с веб-сайтом таблицы лидеров [версия от 26 апреля 2024 г.].

Отчеты

• Описывает оценку вызова функций
• Оценка вызова функции инструктора

Генерация синтетических данных

Использование LLM для создания искусственных данных.

Отчеты

• Описывает генерацию синтетических данных