structured generation benchmark

punto de referencia de generación estructurada

Para utilizar modelos de lenguaje grande (LLM) de manera efectiva y confiable, es esencial incluir técnicas de generación estructuradas. Ser capaz de obtener resultados como expresiones regulares, JSON o un modelo de datos de Pydantic es clave para crear software útil.

Pero, ¿cuál es el efecto real de utilizar bibliotecas como Outlines o Instructor para lograr ese objetivo?

Este repositorio ha reunido evaluaciones para responder a esta pregunta.

Llamada de función

La capacidad del LLM para llamar funciones.

Conjuntos de datos

• Tabla de clasificación de llamadas a funciones de Berkeley [actualización del 16 de abril de 2024]

Evaluación

• Implementamos una función modal para ejecutar modelos de código abierto usando Transformers + Outlines.
• Creamos diferentes controladores de modelos para ejecutar los scripts Gorilla BFCL [versión del 6 de abril de 2024] para la categoría de evaluación AST simple .
• Evaluamos e informamos los resultados comparándolos con el sitio web de Leaderboard [versión del 26 de abril de 2024].

Informes

• Describe la evaluación de llamadas a funciones
• Evaluación de llamadas a funciones de instructor

Generación de datos sintéticos

Usar un LLM para crear datos artificiales.

Informes

• Describe la generación de datos sintéticos