structured generation benchmark
1.0.0
Pour utiliser les grands modèles linguistiques (LLM) de manière efficace et fiable, il est essentiel d'inclure des techniques de génération structurée. Être capable d'obtenir des résultats tels que des expressions régulières, JSON ou un modèle de données Pydantic est essentiel pour créer des logiciels utiles.
Mais quel est l’effet réel de l’utilisation de bibliothèques comme Outlines ou Instructor pour atteindre cet objectif ?
Ce référentiel a rassemblé des évaluations pour répondre à cette question.
La capacité du LLM à appeler des fonctions.
AST simple .Utiliser un LLM pour créer des données artificielles.
