auditeur violoniste
v0.0.5
L'audit de grands modèles de langage simplifié !
Les modèles linguistiques permettent aux entreprises de créer et de lancer des applications innovantes pour améliorer la productivité et accroître la satisfaction des clients. Cependant, il est connu que les LLM peuvent halluciner, générer des réponses contradictoires susceptibles de nuire aux utilisateurs et même exposer des informations privées sur lesquelles ils ont été formés, lorsqu'ils y sont invités ou non. Il est plus que jamais essentiel pour les équipes de ML et d'applications logicielles de minimiser ces risques et faiblesses avant de lancer des modèles LLM et NLP. Par conséquent, il est important que vous incluiez un processus permettant d’auditer minutieusement les modèles de langage avant la production. Le Fiddler Auditor vous permet de tester les modèles LLM et NLP, d'identifier les faiblesses des modèles et d'atténuer les résultats contradictoires potentiels avant de les déployer en production.
Fiddler Auditor prend en charge
Un exemple de rapport généré par Fiddler Auditor pour text-davinci-003.Auditor est disponible sur PyPI et nous testons sur Python 3.8 et supérieur. Nous vous recommandons de créer un environnement Python virtuel et de l'installer à l'aide de la commande suivante
pip install fiddler-auditorVous pouvez installer à partir des sources après avoir cloné ce dépôt à l'aide de la commande suivante
pip install . Nous mettons continuellement à jour cette bibliothèque pour prendre en charge les modèles de langage à mesure qu'ils évoluent.
Pour des instructions étape par étape, suivez le Guide de contribution.
