llm data annotation

Grands modèles de langage pour une annotation de données efficace et un réglage fin du modèle avec un apprentissage actif itératif

Ce cadre combine l'expertise humaine avec l'efficacité des grands modèles linguistiques (LLM) comme le GPT-3.5 d'OpenAI pour simplifier l'annotation des ensembles de données et l'amélioration des modèles. L’approche itérative assure l’amélioration continue de la qualité des données, et par conséquent, la performance des modèles affinés à partir de ces données. Cela permet non seulement de gagner du temps, mais permet également de créer des LLM personnalisés qui exploitent à la fois les annotateurs humains et la précision basée sur le LLM.

Architecture

Caractéristiques

1. Téléchargement et annotation d'ensembles de données

   • Téléchargez des ensembles de données CSV.
   • Tirez parti de GPT-3.5 pour annoter automatiquement les ensembles de données.
   • Prévisualisez les annotations, en mettant en évidence les lignes de score de faible confiance.

2. Corrections d'annotations manuelles

   • Affichez l'ensemble de données annoté pour les corrections basées sur l'utilisateur.
   • L'utilisateur peut mettre à jour les étiquettes pour des lignes spécifiques.

3. CleanLab : approche d'apprentissage en toute confiance

   • Utilise un apprentissage en toute confiance pour identifier et corriger les problèmes d’étiquette.
   • Affiche automatiquement les lignes contenant des erreurs d'étiquette potentielles pour les corrections basées sur l'utilisateur.

4. Versionnement et sauvegarde des données

   • Fusionnez les corrections utilisateur avec l’ensemble de données annoté.
   • La gestion avancée des versions des données garantit que des versions uniques des ensembles de données sont enregistrées pour chaque mise à jour.

5. Formation sur modèle

   • Entraînez un modèle BERT sur l'ensemble de données nettoyé.
   • Suivez et reproduisez les versions de modèles de manière transparente à l’aide de MLflow.

Installation

Conditions préalables

1. Installez les packages requis :

   pip install -r requirements.txt

Exécution de l'outil

1. Démarrez le backend FastAPI :

   uvicorn app:app --reload

2. Exécutez l'application Streamlit :

   streamlit run frontend.py

3. Lancez MLflow UI : pour afficher les modèles, les métriques et les modèles enregistrés, vous pouvez accéder à l'interface utilisateur MLflow avec la commande suivante :

   mlflow ui

4. Accédez aux liens fournis dans votre navigateur Web :

   • Pour l'application principale, accédez au lien Streamlit.
   • Pour l'interface de suivi de MLflow, par défaut, vous pouvez accéder à http://127.0.0.1:5000 .

5. Suivez les invites à l'écran pour télécharger, annoter, corriger et entraîner votre ensemble de données.

Pourquoi un apprentissage en toute confiance ?

L’apprentissage en toute confiance est devenu une technique révolutionnaire en matière d’apprentissage supervisé et de supervision faible. Il vise à caractériser le bruit des étiquettes, à trouver les erreurs d'étiquettes et à apprendre efficacement avec des étiquettes bruyantes. En éliminant les données bruitées et en classant les exemples pour s'entraîner en toute confiance, cette méthode garantit un ensemble de données propre et fiable, améliorant ainsi les performances globales du modèle.

Licence

Ce projet est open source sous licence MIT.

---