llm data annotation

Große Sprachmodelle für effiziente Datenannotation und Modellverfeinerung mit iterativem aktivem Lernen

Dieses Framework kombiniert menschliches Fachwissen mit der Effizienz von Large Language Models (LLMs) wie GPT-3.5 von OpenAI, um die Annotation von Datensätzen und die Modellverbesserung zu vereinfachen. Der iterative Ansatz gewährleistet die kontinuierliche Verbesserung der Datenqualität und damit der Leistung der anhand dieser Daten optimierten Modelle. Dies spart nicht nur Zeit, sondern ermöglicht auch die Erstellung maßgeschneiderter LLMs, die sowohl menschliche Annotatoren als auch LLM-basierte Präzision nutzen.

Architektur

Merkmale

1. Hochladen und Kommentieren von Datensätzen

   • Laden Sie CSV-Datensätze hoch.
   • Nutzen Sie GPT-3.5, um Datensätze automatisch mit Anmerkungen zu versehen.
   • Sehen Sie sich die Anmerkungen in der Vorschau an und heben Sie Bewertungszeilen mit geringer Konfidenz hervor.

2. Manuelle Anmerkungskorrekturen

   • Zeigen Sie den kommentierten Datensatz für benutzerbasierte Korrekturen an.
   • Der Benutzer kann Beschriftungen für bestimmte Zeilen aktualisieren.

3. CleanLab: Souveräner Lernansatz

   • Nutzt sicheres Lernen, um Etikettenprobleme zu erkennen und zu beheben.
   • Zeigt automatisch Zeilen mit potenziellen Beschriftungsfehlern für benutzerbasierte Korrekturen an.

4. Datenversionierung und -speicherung

   • Führen Sie Benutzerkorrekturen mit dem kommentierten Datensatz zusammen.
   • Durch die erweiterte Datenversionierung wird sichergestellt, dass für jedes Update eindeutige Datensatzversionen gespeichert werden.

5. Modelltraining

   • Trainieren Sie ein BERT-Modell für den bereinigten Datensatz.
   • Verfolgen und reproduzieren Sie Modellversionen nahtlos mit MLflow.

Aufstellen

Voraussetzungen

1. Installieren Sie die erforderlichen Pakete:

   pip install -r requirements.txt

Ausführen des Tools

1. Starten Sie das FastAPI-Backend :

   uvicorn app:app --reload

2. Führen Sie die Streamlit-App aus :

   streamlit run frontend.py

3. Starten Sie die MLflow-Benutzeroberfläche : Um Modelle, Metriken und registrierte Modelle anzuzeigen, können Sie mit dem folgenden Befehl auf die MLflow-Benutzeroberfläche zugreifen:

   mlflow ui

4. Greifen Sie in Ihrem Webbrowser auf die bereitgestellten Links zu :

   • Für die Hauptanwendung greifen Sie auf den Streamlit-Link zu.
   • Für die Tracking-Schnittstelle von MLflow können Sie standardmäßig zu http://127.0.0.1:5000 navigieren.

5. Befolgen Sie die Anweisungen auf dem Bildschirm, um Ihren Datensatz hochzuladen, zu kommentieren, zu korrigieren und zu trainieren.

Warum selbstbewusstes Lernen?

Selbstbewusstes Lernen hat sich als bahnbrechende Technik beim überwachten Lernen und bei schwacher Aufsicht herausgestellt. Ziel ist es, Etikettenrauschen zu charakterisieren, Etikettenfehler zu finden und effizient mit verrauschten Etiketten zu lernen. Durch die Bereinigung verrauschter Daten und die Einstufung von Beispielen für ein sicheres Training gewährleistet diese Methode einen sauberen und zuverlässigen Datensatz und verbessert die Gesamtleistung des Modells.

Lizenz

Dieses Projekt ist Open-Source unter der MIT-Lizenz.

---