llm data annotation

Большие языковые модели для эффективного аннотирования данных и точной настройки модели с помощью итеративного активного обучения

Эта структура сочетает в себе человеческий опыт с эффективностью моделей большого языка (LLM), таких как GPT-3.5 OpenAI, для упрощения аннотирования наборов данных и улучшения модели. Итеративный подход обеспечивает постоянное улучшение качества данных и, как следствие, производительность моделей, настроенных с использованием этих данных. Это не только экономит время, но и позволяет создавать индивидуальные LLM, в которых используются как человеческие аннотаторы, так и точность на основе LLM.

Архитектура

Функции

1. Загрузка набора данных и аннотации

   • Загрузите наборы данных CSV.
   • Используйте GPT-3.5 для автоматического аннотирования наборов данных.
   • Просмотрите аннотации, выделив строки с оценкой низкой достоверности.

2. Ручное исправление аннотаций

   • Отобразите аннотированный набор данных для пользовательских поправок.
   • Пользователь может обновлять метки для определенных строк.

3. CleanLab: уверенный подход к обучению

   • Использует уверенное обучение для выявления и устранения проблем с этикетками.
   • Автоматически отображает строки с потенциальными ошибками в метках для внесения исправлений пользователем.

4. Управление версиями и сохранением данных

   • Объедините исправления пользователя с аннотированным набором данных.
   • Расширенное управление версиями данных гарантирует сохранение уникальных версий набора данных для каждого обновления.

5. Модельное обучение

   • Обучите модель BERT на очищенном наборе данных.
   • Легко отслеживайте и воспроизводите версии моделей с помощью MLflow.

Настраивать

Предварительные условия

1. Установите необходимые пакеты:

   pip install -r requirements.txt

Запуск инструмента

1. Запустите бэкэнд FastAPI :

   uvicorn app:app --reload

2. Запустите приложение Streamlit :

   streamlit run frontend.py

3. Запустите пользовательский интерфейс MLflow . Чтобы просмотреть модели, метрики и зарегистрированные модели, вы можете получить доступ к пользовательскому интерфейсу MLflow с помощью следующей команды:

   mlflow ui

4. Откройте предоставленные ссылки в своем веб-браузере :

   • Для основного приложения перейдите по ссылке Streamlit.
   • Для интерфейса отслеживания MLflow по умолчанию вы можете перейти по адресу http://127.0.0.1:5000 .

5. Следуйте инструкциям на экране, чтобы загружать, аннотировать, исправлять и обучать свой набор данных.

Почему уверенное обучение?

Уверенное обучение стало новаторской методикой в ​​обучении с учителем и при слабом контроле. Он направлен на определение характеристик шума этикеток, поиск ошибок на этикетках и эффективное обучение с помощью шумных этикеток. За счет сокращения зашумленных данных и ранжирования примеров для уверенного обучения этот метод обеспечивает чистый и надежный набор данных, повышая общую производительность модели.

Лицензия

Этот проект имеет открытый исходный код под лицензией MIT.

---