llm data annotation

Modelos de lenguaje grandes para anotación de datos eficiente y ajuste de modelos con aprendizaje activo iterativo

Este marco combina la experiencia humana con la eficiencia de los modelos de lenguajes grandes (LLM) como GPT-3.5 de OpenAI para simplificar la anotación de conjuntos de datos y la mejora del modelo. El enfoque iterativo garantiza la mejora continua de la calidad de los datos y, en consecuencia, el rendimiento de los modelos ajustados con estos datos. Esto no solo ahorra tiempo sino que también permite la creación de LLM personalizados que aprovechan tanto los anotadores humanos como la precisión basada en LLM.

Arquitectura

Características

1. Carga y anotación de conjuntos de datos

   • Cargue conjuntos de datos CSV.
   • Aproveche GPT-3.5 para anotar automáticamente conjuntos de datos.
   • Obtenga una vista previa de las anotaciones, resaltando las filas de puntuación de baja confianza.

2. Correcciones de anotaciones manuales

   • Muestre el conjunto de datos anotado para correcciones basadas en el usuario.
   • El usuario puede actualizar etiquetas para filas específicas.

3. CleanLab: enfoque de aprendizaje seguro

   • Utiliza un aprendizaje seguro para identificar y rectificar problemas de etiquetas.
   • Muestra automáticamente filas con posibles errores de etiqueta para correcciones basadas en el usuario.

4. Versionado y guardado de datos

   • Fusione las correcciones del usuario con el conjunto de datos anotado.
   • El control de versiones de datos avanzado garantiza que se guarden versiones únicas del conjunto de datos para cada actualización.

5. Entrenamiento modelo

   • Entrene un modelo BERT en el conjunto de datos limpio.
   • Realice un seguimiento y reproduzca versiones de modelos sin problemas utilizando MLflow.

Configuración

Requisitos previos

1. Instale los paquetes necesarios:

   pip install -r requirements.txt

Ejecutando la herramienta

1. Inicie el backend de FastAPI :

   uvicorn app:app --reload

2. Ejecute la aplicación Streamlit :

   streamlit run frontend.py

3. Inicie la interfaz de usuario de MLflow : para ver modelos, métricas y modelos registrados, puede acceder a la interfaz de usuario de MLflow con el siguiente comando:

   mlflow ui

4. Acceda a los enlaces proporcionados en su navegador web :

   • Para la aplicación principal, acceda al enlace Streamlit.
   • Para la interfaz de seguimiento de MLflow, de forma predeterminada, puede navegar a http://127.0.0.1:5000 .

5. Siga las instrucciones en pantalla para cargar, anotar, corregir y entrenar en su conjunto de datos.

¿Por qué aprender con confianza?

El aprendizaje seguro se ha convertido en una técnica innovadora en el aprendizaje supervisado y la supervisión débil. Su objetivo es caracterizar el ruido de las etiquetas, encontrar errores en las etiquetas y aprender de manera eficiente con etiquetas ruidosas. Al eliminar datos ruidosos y clasificar ejemplos para entrenar con confianza, este método garantiza un conjunto de datos limpio y confiable, lo que mejora el rendimiento general del modelo.

Licencia

Este proyecto es de código abierto bajo la licencia MIT.

---