llm data annotation

通过迭代主动学习实现高效数据注释和模型微调的大型语言模型

该框架将人类专业知识与 OpenAI 的 GPT-3.5 等大型语言模型 (LLM) 的效率相结合，以简化数据集注释和模型改进。迭代方法确保了数据质量的持续改进，从而确保使用这些数据微调模型的性能。这不仅节省了时间，还可以创建定制的法学硕士，利用人工注释者和基于法学硕士的精度。

建筑学

特征

1. 数据集上传与标注

   • 上传 CSV 数据集。
   • 利用 GPT-3.5 自动注释数据集。
   • 预览注释，突出显示低置信度分数行。

2. 手动注释更正

   • 显示带注释的数据集以进行基于用户的更正。
   • 用户可以更新特定行的标签。

3. CleanLab：自信的学习方法

   • 利用自信的学习来识别和纠正标签问题。
   • 自动显示具有潜在标签错误的行，以便进行基于用户的更正。

4. 数据版本控制和保存

   • 将用户更正与带注释的数据集合并。
   • 高级数据版本控制确保每次更新都保存唯一的数据集版本。

5. 模型训练

   • 在清理后的数据集上训练 BERT 模型。
   • 使用 MLflow 无缝跟踪和重现模型版本。

设置

先决条件

1. 安装所需的软件包：

   pip install -r requirements.txt

运行工具

1. 启动 FastAPI 后端：

   uvicorn app:app --reload

2. 运行 Streamlit 应用程序：

   streamlit run frontend.py

3. 启动 MLflow UI ：要查看模型、指标和注册模型，您可以使用以下命令访问 MLflow UI：

   mlflow ui

4. 在网络浏览器中访问提供的链接：

   • 对于主应用程序，请访问 Streamlit 链接。
   • 对于 MLflow 的跟踪界面，默认情况下，您可以导航到http://127.0.0.1:5000 。

5. 按照屏幕上的提示上传、注释、更正和训练数据集。

为什么要自信学习？

置信学习已成为监督学习和弱监督领域的突破性技术。它的目的是表征标签噪声，发现标签错误，并利用噪声标签进行有效学习。通过修剪噪声数据并对示例进行排序以自信地进行训练，该方法可确保数据集干净可靠，从而提高整体模型性能。

执照

该项目是根据 MIT 许可证开源的。

---