llm data annotation

透過迭代主動學習實現高效能資料註解和模型微調的大型語言模型

該框架將人類專業知識與 OpenAI 的 GPT-3.5 等大型語言模型 (LLM) 的效率相結合，以簡化資料集註釋和模型改進。迭代方法確保了資料品質的持續改進，從而確保使用這些資料微調模型的效能。這不僅節省了時間，還可以創建客製化的法學碩士，利用人工註釋者和基於法學碩士的精度。

建築學

特徵

1. 資料集上傳與標註

   • 上傳 CSV 資料集。
   • 利用 GPT-3.5 自動註釋資料集。
   • 預覽註釋，突出顯示低置信度分數行。

2. 手動註釋更正

   • 顯示帶註釋的資料集以進行基於使用者的更正。
   • 使用者可以更新特定行的標籤。

3. CleanLab：自信的學習方法

   • 利用自信的學習來識別和糾正標籤問題。
   • 自動顯示具有潛在標籤錯誤的行，以便進行基於使用者的更正。

4. 資料版本控制和保存

   • 將使用者更正與註釋的資料集合併。
   • 進階資料版本控制確保每次更新都保存唯一的資料集版本。

5. 模型訓練

   • 在清理後的資料集上訓練 BERT 模型。
   • 使用 MLflow 無縫追蹤和重現模型版本。

設定

先決條件

1. 安裝所需的軟體包：

   pip install -r requirements.txt

運行工具

1. 啟動 FastAPI 後端：

   uvicorn app:app --reload

2. 運行 Streamlit 應用程式：

   streamlit run frontend.py

3. 啟動 MLflow UI ：要查看模型、指標和註冊模型，您可以使用以下命令存取 MLflow UI：

   mlflow ui

4. 在網頁瀏覽器中造訪提供的連結：

   • 對於主應用程序，請訪問 Streamlit 連結。
   • 對於 MLflow 的追蹤介面，預設情況下，您可以導覽至http://127.0.0.1:5000 。

5. 依照螢幕上的指示上傳、註解、修正和訓練資料集。

為什麼要自信學習？

置信學習已成為監督學習和弱監督領域的突破性技術。它的目的是表徵標籤噪聲，發現標籤錯誤，並利用噪音標籤進行有效學習。透過修剪雜訊資料並對範例進行排序以自信地進行訓練，該方法可確保資料集乾淨可靠，從而提高整體模型效能。

執照

該專案是根據 MIT 許可證開源的。

---