llm data annotation

反復アクティブ学習による効率的なデータ注釈とモデル微調整のための大規模言語モデル

このフレームワークは、人間の専門知識と OpenAI の GPT-3.5 などの大規模言語モデル (LLM) の効率性を組み合わせて、データセットのアノテーションとモデルの改善を簡素化します。反復的なアプローチにより、データ品質の継続的な改善が保証され、その結果、このデータを使用して微調整されたモデルのパフォーマンスが保証されます。これにより、時間が節約されるだけでなく、ヒューマン アノテーターと LLM ベースの精度の両方を活用するカスタマイズされた LLM の作成が可能になります。

建築

特徴

1. データセットのアップロードとアノテーション

   • CSV データセットをアップロードします。
   • GPT-3.5 を活用して、データセットに自動的に注釈を付けます。
   • 注釈をプレビューして、信頼性の低いスコア行を強調表示します。

2. 注釈の手動修正

   • ユーザーベースの修正のために注釈付きのデータセットを表示します。
   • ユーザーは特定の行のラベルを更新できます。

3. CleanLab: 自信を持った学習アプローチ

   • 自信を持った学習を利用して、ラベルの問題を特定して修正します。
   • ユーザーベースの修正のために、潜在的なラベルエラーのある行を自動的に表示します。

4. データのバージョン管理と保存

   • ユーザーによる修正をアノテーション付きデータセットとマージします。
   • 高度なデータ バージョン管理により、更新ごとに一意のデータセット バージョンが保存されます。

5. モデルのトレーニング

   • クリーンアップされたデータセットで BERT モデルをトレーニングします。
   • MLflow を使用して、モデルのバージョンをシームレスに追跡および再現します。

設定

前提条件

1. 必要なパッケージをインストールします。

   pip install -r requirements.txt

ツールの実行

1. FastAPI バックエンドを開始します。

   uvicorn app:app --reload

2. Streamlit アプリを実行します。

   streamlit run frontend.py

3. MLflow UI を起動する: モデル、メトリクス、登録済みモデルを表示するには、次のコマンドを使用して MLflow UI にアクセスします。

   mlflow ui

4. Web ブラウザで提供されたリンクにアクセスします。

   • メイン アプリケーションの場合は、Streamlit リンクにアクセスします。
   • MLflow の追跡インターフェイスの場合、デフォルトではhttp://127.0.0.1:5000に移動できます。

5. 画面上のプロンプトに従って、データセットのアップロード、注釈付け、修正、トレーニングを行います。

なぜ自信を持って学習できるのか?

自信を持った学習は、教師あり学習と弱い教師による画期的な手法として登場しました。ラベル ノイズの特徴付け、ラベル エラーの発見、ノイズのあるラベルでの効率的な学習を目的としています。この方法では、ノイズの多いデータを除去し、サンプルをランク付けして自信を持ってトレーニングできるようにすることで、クリーンで信頼性の高いデータセットを確保し、モデル全体のパフォーマンスを向上させます。

ライセンス

このプロジェクトは MIT ライセンスに基づいてオープンソース化されています。

---