llm data annotation

Model Bahasa Besar untuk Anotasi Data yang Efisien dan Penyempurnaan Model dengan Pembelajaran Aktif Iteratif

Kerangka kerja ini menggabungkan keahlian manusia dengan efisiensi Model Bahasa Besar (LLM) seperti GPT-3.5 OpenAI untuk menyederhanakan anotasi kumpulan data dan peningkatan model. Pendekatan berulang memastikan peningkatan kualitas data secara terus-menerus, dan akibatnya, performa model disempurnakan menggunakan data ini. Hal ini tidak hanya menghemat waktu tetapi juga memungkinkan pembuatan LLM khusus yang memanfaatkan anotator manusia dan presisi berbasis LLM.

Arsitektur

Fitur

1. Pengunggahan dan Anotasi Kumpulan Data

   • Unggah kumpulan data CSV.
   • Manfaatkan GPT-3.5 untuk membuat anotasi set data secara otomatis.
   • Pratinjau anotasi, soroti baris skor dengan tingkat keyakinan rendah.

2. Koreksi Anotasi Manual

   • Tampilkan kumpulan data beranotasi untuk koreksi berbasis pengguna.
   • Pengguna dapat memperbarui label untuk baris tertentu.

3. CleanLab: Pendekatan Pembelajaran Percaya Diri

   • Memanfaatkan pembelajaran percaya diri untuk mengidentifikasi dan memperbaiki masalah label.
   • Secara otomatis menampilkan baris dengan potensi kesalahan label untuk koreksi berbasis pengguna.

4. Pembuatan Versi dan Penyimpanan Data

   • Gabungkan koreksi pengguna dengan kumpulan data yang dianotasi.
   • Pembuatan versi data tingkat lanjut memastikan versi kumpulan data unik disimpan untuk setiap pembaruan.

5. Pelatihan Model

   • Latih model BERT pada kumpulan data yang telah dibersihkan.
   • Lacak dan reproduksi versi model dengan lancar menggunakan MLflow.

Pengaturan

Prasyarat

1. Instal paket yang diperlukan:

   pip install -r requirements.txt

Menjalankan Alat

1. Mulai backend FastAPI :

   uvicorn app:app --reload

2. Jalankan aplikasi Streamlit :

   streamlit run frontend.py

3. Luncurkan MLflow UI : Untuk melihat model, metrik, dan model terdaftar, Anda dapat mengakses MLflow UI dengan perintah berikut:

   mlflow ui

4. Akses tautan yang disediakan di browser web Anda :

   • Untuk aplikasi utama, akses link Streamlit.
   • Untuk antarmuka pelacakan MLflow, secara default, Anda dapat menavigasi ke http://127.0.0.1:5000 .

5. Ikuti petunjuk di layar untuk mengunggah, memberi anotasi, mengoreksi, dan melatih kumpulan data Anda.

Mengapa Percaya Diri Belajar?

Pembelajaran yang percaya diri telah muncul sebagai teknik terobosan dalam pembelajaran yang diawasi dan pengawasan yang lemah. Hal ini bertujuan untuk mengkarakterisasi derau label, menemukan kesalahan label, dan belajar secara efisien dengan label yang derau. Dengan memangkas data yang bermasalah dan memberi peringkat contoh untuk dilatih dengan percaya diri, metode ini memastikan kumpulan data yang bersih dan andal, sehingga meningkatkan performa model secara keseluruhan.

Lisensi

Proyek ini bersumber terbuka di bawah Lisensi MIT.

---