llm data annotation

โมเดลภาษาขนาดใหญ่สำหรับคำอธิบายประกอบข้อมูลที่มีประสิทธิภาพและการปรับแต่งโมเดลอย่างละเอียดด้วยการเรียนรู้เชิงรุกแบบวนซ้ำ

เฟรมเวิร์กนี้รวมความเชี่ยวชาญของมนุษย์เข้ากับประสิทธิภาพของ Large Language Models (LLM) เช่น GPT-3.5 ของ OpenAI เพื่อลดความซับซ้อนของคำอธิบายประกอบชุดข้อมูลและการปรับปรุงโมเดล วิธีการทำซ้ำช่วยให้มั่นใจได้ถึงการปรับปรุงคุณภาพข้อมูลอย่างต่อเนื่อง และด้วยเหตุนี้ ประสิทธิภาพของแบบจำลองจึงได้รับการปรับแต่งอย่างละเอียดโดยใช้ข้อมูลนี้ ซึ่งไม่เพียงช่วยประหยัดเวลา แต่ยังช่วยให้สามารถสร้าง LLM แบบกำหนดเองที่ใช้ประโยชน์จากทั้งคำอธิบายประกอบที่เป็นมนุษย์และความแม่นยำบน LLM

สถาปัตยกรรม

คุณสมบัติ

1. การอัปโหลดชุดข้อมูลและคำอธิบายประกอบ

   • อัปโหลดชุดข้อมูล CSV
   • ใช้ประโยชน์จาก GPT-3.5 เพื่อใส่คำอธิบายประกอบชุดข้อมูลโดยอัตโนมัติ
   • ดูตัวอย่างคำอธิบายประกอบ โดยเน้นแถวคะแนนความเชื่อมั่นต่ำ

2. การแก้ไขคำอธิบายประกอบด้วยตนเอง

   • แสดงชุดข้อมูลที่มีคำอธิบายประกอบสำหรับการแก้ไขตามผู้ใช้
   • ผู้ใช้สามารถอัปเดตป้ายกำกับสำหรับแถวที่ต้องการได้

3. CleanLab: แนวทางการเรียนรู้อย่างมั่นใจ

   • ใช้การเรียนรู้อย่างมั่นใจเพื่อระบุและแก้ไขปัญหาฉลาก
   • แสดงแถวที่อาจเกิดข้อผิดพลาดของป้ายกำกับโดยอัตโนมัติสำหรับการแก้ไขตามผู้ใช้

4. การกำหนดเวอร์ชันและการบันทึกข้อมูล

   • รวมการแก้ไขผู้ใช้เข้ากับชุดข้อมูลที่มีคำอธิบายประกอบ
   • การกำหนดเวอร์ชันข้อมูลขั้นสูงช่วยให้มั่นใจได้ว่าเวอร์ชันชุดข้อมูลที่ไม่ซ้ำกันจะถูกบันทึกไว้สำหรับการอัปเดตทุกครั้ง

5. การฝึกอบรมแบบจำลอง

   • ฝึกโมเดล BERT บนชุดข้อมูลที่ล้างแล้ว
   • ติดตามและทำซ้ำเวอร์ชันของโมเดลได้อย่างราบรื่นโดยใช้ MLflow

ตั้งค่า

ข้อกำหนดเบื้องต้น

1. ติดตั้งแพ็คเกจที่จำเป็น:

   pip install -r requirements.txt

เรียกใช้เครื่องมือ

1. เริ่มแบ็กเอนด์ FastAPI :

   uvicorn app:app --reload

2. เรียกใช้แอป Streamlit :

   streamlit run frontend.py

3. เปิดใช้ MLflow UI : หากต้องการดูโมเดล เมตริก และโมเดลที่ลงทะเบียน คุณสามารถเข้าถึง MLflow UI ด้วยคำสั่งต่อไปนี้:

   mlflow ui

4. เข้าถึงลิงก์ที่ให้ไว้ในเว็บเบราว์เซอร์ของคุณ :

   • สำหรับแอปพลิเคชันหลัก ให้เข้าไปที่ลิงก์ Streamlit
   • สำหรับอินเทอร์เฟซการติดตามของ MLflow ตามค่าเริ่มต้น คุณสามารถไปที่ http://127.0.0.1:5000

5. ปฏิบัติตามคำแนะนำบนหน้าจอ เพื่ออัปโหลด ใส่คำอธิบายประกอบ แก้ไข และฝึกชุดข้อมูลของคุณ

ทำไมต้องมั่นใจในการเรียนรู้?

การเรียนรู้อย่างมั่นใจกลายเป็นเทคนิคที่ก้าวล้ำในการเรียนรู้แบบมีผู้สอนและการกำกับดูแลที่อ่อนแอ โดยมีจุดมุ่งหมายเพื่อระบุลักษณะของสัญญาณรบกวนของฉลาก ค้นหาข้อผิดพลาดของฉลาก และการเรียนรู้อย่างมีประสิทธิภาพด้วยฉลากที่มีสัญญาณรบกวน ด้วยการตัดข้อมูลที่มีสัญญาณรบกวนและจัดอันดับตัวอย่างเพื่อฝึกด้วยความมั่นใจ วิธีการนี้ทำให้มั่นใจได้ว่าชุดข้อมูลที่สะอาดและเชื่อถือได้ ช่วยเพิ่มประสิทธิภาพการทำงานของโมเดลโดยรวม

ใบอนุญาต

โครงการนี้เป็นโอเพ่นซอร์สภายใต้ใบอนุญาต MIT

---