llm data annotation

نماذج لغة كبيرة لتعليقات توضيحية فعالة للبيانات وضبط النماذج باستخدام التعلم النشط التكراري

يجمع هذا الإطار بين الخبرة البشرية وكفاءة نماذج اللغات الكبيرة (LLMs) مثل OpenAI's GPT-3.5 لتبسيط التعليقات التوضيحية لمجموعة البيانات وتحسين النموذج. ويضمن النهج التكراري التحسين المستمر لجودة البيانات، وبالتالي تحسين أداء النماذج باستخدام هذه البيانات. وهذا لا يوفر الوقت فحسب، بل يمكّن أيضًا من إنشاء دورات LLM مخصصة تستفيد من كل من المفسرين البشريين والدقة المستندة إلى LLM.

بنيان

سمات

1. تحميل مجموعة البيانات والتعليق التوضيحي

   • تحميل مجموعات بيانات CSV.
   • استفد من GPT-3.5 لتعليق مجموعات البيانات تلقائيًا.
   • قم بمعاينة التعليقات التوضيحية، مع تمييز صفوف نقاط الثقة المنخفضة.

2. تصحيحات التعليقات التوضيحية اليدوية

   • عرض مجموعة البيانات المشروحة للتصحيحات المستندة إلى المستخدم.
   • يمكن للمستخدم تحديث التسميات لصفوف محددة.

3. CleanLab: نهج التعلم الواثق

   • يستخدم التعلم الواثق لتحديد وتصحيح مشكلات التسمية.
   • يعرض تلقائيًا الصفوف التي تحتوي على أخطاء محتملة في التسمية للتصحيحات المستندة إلى المستخدم.

4. إصدار البيانات وحفظها

   • دمج تصحيحات المستخدم مع مجموعة البيانات المشروحة.
   • يضمن الإصدار المتقدم للبيانات حفظ إصدارات مجموعة البيانات الفريدة لكل تحديث.

5. التدريب النموذجي

   • تدريب نموذج BERT على مجموعة البيانات التي تم تنظيفها.
   • تتبع إصدارات النماذج وإعادة إنتاجها بسلاسة باستخدام MLflow.

يثبت

المتطلبات الأساسية

1. تثبيت الحزم المطلوبة:

   pip install -r requirements.txt

تشغيل الأداة

1. ابدأ الواجهة الخلفية لـ FastAPI :

   uvicorn app:app --reload

2. قم بتشغيل تطبيق Streamlit :

   streamlit run frontend.py

3. تشغيل واجهة مستخدم MLflow : لعرض النماذج والمقاييس والنماذج المسجلة، يمكنك الوصول إلى واجهة مستخدم MLflow باستخدام الأمر التالي:

   mlflow ui

4. الوصول إلى الروابط المتوفرة في متصفح الويب الخاص بك :

   • بالنسبة للتطبيق الرئيسي، قم بالوصول إلى رابط Streamlit.
   • بالنسبة لواجهة تتبع MLflow، يمكنك الانتقال افتراضيًا إلى http://127.0.0.1:5000 .

5. اتبع المطالبات التي تظهر على الشاشة لتحميل مجموعة البيانات الخاصة بك والتعليق عليها وتصحيحها والتدريب عليها.

لماذا التعلم الواثق؟

لقد ظهر التعلم الواثق كأسلوب رائد في التعلم الخاضع للإشراف والإشراف الضعيف. ويهدف إلى توصيف ضوضاء الملصقات، والعثور على أخطاء الملصقات، والتعلم بكفاءة باستخدام الملصقات المزعجة. من خلال تقليم البيانات المزعجة وتصنيف الأمثلة للتدريب بثقة، تضمن هذه الطريقة مجموعة بيانات نظيفة وموثوقة، مما يعزز الأداء العام للنموذج.

رخصة

هذا المشروع مفتوح المصدر بموجب ترخيص MIT.

---