qevals

qEvals

جدول المحتويات

• ما هو التقييم؟
• ابدء
• المتطلبات الأساسية
• التوافق
• تشغيل الاختبارات
• المساهمة
• ملاحظات الإصدار

ما هو التقييم؟

يعد Evals إطارًا لإنشاء البيانات الاصطناعية وتقييمها لتطبيقات LLMs وRAG.

لديها وحدتين رئيسيتين:

• datagen
• تقييم

مخطط معماري عالي المستوى للتقييمات هو ما يلي:

مخطط الهندسة المعمارية

ابدء

لبدء استخدام التقييمات، اتبع الخطوات التالية:

1. استنساخ المستودع على جهازك المحلي.
2. قم بتثبيت التبعيات الضرورية عن طريق تشغيل pip install -r requirements.txt في دليل المشروع.
3. قم بإنشاء نسخة من config/config.toml.template وقم بتسميتها config/config.toml .
4. قم بتحديث قسمين في ملف config.toml :
   1. MISC
      • قم بتكوين موقع ملف شهادة SSL الخاص بك.
   2. DATAGEN
      • يتحكم متغير Set DATA_DIR في موقع مجموعة البيانات لإنشاء بيانات تركيبية منها، وهي مرتبطة بدليل datagen/data/ . بمعنى آخر، أضف أدلة البيانات الخاصة بك هناك وحدد اسمها في المتغير.
      • يتيح المتغير GEN_PROVIDER الاختيار بين azure أو vertex .
      • أضف بقية المتغيرات المطلوبة للأغراض التوليدية.
   3. DATAEVAL
      • يقدم EVAL_TESTS قائمة باختبارات التقييم التي يدعمها الإطار. الخيارات الممكنة هي AnswerRelevancy ، Hallucination ، Faithfulness ، Bias ، Toxicity ، Correctness ، Coherence ، PromptInjection ، PromptBreaking ، PromptLeakage .
      • يتيح المتغير EVAL_RPVODER الاختيار بين azure أو vertex .
      • أضف باقي المتغيرات المطلوبة للنموذج المطلوب استخدامه كحكم للتقييمات.

لتشغيل وحدة توليد البيانات الاصطناعية:

1. تعديل/تكييف نموذج العميل المقدم ( datagen/client.py )

2. قم بتشغيل python -m datagen.client

3. سيتم تخزين البيانات التي تم إنشاؤها صناعيًا في دليل datagen/qa_out/ كملف CSV بالتنسيق:

    ```csv
    question,context,ground_truth
    ```
   

لتشغيل وحدة التقييم:

1. تعديل/تكييف نموذج العميل المقدم ( eval/client.py )
   1. يجب أن تتطابق البيانات المدخلة مع تنسيق البيانات التي ينتجها توليد البيانات الاصطناعية ( question ، context ، ground_truth ).
   2. قد يتم أو لا يتم استخدام ground_truth اعتمادًا على الإعداد use_answers_from_dataset . عند التعيين على False ، سيتم تجاهل عمود البيانات هذا وإنشاء مخرجات جديدة باستخدام النموذج التوليدي الذي تم تكوينه.
2. ابدأ MlFlow بتشغيل:

   mlflow ui --port 5000

3. قم بتشغيل python -m eval.client
4. قم بمراقبة وتحليل نتائج التقييم على واجهة MlFlow المحلية الخاصة بك هنا: http://localhost:5000