التقييم الآلي لنماذج اللغة المعززة للاسترجاع مع إنشاء اختبارات خاصة بالمهمة

هذا المستودع هو الرفيق لورقة ICML 2024 التقييم الآلي لنماذج اللغة المعززة للاسترجاع مع إنشاء اختبارات خاصة بالمهمة (مدونة)

نص بديل

الهدف : بالنسبة لمجموعة معرفية معينة:

استفد من LLM لإنشاء اختبار متعدد الاختيارات مرتبط بالمهمة محل الاهتمام.
قم بتقييم متغيرات أنظمة RaG في هذا الاختبار.
تقييم وتحسين الامتحان بشكل متكرر.

الشيء الوحيد الذي تحتاجه لتجربة هذا الرمز هو ملف json يحتوي على مجموعة معرفتك بالتنسيق الموضح أدناه.

ط - هيكل الحزمة

Data : تحتوي كل حالة استخدام على:
- رمز المعالجة المسبقة
- بيانات مجموعة المعرفة
- بيانات الاختبار (الخام والمعالجة)
- مؤشر الاسترجاع
ExamGenerator : رمز لإنشاء ومعالجة اختبار الاختيار المتعدد باستخدام مجموعة المعرفة ومولد (مولدات) LLM.
ExamEvaluator : كود لتقييم الامتحان باستخدام مزيج من (Retrieval System, LLM, ExamCorpus) ، بالاعتماد على مكتبة lm-harness .
LLMServer : نقاط نهاية LLM موحدة لإنشاء الاختبار.
RetrievalSystems : فئات نظام الاسترجاع الموحد (مثل DPR، BM25، تشابه التضمين...).

II - عملية إنشاء بيانات الامتحان

نوضح منهجيتنا في 4 مهام محل اهتمام: استكشاف أخطاء AWS DevOPS وإصلاحها، وStackExchange Q&A، وSec Filings Q&A، وArxiv Q&A. ثم نعرض كيفية تكييف المنهجية مع أي مهمة.

StackExchange

قم بتشغيل الأوامر أدناه، حيث question-date هو البيانات مع إنشاء البيانات الأولية. أضف --save-exam إذا كنت تريد حفظ الاختبار وقم بإزالته إذا كنت مهتمًا بالتحليلات فقط.

 cd auto-rag-eval
rm -rf Data/StackExchange/KnowledgeCorpus/main/ *
python3 -m Data.StackExchange.preprocessor
python3 -m ExamGenerator.question_generator --task-domain StackExchange
python3 -m ExamGenerator.multi_choice_exam --task-domain StackExchange --question-date " question-date " --save-exam

أركسيف

 cd auto-rag-eval
rm -rf Data/Arxiv/KnowledgeCorpus/main/ *
python3 -m Data.Arxiv.preprocessor
python3 -m ExamGenerator.question_generator --task-domain Arxiv
python3 -m ExamGenerator.multi_choice_exam --task-domain Arxiv --question-date " question-date " --save-exam

الإيداعات ثانية

 cd auto-rag-eval
rm -rf Data/SecFilings/KnowledgeCorpus/main/ *
python3 -m Data.SecFilings.preprocessor
python3 -m ExamGenerator.question_generator --task-domain SecFilings
python3 -m ExamGenerator.multi_choice_exam --task-domain SecFilings --question-date " question-date " --save-exam

أضف المهمة الخاصة بك MyOwnTask

إنشاء هيكل الملف

 cd src/llm_automated_exam_evaluation/Data/
mkdir MyOwnTask
mkdir MyOwnTask/KnowledgeCorpus
mkdir MyOwnTask/KnowledgeCorpus/main
mkdir MyOwnTask/RetrievalIndex
mkdir MyOwnTask/RetrievalIndex/main
mkdir MyOwnTask/ExamData
mkdir MyOwnTask/RawExamData

إنشاء مجموعة وثائقية

قم بتخزين ملف json في MyOwnTask/KnowledgeCorpus/main ، والذي يحتوي على قائمة بالوثائق، كل منها بالتنسيق أدناه. راجع DevOps/html_parser.py أو DevOps/preprocessor.py أو StackExchange/preprocessor.py للحصول على بعض الأمثلة.

{ ' source ' : ' my_own_source ' ,
' docs_id ' : ' Doc1022 ' ,
' title ' : ' Dev Desktop Set Up ' ,
' section ' : ' How to [...] ' ,
' text ' : " Documentation Text, should be long enough to make informative questions but shorter enough to fit into context " ,
' start_character ' : ' N/A ' ,
' end_character ' : ' N/A ' ,
' date ' : ' N/A ' ,
}

إنشاء مؤشر الامتحان والاسترجاع

قم أولاً بإنشاء الاختبار الأولي وفهرس الاسترجاع. لاحظ أنك قد تحتاج إلى إضافة دعم لمرحلة LLM الخاصة بك، المزيد حول هذا أدناه. قد ترغب في تعديل الموجه المستخدم لإنشاء الاختبار في فئة LLMExamGenerator في ExamGenerator/question_generator.py .

python3 -m ExamGenerator.question_generator --task-domain MyOwnTask

بمجرد الانتهاء من ذلك (قد يستغرق بضع ساعات اعتمادًا على حجم التوثيق)، قم بإنشاء الاختبار المعالج. للقيام بذلك، تحقق من MyRawExamDate في RawExamData (على سبيل المثال 2023091223) وقم بتشغيل:

python3 -m ExamGenerator.multi_choice_exam --task-domain MyOwnTask  --question-date MyRawExamDate --save-exam

أحضر LLM الخاص بك

نحن ندعم حاليًا نقاط النهاية لـ Bedrock (Claude) في ملف LLMServer . الشيء الوحيد المطلوب إحضاره معك هو الفصل الدراسي، مع وظيفة inference التي تأخذ مطالبة في الإدخال والإخراج لكل من النص الموجه والمكتمل. قم بتعديل فئة LLMExamGenerator في ExamGenerator/question_generator.py لدمجها. تولد LLM المختلفة أنواعًا مختلفة من الأسئلة. وبالتالي، قد ترغب في تعديل تحليل الاختبار الأولي في ExamGenerator/multi_choice_questions.py . يمكنك تجربة استخدام failed_questions.ipynb Notebook من ExamGenerator .

رابعا- عملية تقييم الامتحان

نحن نستخدم حزمة lm-harness لتقييم نظام (LLM&Retrieval) في الاختبار الذي تم إنشاؤه. للقيام بذلك، اتبع الخطوات التالية:

إنشاء معيار

قم بإنشاء مجلد معياري لمهمتك، هنا DevOpsExam ، راجع ExamEvaluator/DevOpsExam للحصول على القالب. يحتوي على ملف تعليمات برمجية preprocess_exam,py لقوالب المطالبة والأهم من ذلك، مجموعة من المهام لتقييم النماذج على:

يحتوي DevOpsExam على المهام المرتبطة بـ ClosedBook (وليس الاسترجاع) وOpenBook (Oracle Retrieval).
يحتوي DevOpsRagExam على المهام المرتبطة بمتغيرات الاسترجاع (DPR/Embeddings/BM25...).

يوضح البرنامج النصي task_evaluation.sh المقدم تقييم Llamav2:Chat:13B و Llamav2:Chat:70B في المهمة، باستخدام التعلم داخل السياق (ICL) مع عينات 0 و1 و2 على التوالي.

الاقتباس

للاستشهاد بهذا العمل، يرجى استخدام

@misc{autorageval2024,
      title={Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation}, 
      author={Gauthier Guinet and Behrooz Omidvar-Tehrani and Anoop Deoras and Laurent Callot},
      year={2024},
      eprint={2405.13622},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}