interpret lm knowledge

تفسير نماذج اللغة من خلال استخراج الرسم البياني المعرفي

الفكرة : كيف نفسر ما يتعلمه النموذج اللغوي في مراحل التدريب المختلفة؟ تم وصف النماذج اللغوية مؤخرًا على أنها قواعد معرفية مفتوحة. يمكننا إنشاء رسوم بيانية معرفية عن طريق استخراج العلاقات الثلاثية من نماذج اللغة المقنعة في العصور المتسلسلة أو المتغيرات المعمارية لفحص عملية اكتساب المعرفة.

مجموعة البيانات : Squad، Google-RE (3 نكهات)

النماذج : BERT، RoBeRTa، DistilBert، تدريب RoBERTa من الصفر

المؤلفون : فينيترا سوامي، أنجليكا رومانو، مارتن جاجي

هذا المستودع هو التنفيذ الرسمي لورقة NeurIPS 2021 XAI4Debugging بعنوان "تفسير نماذج اللغة من خلال استخراج الرسم البياني المعرفي". وجدت هذا العمل مفيدا؟ يرجى ذكر ورقتنا.

دليل البدء السريع

النموذج المُدرب مسبقًا (BERT، DistilBERT، RoBERTa) -> الرسم البياني المعرفي

1. متطلبات التثبيت ومستودع الاستنساخ

 git clone https://github.com/epfml/interpret-lm-knowledge.git
pip install git+https://github.com/huggingface/transformers   
pip install textacy
cd interpret-lm-knowledge/scripts

2. إنشاء الرسوم البيانية المعرفية وإطارات البيانات python run_knowledge_graph_experiments.py <dataset> <model> <use_spacy>
   على سبيل المثال squad Bert spacy
   على سبيل المثال re-place-birth Roberta

المعلمات الاختيارية:

 dataset=squad - "squad", "re-place-birth", "re-date-birth", "re-place-death"  
model=Roberta - "Bert", "Roberta", "DistilBert"  
extractor=spacy - "spacy", "textacy", "custom"

راجع run_lm_experiments notebook للحصول على أمثلة.

تدريب نموذج LM من الصفر -> الرسم البياني للمعرفة

1. متطلبات التثبيت ومستودع الاستنساخ

 !pip install git+https://github.com/huggingface/transformers
!pip list | grep -E 'transformers|tokenizers'
!pip install textacy

2. قم بتشغيل wikipedia_train_from_scratch_lm.ipynb .
3. كما هو مضمن في الخلية الأخيرة من دفتر الملاحظات، يمكنك إجراء تجارب جيل الروضة عن طريق:

 from run_training_kg_experiments import *
run_experiments(tokenizer, model, unmasker, "Roberta3e")

الاستشهادات

 @inproceedings { swamy2021interpreting ,
 author = { Swamy, Vinitra and Romanou, Angelika and Jaggi, Martin } ,
 booktitle = { Advances in Neural Information Processing Systems (NeurIPS), 1st Workshop on eXplainable AI Approaches for Debugging and Diagnosis } ,
 title = { Interpreting Language Models Through Knowledge Graph Extraction } ,
 year = { 2021 }
}