interpret lm knowledge

การตีความแบบจำลองภาษาผ่านการดึงกราฟความรู้

แนวคิด : เราจะตีความสิ่งที่โมเดลภาษาเรียนรู้ในขั้นตอนต่างๆ ของการฝึกอบรมได้อย่างไร แบบจำลองภาษาได้รับการอธิบายเมื่อเร็วๆ นี้ว่าเป็นฐานความรู้แบบเปิด เราสามารถสร้างกราฟความรู้โดยการแยกความสัมพันธ์สามเท่าจากแบบจำลองภาษาที่ปกปิดในยุคลำดับหรือรูปแบบสถาปัตยกรรมเพื่อตรวจสอบกระบวนการได้มาซึ่งความรู้

ชุดข้อมูล : Squad, Google-RE (3 รสชาติ)

โมเดล : BERT, RoBeRTa, DistilBert, ฝึกอบรม RoBERTa ตั้งแต่เริ่มต้น

ผู้แต่ง : วินิทรา สวามี, แองเจลิกา โรมานู, มาร์ติน จักกี

พื้นที่เก็บข้อมูลนี้เป็นการใช้งานอย่างเป็นทางการของรายงาน NeurIPS 2021 XAI4Debugging ที่มีชื่อว่า "การตีความโมเดลภาษาผ่านการดึงกราฟความรู้" พบว่างานนี้มีประโยชน์หรือไม่? กรุณาอ้างอิงเอกสารของเรา

คู่มือเริ่มต้นใช้งานฉบับย่อ

โมเดลที่ได้รับการฝึกล่วงหน้า (BERT, DistilBERT, RoBERTa) -> กราฟความรู้

1. ข้อกำหนดการติดตั้งและพื้นที่เก็บข้อมูลโคลน

 git clone https://github.com/epfml/interpret-lm-knowledge.git
pip install git+https://github.com/huggingface/transformers   
pip install textacy
cd interpret-lm-knowledge/scripts

2. สร้างกราฟความรู้และ dataframes python run_knowledge_graph_experiments.py <dataset> <model> <use_spacy>
   เช่น squad Bert spacy
   เช่น re-place-birth Roberta

พารามิเตอร์เสริม:

 dataset=squad - "squad", "re-place-birth", "re-date-birth", "re-place-death"  
model=Roberta - "Bert", "Roberta", "DistilBert"  
extractor=spacy - "spacy", "textacy", "custom"

ดูตัวอย่าง run_lm_experiments notebook

ฝึกฝนโมเดล LM ตั้งแต่เริ่มต้น -> กราฟความรู้

1. ข้อกำหนดการติดตั้งและพื้นที่เก็บข้อมูลโคลน

 !pip install git+https://github.com/huggingface/transformers
!pip list | grep -E 'transformers|tokenizers'
!pip install textacy

2. เรียกใช้ wikipedia_train_from_scratch_lm.ipynb
3. ตามที่รวมอยู่ในเซลล์สุดท้ายของสมุดบันทึก คุณสามารถดำเนินการทดลองการสร้าง KG ได้โดย:

 from run_training_kg_experiments import *
run_experiments(tokenizer, model, unmasker, "Roberta3e")

การอ้างอิง

 @inproceedings { swamy2021interpreting ,
 author = { Swamy, Vinitra and Romanou, Angelika and Jaggi, Martin } ,
 booktitle = { Advances in Neural Information Processing Systems (NeurIPS), 1st Workshop on eXplainable AI Approaches for Debugging and Diagnosis } ,
 title = { Interpreting Language Models Through Knowledge Graph Extraction } ,
 year = { 2021 }
}