interpret lm knowledge

Menafsirkan Model Bahasa Melalui Ekstraksi Grafik Pengetahuan

Ide : Bagaimana kita menafsirkan apa yang dipelajari model bahasa pada berbagai tahap pelatihan? Model bahasa baru-baru ini digambarkan sebagai basis pengetahuan terbuka. Kita dapat menghasilkan grafik pengetahuan dengan mengekstraksi tripel relasi dari model bahasa bertopeng pada zaman berurutan atau varian arsitektur untuk memeriksa proses perolehan pengetahuan.

Kumpulan data : Pasukan, Google-RE (3 varian)

Model : BERT, RoBeRTa, DistilBert, melatih RoBERTa dari awal

Penulis : Vinitra Swamy, Angelika Romanou, Martin Jaggi

Repositori ini merupakan implementasi resmi dari makalah NeurIPS 2021 XAI4Debugging yang berjudul "Menafsirkan Model Bahasa Melalui Ekstraksi Grafik Pengetahuan". Apakah pekerjaan ini bermanfaat? Silakan kutip makalah kami.

Panduan Memulai Cepat

Model Terlatih (BERT, DistilBERT, RoBERTa) -> Grafik Pengetahuan

1. Instal persyaratan dan kloning repositori

 git clone https://github.com/epfml/interpret-lm-knowledge.git
pip install git+https://github.com/huggingface/transformers   
pip install textacy
cd interpret-lm-knowledge/scripts

2. Hasilkan grafik pengetahuan dan kerangka data python run_knowledge_graph_experiments.py <dataset> <model> <use_spacy>
   misalnya squad Bert spacy
re-place-birth Roberta

parameter opsional:

 dataset=squad - "squad", "re-place-birth", "re-date-birth", "re-place-death"  
model=Roberta - "Bert", "Roberta", "DistilBert"  
extractor=spacy - "spacy", "textacy", "custom"

Lihat run_lm_experiments notebook untuk contohnya.

Latih model LM dari awal -> Grafik Pengetahuan

1. Instal persyaratan dan kloning repositori

 !pip install git+https://github.com/huggingface/transformers
!pip list | grep -E 'transformers|tokenizers'
!pip install textacy

2. Jalankan wikipedia_train_from_scratch_lm.ipynb .
3. Seperti yang disertakan dalam sel terakhir buku catatan, Anda dapat menjalankan eksperimen pembuatan KG dengan:

 from run_training_kg_experiments import *
run_experiments(tokenizer, model, unmasker, "Roberta3e")

Kutipan

 @inproceedings { swamy2021interpreting ,
 author = { Swamy, Vinitra and Romanou, Angelika and Jaggi, Martin } ,
 booktitle = { Advances in Neural Information Processing Systems (NeurIPS), 1st Workshop on eXplainable AI Approaches for Debugging and Diagnosis } ,
 title = { Interpreting Language Models Through Knowledge Graph Extraction } ,
 year = { 2021 }
}