interpret lm knowledge

Interpretation von Sprachmodellen durch Extraktion von Wissensgraphen

Idee : Wie interpretieren wir, was ein Sprachmodell in verschiedenen Trainingsphasen lernt? Sprachmodelle wurden kürzlich als offene Wissensdatenbanken beschrieben. Wir können Wissensgraphen erstellen, indem wir Beziehungstripel aus maskierten Sprachmodellen in aufeinanderfolgenden Epochen oder Architekturvarianten extrahieren, um den Prozess des Wissenserwerbs zu untersuchen.

Datensatz : Squad, Google-RE (3 Varianten)

Modelle : BERT, RoBeRTa, DistilBert, RoBERTa von Grund auf trainieren

Autoren : Vinitra Swamy, Angelika Romanou, Martin Jaggi

Dieses Repository ist die offizielle Implementierung des NeurIPS 2021 XAI4Debugging-Papiers mit dem Titel „Interpreting Language Models Through Knowledge Graph Extraction“. Fanden Sie diese Arbeit nützlich? Bitte zitieren Sie unseren Beitrag.

Kurzanleitung

Vorab trainiertes Modell (BERT, DistilBERT, RoBERTa) -> Wissensgraph

1. Anforderungen installieren und Repository klonen

 git clone https://github.com/epfml/interpret-lm-knowledge.git
pip install git+https://github.com/huggingface/transformers   
pip install textacy
cd interpret-lm-knowledge/scripts

2. Generieren Sie Wissensdiagramme und Datenrahmen python run_knowledge_graph_experiments.py <dataset> <model> <use_spacy>
   zB squad Bert spacy
   zB re-place-birth Roberta

optionale Parameter:

 dataset=squad - "squad", "re-place-birth", "re-date-birth", "re-place-death"  
model=Roberta - "Bert", "Roberta", "DistilBert"  
extractor=spacy - "spacy", "textacy", "custom"

Beispiele finden Sie run_lm_experiments notebook .

Trainieren Sie das LM-Modell von Grund auf -> Knowledge Graph

1. Anforderungen installieren und Repository klonen

 !pip install git+https://github.com/huggingface/transformers
!pip list | grep -E 'transformers|tokenizers'
!pip install textacy

2. Führen Sie wikipedia_train_from_scratch_lm.ipynb aus.
3. Wie in der letzten Zelle des Notizbuchs enthalten, können Sie die Experimente zur KG-Generierung wie folgt ausführen:

 from run_training_kg_experiments import *
run_experiments(tokenizer, model, unmasker, "Roberta3e")

Zitate

 @inproceedings { swamy2021interpreting ,
 author = { Swamy, Vinitra and Romanou, Angelika and Jaggi, Martin } ,
 booktitle = { Advances in Neural Information Processing Systems (NeurIPS), 1st Workshop on eXplainable AI Approaches for Debugging and Diagnosis } ,
 title = { Interpreting Language Models Through Knowledge Graph Extraction } ,
 year = { 2021 }
}