interpret lm knowledge

Interprétation des modèles de langage grâce à l'extraction de graphes de connaissances

Idée : Comment interpréter ce qu'un modèle de langage apprend à différentes étapes de la formation ? Les modèles de langage ont été récemment décrits comme des bases de connaissances ouvertes. Nous pouvons générer des graphiques de connaissances en extrayant des triplets de relations à partir de modèles de langage masqués à des époques séquentielles ou des variantes d'architecture pour examiner le processus d'acquisition de connaissances.

Ensemble de données : Squad, Google-RE (3 saveurs)

Modèles : BERT, RoBeRTa, DistilBert, formation RoBERTa from scratch

Auteurs : Vinitra Swamy, Angelika Romanou, Martin Jaggi

Ce référentiel est l'implémentation officielle de l'article NeurIPS 2021 XAI4Debugging intitulé « Interprétation des modèles de langage grâce à l'extraction de graphes de connaissances ». Vous avez trouvé ce travail utile ? Veuillez citer notre article.

Guide de démarrage rapide

Modèle pré-entraîné (BERT, DistilBERT, RoBERTa) -> Knowlege Graph

1. Configuration requise pour l'installation et clonage du référentiel

 git clone https://github.com/epfml/interpret-lm-knowledge.git
pip install git+https://github.com/huggingface/transformers   
pip install textacy
cd interpret-lm-knowledge/scripts

2. Générer des graphiques de connaissances et des dataframes python run_knowledge_graph_experiments.py <dataset> <model> <use_spacy>
   par exemple, squad Bert spacy
   par exemple re-place-birth Roberta

paramètres facultatifs :

 dataset=squad - "squad", "re-place-birth", "re-date-birth", "re-place-death"  
model=Roberta - "Bert", "Roberta", "DistilBert"  
extractor=spacy - "spacy", "textacy", "custom"

Voir run_lm_experiments notebook pour des exemples.

Former le modèle LM à partir de zéro -> Knowledge Graph

1. Configuration requise pour l'installation et clonage du référentiel

 !pip install git+https://github.com/huggingface/transformers
!pip list | grep -E 'transformers|tokenizers'
!pip install textacy

2. Exécutez wikipedia_train_from_scratch_lm.ipynb .
3. Comme indiqué dans la dernière cellule du cahier, vous pouvez exécuter les expériences de génération KG en :

 from run_training_kg_experiments import *
run_experiments(tokenizer, model, unmasker, "Roberta3e")

Citations

 @inproceedings { swamy2021interpreting ,
 author = { Swamy, Vinitra and Romanou, Angelika and Jaggi, Martin } ,
 booktitle = { Advances in Neural Information Processing Systems (NeurIPS), 1st Workshop on eXplainable AI Approaches for Debugging and Diagnosis } ,
 title = { Interpreting Language Models Through Knowledge Graph Extraction } ,
 year = { 2021 }
}