interpret lm knowledge

Interpretando modelos de linguagem por meio da extração de gráficos de conhecimento

Ideia : Como interpretamos o que um modelo de linguagem aprende em vários estágios de treinamento? Os modelos de linguagem foram recentemente descritos como bases de conhecimento abertas. Podemos gerar gráficos de conhecimento extraindo relações triplas de modelos de linguagem mascarados em épocas sequenciais ou variantes de arquitetura para examinar o processo de aquisição de conhecimento.

Conjunto de dados : Squad, Google-RE (3 versões)

Modelos : BERT, RoBeRTa, DistilBert, treinando RoBERTa do zero

Autores : Vinitra Swamy, Angelika Romanou, Martin Jaggi

Este repositório é a implementação oficial do artigo NeurIPS 2021 XAI4Debugging intitulado "Interpreting Language Models Through Knowledge Graph Extraction". Achou este trabalho útil? Por favor, cite nosso artigo.

Guia de início rápido

Modelo pré-treinado (BERT, DistilBERT, RoBERTa) -> Gráfico de conhecimento

1. Instalar requisitos e clonar repositório

 git clone https://github.com/epfml/interpret-lm-knowledge.git
pip install git+https://github.com/huggingface/transformers   
pip install textacy
cd interpret-lm-knowledge/scripts

2. Gere gráficos de conhecimento e dataframes python run_knowledge_graph_experiments.py <dataset> <model> <use_spacy>
   por exemplo, squad Bert spacy
   por exemplo, re-place-birth Roberta

parâmetros opcionais:

 dataset=squad - "squad", "re-place-birth", "re-date-birth", "re-place-death"  
model=Roberta - "Bert", "Roberta", "DistilBert"  
extractor=spacy - "spacy", "textacy", "custom"

Consulte run_lm_experiments notebook para obter exemplos.

Treine o modelo LM do zero -> Gráfico de conhecimento

1. Instalar requisitos e clonar repositório

 !pip install git+https://github.com/huggingface/transformers
!pip list | grep -E 'transformers|tokenizers'
!pip install textacy

2. Execute wikipedia_train_from_scratch_lm.ipynb .
3. Conforme incluído na última célula do notebook, você pode executar os experimentos da geração KG:

 from run_training_kg_experiments import *
run_experiments(tokenizer, model, unmasker, "Roberta3e")

Citações

 @inproceedings { swamy2021interpreting ,
 author = { Swamy, Vinitra and Romanou, Angelika and Jaggi, Martin } ,
 booktitle = { Advances in Neural Information Processing Systems (NeurIPS), 1st Workshop on eXplainable AI Approaches for Debugging and Diagnosis } ,
 title = { Interpreting Language Models Through Knowledge Graph Extraction } ,
 year = { 2021 }
}