interpret lm knowledge

透過知識圖譜提取解釋語言模型

想法：我們如何解釋語言模型在訓練的各個階段所學到的內容？語言模型最近被描述為開放知識庫。我們可以透過從連續時期或架構變體的屏蔽語言模型中提取關係三元組來產生知識圖，以檢查知識獲取過程。

資料集：Squad、Google-RE（3 種風格）

模型：BERT、RoBeRTa、DistilBert，從頭開始訓練 RoBERTa

作者：維尼特拉·斯瓦米、安吉莉卡·羅馬努、馬丁·賈吉

該儲存庫是 NeurIPS 2021 XAI4Debugging 論文「透過知識圖提取解釋語言模型」的官方實作。覺得這份工作有用嗎？請引用我們的論文。

快速入門指南

預訓練模型（BERT、DistilBERT、RoBERTa）-> 知識圖

1. 安裝要求和克隆存儲庫

 git clone https://github.com/epfml/interpret-lm-knowledge.git
pip install git+https://github.com/huggingface/transformers   
pip install textacy
cd interpret-lm-knowledge/scripts

2. 產生知識圖與資料框python run_knowledge_graph_experiments.py <dataset> <model> <use_spacy>
   例如squad Bert spacy
   例如re-place-birth Roberta

可選參數：

 dataset=squad - "squad", "re-place-birth", "re-date-birth", "re-place-death"  
model=Roberta - "Bert", "Roberta", "DistilBert"  
extractor=spacy - "spacy", "textacy", "custom"

有關範例，請參閱run_lm_experiments notebook 。

從頭開始訓練 LM 模型 -> 知識圖譜

1. 安裝要求和克隆存儲庫

 !pip install git+https://github.com/huggingface/transformers
!pip list | grep -E 'transformers|tokenizers'
!pip install textacy

2. 運行wikipedia_train_from_scratch_lm.ipynb 。
3. 正如筆記本的最後一個單元中所包含的，您可以透過以下方式執行 KG 生成實驗：

 from run_training_kg_experiments import *
run_experiments(tokenizer, model, unmasker, "Roberta3e")

引文

 @inproceedings { swamy2021interpreting ,
 author = { Swamy, Vinitra and Romanou, Angelika and Jaggi, Martin } ,
 booktitle = { Advances in Neural Information Processing Systems (NeurIPS), 1st Workshop on eXplainable AI Approaches for Debugging and Diagnosis } ,
 title = { Interpreting Language Models Through Knowledge Graph Extraction } ,
 year = { 2021 }
}