numerate language models

數值語言模型

算術是處理數字和數字的能力。該項目調查了語言模型預測數字的各種策略。在臨床和科學數據集上對模型進行了訓練和測試。

參考

Georgios Spithourakis和Sebastian Riedel。語言模型的算術：評估和提高其預測數字的能力，ACL 2018

依賴性

PIP安裝BeautifulSoup4

PIP安裝LXML（對於Windows，從http://www.lfd.uci.edu/~gohlke/pythonlibs/下載）

PIP安裝啟動（可能還需要：Conda安裝libgcc）

python -m spacy下載en

手套嵌入：https：//nlp.stanford.edu/projects/glove/

下載並預處理數據

下載並提取數據

latexml.download_arxmliv.py

[數據集] .extract_to_json.py

latexml.xml_to_text.py

過程文本

json_to_tsv.py

tsv_to_annotated.py

處理表

[數據集] .tables_to_processed.py

tables_processed_to_notated.py

建立詞彙和水桶

dataset.common.join_all.py

preproc.build_vocab.py

preproc.bucketing.py

訓練和測試語言模型

python lm_jtr.py

- 數據[臨床| arxmliv]

-Train Number_of_epochs

- 批處理batch_size

-Config [A1 | A2 | A3 | A4 | B1 | B2 | C1]＃輸出數字的策略（如果加載模型，請推斷）

- 不測試＃抑制測試時間評估

-No-Insporte＃抑制診斷（圖，Intermediata值等）

- 負載A1_2018_02_17_16_50_13_CLINICAL

例如

python lm_jtr.py-data arxmliv -no-Inspect -no-Test-Train 500-batch 50-Config A1＃火車模型

python lm_jtr.py-data arxmliv -no-inspect -nolad A1_2018_02_18_18_11_11_11_11_ARXMLIV＃測試模型

python lm_jtr.py-data arxmliv -no-test -load A1_2018_02_18_18_11_11_11_11_11_ARXMLIV＃獲取繪圖和其他診斷

配置選項

A1：SoftMax

A2：SoftMax+RNN

A3：H-Softmax

A4：H-Softmax+RNN

B1：D-RNN

B2：MOG

C1：組合