numerate language models

Modelos de idiomas numerados

La aritmética es la capacidad de lidiar con números y números. Este proyecto investiga varias estrategias para los modelos de idiomas para predecir los números. Los modelos se capacitan y se prueban en un conjunto de datos clínico y científico.

Referencia

Georgios Spithourakis y Sebastian Riedel. Número para modelos de idiomas: evaluar y mejorar su capacidad para predecir números, ACL 2018

Dependencias

PIP install beautifulSoup4

PIP Instale LXML (para Windows, descargue desde http://www.lfd.uci.edu/~gohlke/pythonlibs/)

PIP Install Spacy (también podría necesitar: Conda Install LibGCC)

Python -M Spacy Descargar en

Incrustaciones de guantes de: https://nlp.stanford.edu/projects/glove/

Descargar y preprocesar datos

Descargar y extraer datos

latexml.download_arxmliv.py

[DataSet] .extract_to_json.py

latexml.xml_to_text.py

texto de procesos

json_to_tsv.py

tsv_to_annotated.py

mesas de proceso

[DataSet] .tables_to_process.py

Tables_Processed_to_annotated.py

construir vocabuler y cubo

DataSet.common.join_all.py

preproc.build_vocab.py

preproc.bucketing.py

Modelos de lenguaje de trenes y pruebas

Python lm_jtr.py

--data [clínico | arxmliv]

--train number_of_epochs

-Batch Batch_Size

--config [a1 | a2 | a3 | a4 | b1 | b2 | c1] # estrategia para producir números (inferido si el modelo está cargado)

--No-test # para suprimir la evaluación del tiempo de prueba

--No-Inspeccionar # para suprimir el diagnóstico (gráficos, valores de intermedia, etc.)

--Load A1_2018_02_17_16_50_13_clinical

p.ej

Python lm_jtr.py --data arxmliv--no-inspect --no-test --train 500--Batch 50--Config A1 # Modelo de tren

Python lm_jtr.py --data arxmliv --no-inspect --Load A1_2018_02_18_11_55_11_arxmliv # Test Model

Python lm_jtr.py --data arxmliv-no-test --load A1_2018_02_18_11_55_11_arxmliv # Obtener gráficos y otros diagnósticos

opciones de configuración

A1: Softmax

A2: Softmax+RNN

A3: H-Softmax

A4: H-Softmax+RNN

B1: D-RNN

B2: mog

C1: combinación