basis embedding

basis embedding

código para incrustación de palabras estructuradas para un modelo de lenguaje de red neuronal con poca memoria

El repositorio de código para basis embedding para reducir el tamaño del modelo y el consumo de memoria. Este repositorio está construido en base al repositorio de pytorch/examples en github.

Introducción de parámetros

basis embedding argumentos relacionados:

• --basis <0>: número de bases para descomponer la matriz de incrustación, 0 es el modo normal
• --num_clusters : número de grupos para todo el vocabulario
• --load_input_embedding : ruta de la matriz de incrustación previamente entrenada para la incrustación de entrada
• --load_output_embedding : ruta de la matriz de incrustación previamente entrenada para la incrustación de salida

opciones varias:

• -c o --config : la ruta del archivo de configuración, anulará los valores predeterminados del analizador de argumentos y será anulado por las opciones de la línea de comando
• --train : entrenar o simplemente evaluar el modelo existente
• --dict <None> : usa el archivo de vocabulario si se especifica; de lo contrario, usa las palabras en train.txt

ejemplos

python main.py -c config/default.conf  # train a cross-entropy baseline
python main.py -c config/ptb_basis_tied.conf # basis embedding inited via tied embedding on ptb

Durante el entrenamiento, si se recibe una interrupción del teclado (Ctrl-C), el entrenamiento se detiene y el modelo actual se evalúa con respecto al conjunto de datos de prueba.

El script main.py acepta los siguientes argumentos:

basis embedding related parameters">

optional arguments:
  -h, --help         show this help message and exit
  -c, --config PATH  preset configurations to load
  --data DATA        location of the data corpus
  --model MODEL      type of recurrent net (RNN_TANH, RNN_RELU, LSTM, GRU)
  --emsize EMSIZE    size of word embeddings
  --nhid NHID        humber of hidden units per layer
  --nlayers NLAYERS  number of layers
  --lr LR            initial learning rate
  --clip CLIP        gradient clipping
  --epochs EPOCHS    upper epoch limit
  --batch-size N     batch size
  --dropout DROPOUT  dropout applied to layers (0 = no dropout)
  --tied             tie the word embedding and softmax weights
  --seed SEED        random seed
  --cuda             use CUDA
  --log-interval N   report interval
  --save SAVE        path to save the final model
  ... more from previous basis embedding related parameters

Jerarquía de archivos

• main.py: el archivo de entrada, analiza los parámetros, define modelos y alimenta los datos al modelo.
• model.py: define la incrustación de entrada y la capa LSTM
• base_loss.py: contiene un módulo lineal básico, que toma entradas del estado oculto de LSTM y genera el valor de pérdida.
• base/: parte central del módulo basis embedding
• utils.py: realiza la cuantificación del producto para la incrustación previamente entrenada
• data.py: preprocesamiento de datos
• .th/.th.decoder: la matriz de incrustación previamente entrenada
• .conf: archivos de configuración de muestra