basis embedding

basis embedding

código para incorporação estruturada de palavras para modelo de linguagem de rede neural com pouca memória

O repositório de código para basis embedding para reduzir o tamanho do modelo e o consumo de memória Este repositório é construído com base no repositório pytorch/examples no github

Introdução aos parâmetros

basis embedding argumentos relacionados:

• --basis <0>: número de bases para decompor a matriz de incorporação, 0 é o modo normal
• --num_clusters : número de clusters para todo o vocabulário
• --load_input_embedding : caminho da matriz de incorporação pré-treinada para incorporação de entrada
• --load_output_embedding : caminho da matriz de incorporação pré-treinada para incorporação de saída

opções diversas:

• -c ou --config : o caminho para o arquivo de configuração, ele substituirá os valores padrão do analisador de argumentos e será substituído pelas opções de linha de comando
• --train : treina ou apenas avalia o modelo existente
• --dict <None> : use o arquivo de vocabulário se especificado, caso contrário, use as palavras em train.txt

exemplos

python main.py -c config/default.conf  # train a cross-entropy baseline
python main.py -c config/ptb_basis_tied.conf # basis embedding inited via tied embedding on ptb

Durante o treinamento, se uma interrupção do teclado (Ctrl-C) for recebida, o treinamento será interrompido e o modelo atual será avaliado em relação ao conjunto de dados de teste.

O script main.py aceita os seguintes argumentos:

basis embedding related parameters">

optional arguments:
  -h, --help         show this help message and exit
  -c, --config PATH  preset configurations to load
  --data DATA        location of the data corpus
  --model MODEL      type of recurrent net (RNN_TANH, RNN_RELU, LSTM, GRU)
  --emsize EMSIZE    size of word embeddings
  --nhid NHID        humber of hidden units per layer
  --nlayers NLAYERS  number of layers
  --lr LR            initial learning rate
  --clip CLIP        gradient clipping
  --epochs EPOCHS    upper epoch limit
  --batch-size N     batch size
  --dropout DROPOUT  dropout applied to layers (0 = no dropout)
  --tied             tie the word embedding and softmax weights
  --seed SEED        random seed
  --cuda             use CUDA
  --log-interval N   report interval
  --save SAVE        path to save the final model
  ... more from previous basis embedding related parameters

Hierarquia de arquivos

• main.py: o arquivo de entrada, ele analisa os parâmetros, define modelos e alimenta os dados para modelar
• model.py: defina a incorporação de entrada e a camada LSTM
• base_loss.py: contém um módulo linear básico, recebendo entradas do estado oculto LSTM e gerando valor de perda.
• base/: parte central do módulo basis embedding
• utils.py: faça a quantização do produto para incorporação pré-treinada
• data.py: pré-processamento de dados
• .th/.th.decoder: a matriz de incorporação pré-treinada
• .conf: arquivos de configuração de exemplo