basis embedding

basis embedding

code pour l'intégration de mots structurés pour le modèle de langage de réseau neuronal à faible mémoire

Le dépôt de code pour basis embedding afin de réduire la taille du modèle et la consommation de mémoire. Ce dépôt est construit sur la base du dépôt pytorch/examples sur github.

Paramètres Introduction

basis embedding des arguments associés :

• --basis <0> : nombre de bases pour décomposer la matrice d'intégration, 0 est le mode normal
• --num_clusters : nombre de clusters pour tout le vocabulaire
• --load_input_embedding : chemin de la matrice d'intégration pré-entraînée pour l'intégration des entrées
• --load_output_embedding : chemin de la matrice d'intégration pré-entraînée pour l'intégration de sortie

diverses options :

• -c ou --config : le chemin du fichier de configuration, il remplacera les valeurs par défaut de l'analyseur d'arguments et sera remplacé par les options de ligne de commande
• --train : former ou simplement évaluer le modèle existant
• --dict <None> : utilise le fichier de vocabulaire si spécifié, sinon utilise les mots dans train.txt

exemples

python main.py -c config/default.conf  # train a cross-entropy baseline
python main.py -c config/ptb_basis_tied.conf # basis embedding inited via tied embedding on ptb

Pendant l'entraînement, si une interruption clavier (Ctrl-C) est reçue, l'entraînement est arrêté et le modèle actuel est évalué par rapport à l'ensemble de données de test.

Le script main.py accepte les arguments suivants :

basis embedding related parameters">

optional arguments:
  -h, --help         show this help message and exit
  -c, --config PATH  preset configurations to load
  --data DATA        location of the data corpus
  --model MODEL      type of recurrent net (RNN_TANH, RNN_RELU, LSTM, GRU)
  --emsize EMSIZE    size of word embeddings
  --nhid NHID        humber of hidden units per layer
  --nlayers NLAYERS  number of layers
  --lr LR            initial learning rate
  --clip CLIP        gradient clipping
  --epochs EPOCHS    upper epoch limit
  --batch-size N     batch size
  --dropout DROPOUT  dropout applied to layers (0 = no dropout)
  --tied             tie the word embedding and softmax weights
  --seed SEED        random seed
  --cuda             use CUDA
  --log-interval N   report interval
  --save SAVE        path to save the final model
  ... more from previous basis embedding related parameters

Hiérarchie des fichiers

• main.py : le fichier d'entrée, il analyse les paramètres, définit les modèles et alimente les données à modéliser
• model.py : définir l'intégration d'entrée et la couche LSTM
• basic_loss.py : il contient un module linéaire de base, prenant les entrées de l'état caché LSTM et produisant la valeur de perte.
• basic/ : partie centrale du module basis embedding
• utils.py : effectuer la quantification du produit pour l'intégration pré-entraînée
• data.py : prétraitement des données
• .th/.th.decoder : la matrice d'intégration pré-entraînée
• .conf : exemples de fichiers de configuration