basis embedding

basis embedding

Code für die strukturierte Worteinbettung für ein neuronales Netzwerk-Sprachmodell mit geringem Speicher

Das Code-Repo für basis embedding um die Modellgröße und den Speicherverbrauch zu reduzieren. Dieses Repo basiert auf dem Pytorch/Examples-Repo auf Github

Einführung in die Parameter

basis embedding verwandter Argumente:

• --basis <0>: Anzahl der Basis zum Zerlegen der Einbettungsmatrix, 0 ist der Normalmodus
• --num_clusters : Anzahl der Cluster für das gesamte Vokabular
• --load_input_embedding : Pfad der vorab trainierten Einbettungsmatrix für die Eingabeeinbettung
• --load_output_embedding : Pfad der vorab trainierten Einbettungsmatrix für die Ausgabeeinbettung

Sonstige Optionen:

• -c oder --config : Der Pfad für die Konfigurationsdatei. Er überschreibt die Standardwerte des Argumentparsers und wird von Befehlszeilenoptionen überschrieben
• --train : Trainieren oder bewerten Sie einfach das vorhandene Modell
• --dict <None> : Vokabeldatei verwenden, falls angegeben, andernfalls die Wörter in train.txt verwenden

Beispiele

python main.py -c config/default.conf  # train a cross-entropy baseline
python main.py -c config/ptb_basis_tied.conf # basis embedding inited via tied embedding on ptb

Wenn während des Trainings eine Tastaturunterbrechung (Strg-C) empfangen wird, wird das Training gestoppt und das aktuelle Modell anhand des Testdatensatzes bewertet.

Das main.py -Skript akzeptiert die folgenden Argumente:

basis embedding related parameters">

optional arguments:
  -h, --help         show this help message and exit
  -c, --config PATH  preset configurations to load
  --data DATA        location of the data corpus
  --model MODEL      type of recurrent net (RNN_TANH, RNN_RELU, LSTM, GRU)
  --emsize EMSIZE    size of word embeddings
  --nhid NHID        humber of hidden units per layer
  --nlayers NLAYERS  number of layers
  --lr LR            initial learning rate
  --clip CLIP        gradient clipping
  --epochs EPOCHS    upper epoch limit
  --batch-size N     batch size
  --dropout DROPOUT  dropout applied to layers (0 = no dropout)
  --tied             tie the word embedding and softmax weights
  --seed SEED        random seed
  --cuda             use CUDA
  --log-interval N   report interval
  --save SAVE        path to save the final model
  ... more from previous basis embedding related parameters

Dateihierarchie

• main.py: die Eingabedatei, sie analysiert die Parameter, definiert Modelle und speist die Daten in das Modell ein
• model.py: Definieren Sie die Eingabeeinbettung und die LSTM-Ebene
• basis_loss.py: Es enthält ein lineares Basismodul, das Eingaben aus dem verborgenen LSTM-Zustand entgegennimmt und einen Verlustwert ausgibt.
• basis/: Kernbestandteil des basis embedding
• utils.py: Produktquantisierung für vorab trainierte Einbettung durchführen
• data.py: Datenvorverarbeitung
• .th/.th.decoder: die vorab trainierte Einbettungsmatrix
• .conf: Beispielkonfigurationsdateien