basis embedding

basis embedding

kode untuk Penyematan Kata Terstruktur untuk Model Bahasa Jaringan Neural Memori Rendah

Repo kode untuk basis embedding untuk mengurangi ukuran model dan konsumsi memori. Repo ini dibuat berdasarkan repo pytorch/contoh di github

Pengenalan Parameter

basis embedding argumen terkait:

• --basis <0>: jumlah basis untuk menguraikan matriks penyematan, 0 adalah mode normal
• --num_clusters : jumlah cluster untuk semua kosakata
• --load_input_embedding : jalur matriks penyematan terlatih untuk penyematan masukan
• --load_output_embedding : jalur matriks penyematan terlatih untuk penyematan keluaran

pilihan lain-lain:

• -c atau --config : jalur untuk file konfigurasi, itu akan mengesampingkan nilai default argumen parser dan digantikan oleh opsi baris perintah
• --train : melatih atau sekadar mengevaluasi model yang ada
• --dict <None> : gunakan file kosakata jika ditentukan, jika tidak gunakan kata-kata di train.txt

contoh

python main.py -c config/default.conf  # train a cross-entropy baseline
python main.py -c config/ptb_basis_tied.conf # basis embedding inited via tied embedding on ptb

Selama pelatihan, jika interupsi keyboard (Ctrl-C) diterima, pelatihan dihentikan dan model saat ini dievaluasi berdasarkan kumpulan data pengujian.

Skrip main.py menerima argumen berikut:

basis embedding related parameters">

optional arguments:
  -h, --help         show this help message and exit
  -c, --config PATH  preset configurations to load
  --data DATA        location of the data corpus
  --model MODEL      type of recurrent net (RNN_TANH, RNN_RELU, LSTM, GRU)
  --emsize EMSIZE    size of word embeddings
  --nhid NHID        humber of hidden units per layer
  --nlayers NLAYERS  number of layers
  --lr LR            initial learning rate
  --clip CLIP        gradient clipping
  --epochs EPOCHS    upper epoch limit
  --batch-size N     batch size
  --dropout DROPOUT  dropout applied to layers (0 = no dropout)
  --tied             tie the word embedding and softmax weights
  --seed SEED        random seed
  --cuda             use CUDA
  --log-interval N   report interval
  --save SAVE        path to save the final model
  ... more from previous basis embedding related parameters

Hierarki File

• main.py: file entri, mem-parsing parameter, mendefinisikan model dan memasukkan data ke model
• model.py: tentukan penyematan input dan lapisan LSTM
• basis_loss.py: Berisi modul basis linier, yang mengambil masukan dari status tersembunyi LSTM dan mengeluarkan nilai kerugian.
• basis/: bagian inti dari modul basis embedding
• utils.py: lakukan kuantisasi produk untuk penyematan terlatih
• data.py: pra-pemrosesan data
• .th/.th.decoder: matriks penyematan terlatih
• .conf: contoh file konfigurasi