basis embedding
1.0.0
код для встраивания структурированных слов для языковой модели нейронной сети с малым объемом памяти
Репозиторий кода для basis embedding для уменьшения размера модели и потребления памяти. Этот репозиторий создан на основе репозитория pytorch/examples на github.
basis embedding связанных аргументов:
--basis <0>: номер основы для разложения матрицы внедрения, 0 — нормальный режим--num_clusters : количество кластеров для всего словаря--load_input_embedding : путь предварительно обученной матрицы внедрения для ввода ввода--load_output_embedding : путь предварительно обученной матрицы внедрения для вывода выводаразные варианты:
-c или --config : путь к файлу конфигурации, он переопределяет значения по умолчанию парсера аргументов и переопределяется параметрами командной строки.--train : обучить или просто оценить существующую модель--dict <None> : использовать файл словаря, если он указан, в противном случае использовать слова из train.txt.python main.py -c config/default.conf # train a cross-entropy baseline
python main.py -c config/ptb_basis_tied.conf # basis embedding inited via tied embedding on ptbЕсли во время обучения получено прерывание клавиатуры (Ctrl-C), обучение останавливается и текущая модель сравнивается с набором тестовых данных.
Скрипт main.py принимает следующие аргументы:
optional arguments:
-h, --help show this help message and exit
-c, --config PATH preset configurations to load
--data DATA location of the data corpus
--model MODEL type of recurrent net (RNN_TANH, RNN_RELU, LSTM, GRU)
--emsize EMSIZE size of word embeddings
--nhid NHID humber of hidden units per layer
--nlayers NLAYERS number of layers
--lr LR initial learning rate
--clip CLIP gradient clipping
--epochs EPOCHS upper epoch limit
--batch-size N batch size
--dropout DROPOUT dropout applied to layers (0 = no dropout)
--tied tie the word embedding and softmax weights
--seed SEED random seed
--cuda use CUDA
--log-interval N report interval
--save SAVE path to save the final model
... more from previous basis embedding related parameters
