basis embedding
1.0.0
رمز لتضمين الكلمات المنظمة لنموذج لغة الشبكة العصبية ذات الذاكرة المنخفضة
رمز الريبو basis embedding لتقليل حجم النموذج واستهلاك الذاكرة تم إنشاء هذا الريبو بناءً على pytorch/examples repo على جيثب
basis embedding الحجج ذات الصلة:
--basis <0>: عدد الأساس لتحليل مصفوفة التضمين، 0 هو الوضع العادي--num_clusters : عدد المجموعات لجميع المفردات--load_input_embedding : مسار مصفوفة التضمين المدربة مسبقًا لتضمين الإدخال--load_output_embedding : مسار مصفوفة التضمين المدربة مسبقًا لتضمين المخرجاتخيارات متنوعة:
-c أو --config : مسار ملف التكوين، سيتجاوز القيم الافتراضية لمحلل الوسائط وسيتم تجاوزه بواسطة خيارات سطر الأوامر--train : تدريب النموذج الحالي أو تقييمه فقط--dict <None> : استخدم ملف المفردات إذا تم تحديده، وإلا استخدم الكلمات الموجودة في Train.txtpython main.py -c config/default.conf # train a cross-entropy baseline
python main.py -c config/ptb_basis_tied.conf # basis embedding inited via tied embedding on ptbأثناء التدريب، إذا تم تلقي مقاطعة لوحة المفاتيح (Ctrl-C)، فسيتم إيقاف التدريب ويتم تقييم النموذج الحالي مقابل مجموعة بيانات الاختبار.
يقبل البرنامج النصي main.py الوسائط التالية:
optional arguments:
-h, --help show this help message and exit
-c, --config PATH preset configurations to load
--data DATA location of the data corpus
--model MODEL type of recurrent net (RNN_TANH, RNN_RELU, LSTM, GRU)
--emsize EMSIZE size of word embeddings
--nhid NHID humber of hidden units per layer
--nlayers NLAYERS number of layers
--lr LR initial learning rate
--clip CLIP gradient clipping
--epochs EPOCHS upper epoch limit
--batch-size N batch size
--dropout DROPOUT dropout applied to layers (0 = no dropout)
--tied tie the word embedding and softmax weights
--seed SEED random seed
--cuda use CUDA
--log-interval N report interval
--save SAVE path to save the final model
... more from previous basis embedding related parameters
