basis embedding

basis embedding

รหัสสำหรับการฝังคำที่มีโครงสร้างสำหรับโมเดลภาษาเครือข่ายประสาทเทียมหน่วยความจำต่ำ

ที่เก็บโค้ดสำหรับ basis embedding เพื่อลดขนาดโมเดลและการใช้หน่วยความจำ repo นี้สร้างขึ้นจาก pytorch/examples repo บน github

บทนำพารามิเตอร์

basis embedding ข้อโต้แย้งที่เกี่ยวข้อง:

• --basis <0>: จำนวนพื้นฐานในการแยกเมทริกซ์การฝัง 0 คือโหมดปกติ
• --num_clusters : จำนวนกลุ่มสำหรับคำศัพท์ทั้งหมด
• --load_input_embedding : เส้นทางของเมทริกซ์การฝังที่ได้รับการฝึกอบรมล่วงหน้าสำหรับการฝังอินพุต
• --load_output_embedding : เส้นทางของเมทริกซ์การฝังที่ได้รับการฝึกอบรมล่วงหน้าสำหรับการฝังเอาต์พุต

ตัวเลือกอื่น ๆ :

• -c หรือ --config : เส้นทางสำหรับไฟล์กำหนดค่า มันจะแทนที่ค่าเริ่มต้นของตัวแยกวิเคราะห์อาร์กิวเมนต์และถูกแทนที่โดยตัวเลือกบรรทัดคำสั่ง
• --train : ฝึกอบรมหรือเพียงประเมินโมเดลที่มีอยู่
• --dict <None> : ใช้ไฟล์คำศัพท์หากมีการระบุ มิฉะนั้นให้ใช้คำใน train.txt

ตัวอย่าง

python main.py -c config/default.conf  # train a cross-entropy baseline
python main.py -c config/ptb_basis_tied.conf # basis embedding inited via tied embedding on ptb

ในระหว่างการฝึก หากได้รับคีย์บอร์ดขัดจังหวะ (Ctrl-C) การฝึกจะหยุดลงและแบบจำลองปัจจุบันจะถูกประเมินโดยเทียบกับชุดข้อมูลทดสอบ

สคริปต์ main.py ยอมรับข้อโต้แย้งต่อไปนี้:

basis embedding related parameters">

optional arguments:
  -h, --help         show this help message and exit
  -c, --config PATH  preset configurations to load
  --data DATA        location of the data corpus
  --model MODEL      type of recurrent net (RNN_TANH, RNN_RELU, LSTM, GRU)
  --emsize EMSIZE    size of word embeddings
  --nhid NHID        humber of hidden units per layer
  --nlayers NLAYERS  number of layers
  --lr LR            initial learning rate
  --clip CLIP        gradient clipping
  --epochs EPOCHS    upper epoch limit
  --batch-size N     batch size
  --dropout DROPOUT  dropout applied to layers (0 = no dropout)
  --tied             tie the word embedding and softmax weights
  --seed SEED        random seed
  --cuda             use CUDA
  --log-interval N   report interval
  --save SAVE        path to save the final model
  ... more from previous basis embedding related parameters

ลำดับชั้นของไฟล์

• main.py: ไฟล์รายการ โดยแยกวิเคราะห์พารามิเตอร์ กำหนดโมเดล และป้อนข้อมูลเพื่อสร้างโมเดล
• model.py: กำหนดการฝังอินพุตและเลเยอร์ LSTM
• Basis_loss.py: ประกอบด้วยโมดูลเชิงเส้นพื้นฐาน รับอินพุตจากสถานะที่ซ่อนอยู่ของ LSTM และส่งออกค่าการสูญเสีย
• พื้นฐาน/: ส่วนหลักของโมดูล basis embedding
• utils.py: ทำการวัดปริมาณผลิตภัณฑ์สำหรับการฝังที่ได้รับการฝึกล่วงหน้า
• data.py: การประมวลผลข้อมูลล่วงหน้า
• .th/.th.decoder: เมทริกซ์การฝังที่ได้รับการฝึกอบรมล่วงหน้า
• .conf: ตัวอย่างไฟล์การกำหนดค่า