NLP-Models-Tensorflow รวบรวมการเรียนรู้ของเครื่องและโมเดลการเรียนรู้เชิงลึกของเทนเซอร์โฟลว์สำหรับปัญหา NLP ลดความซับซ้อนของโค้ดภายใน Jupyter Notebooks 100%
สารบัญ
- การสรุปเชิงนามธรรม
- แชทบอท
- ตัวแยกวิเคราะห์การพึ่งพา
- การแท็กเอนทิตี
- การสรุปแบบแยกส่วน
- เครื่องกำเนิดไฟฟ้า
- การตรวจจับภาษา
- การแปลเครื่องประสาท
- โอซีอาร์
- การติดแท็ก POS
- คำถาม-คำตอบ
- คู่ประโยค
- คำพูดเป็นข้อความ
- การแก้ไขการสะกด
- คำถาม-คำตอบของทีม
- การกั้น
- การเพิ่มข้อความ
- การจำแนกข้อความ
- ความคล้ายคลึงกันของข้อความ
- ข้อความเป็นคำพูด
- เครื่องกำเนิดหัวข้อ
- การสร้างแบบจำลองหัวข้อ
- การสรุปแบบแยกส่วนแบบไม่มีผู้ดูแล
- เวกเตอร์
- โวโคเดอร์จากรุ่นสู่รุ่น
- การแสดงภาพ
- ความสนใจ
วัตถุประสงค์
การใช้งานแบบเดิมค่อนข้างซับซ้อนและไม่เป็นมิตรกับผู้เริ่มต้น ดังนั้นฉันจึงพยายามทำให้ส่วนใหญ่ง่ายขึ้น นอกจากนี้ยังมีการดำเนินการเอกสารที่ยังไม่ได้เผยแพร่อีกจำนวนมาก ดังนั้นอย่าลังเลที่จะใช้เพื่อการวิจัยของคุณเอง!
ฉันจะแนบที่เก็บ GitHub สำหรับโมเดลที่ฉันไม่ได้ใช้งานตั้งแต่ต้น โดยพื้นฐานแล้วฉันจะคัดลอก วาง และแก้ไขโค้ดเหล่านั้นสำหรับปัญหาที่เลิกใช้แล้ว
เวอร์ชันเทนเซอร์โฟลว์
Tensorflow เวอร์ชัน 1.13 ขึ้นไปเท่านั้น ไม่รวมเวอร์ชัน 2.X 1.13 < เทนเซอร์โฟลว์ < 2.0
pip install -r requirements.txt
สารบัญ
การสรุปเชิงนามธรรม
อบรมเรื่องข่าวอินเดีย
ความแม่นยำขึ้นอยู่กับ 10 ยุคเท่านั้น คำนวณโดยใช้ตำแหน่งคำ
รายการทั้งหมด (12 เล่ม)
- LSTM Seq2Seq โดยใช้การสร้างแบบจำลองหัวข้อ ความแม่นยำในการทดสอบ 13.22%
- LSTM Seq2Seq + Luong ความสนใจโดยใช้การสร้างแบบจำลองหัวข้อ ความแม่นยำในการทดสอบ 12.39%
- LSTM Seq2Seq + Beam Decoder โดยใช้การสร้างแบบจำลองหัวข้อ ทดสอบความแม่นยำ 10.67%
- LSTM แบบสองทิศทาง + Luong Attention + Beam Decoder โดยใช้การสร้างแบบจำลองหัวข้อ ความแม่นยำในการทดสอบ 8.29%
- Pointer-Generator + Bahdanau, https://github.com/xueyouluo/my_seq2seq ทดสอบความแม่นยำ 15.51%
- Copynet ทดสอบความแม่นยำ 11.15%
- ตัวชี้-Generator + Luong, https://github.com/xueyouluo/my_seq2seq ทดสอบความแม่นยำ 16.51%
- ขยาย Seq2Seq ทดสอบความแม่นยำ 10.88%
- Dilated Seq2Seq + Self Attention, ทดสอบความแม่นยำ 11.54%
- BERT + Dilated CNN Seq2seq ทดสอบความแม่นยำ 13.5%
- การเอาใจใส่ตนเอง + ตัวชี้-เครื่องกำเนิดไฟฟ้า ความแม่นยำในการทดสอบ 4.34%
- Dilated-CNN Seq2seq + Pointer-Generator ทดสอบความแม่นยำ 5.57%
แชทบอท
ฝึกฝนเกี่ยวกับ Cornell Movie Dialog Corpus ตารางความแม่นยำใน Chatbot
รายการทั้งหมด (54 เล่ม)
- คู่มือเซลล์พื้นฐาน Seq2Seq
- คู่มือ LSTM Seq2Seq
- คู่มือ GRU Seq2Seq
- เซลล์พื้นฐาน Seq2Seq-API Greedy
- LSTM Seq2Seq-API โลภ
- GRU Seq2Seq-API โลภ
- เซลล์พื้นฐานแบบสองทิศทาง Seq2Seq-manual
- คู่มือ Seq2Seq แบบสองทิศทาง LSTM
- GRU แบบสองทิศทาง Seq2Seq-คู่มือ
- เซลล์พื้นฐานแบบสองทิศทาง Seq2Seq-API Greedy
- LSTM สองทิศทาง Seq2Seq-API โลภ
- GRU สองทิศทาง Seq2Seq-API Greedy
- เซลล์พื้นฐาน Seq2Seq-manual + Luong Attention
- คู่มือ LSTM Seq2Seq + Luong Attention
- คู่มือ GRU Seq2Seq + Luong Attention
- เซลล์พื้นฐาน Seq2Seq-manual + Bahdanau Attention
- คู่มือ LSTM Seq2Seq + ความสนใจ Bahdanau
- GRU Seq2Seq-manual + Bahdanau Attention
- LSTM แบบสองทิศทาง Seq2Seq-manual + Luong Attention
- GRU แบบสองทิศทาง Seq2Seq-manual + Luong Attention
- LSTM แบบสองทิศทาง Seq2Seq-manual + Bahdanau Attention
- GRU แบบสองทิศทาง Seq2Seq-manual + Bahdanau Attention
- LSTM สองทิศทาง Seq2Seq-manual + ย้อนกลับ Bahdanau + ส่งต่อ Luong
- GRU สองทิศทาง Seq2Seq-manual + ย้อนกลับ Bahdanau + ส่งต่อ Luong
- LSTM Seq2Seq-API Greedy + Luong Attention
- GRU Seq2Seq-API Greedy + Luong ความสนใจ
- LSTM Seq2Seq-API Greedy + Bahdanau ความสนใจ
- GRU Seq2Seq-API Greedy + Bahdanau ความสนใจ
- ตัวถอดรหัสลำแสง LSTM Seq2Seq-API
- ตัวถอดรหัสลำแสง GRU Seq2Seq-API
- LSTM สองทิศทาง Seq2Seq-API + Luong Attention + ตัวถอดรหัสลำแสง
- GRU สองทิศทาง Seq2Seq-API + Luong Attention + ตัวถอดรหัสลำแสง
- LSTM สองทิศทาง Seq2Seq-API + ย้อนกลับ Bahdanau + ส่งต่อ Luong + Stack Bahdanau Luong ความสนใจ + ตัวถอดรหัสลำแสง
- GRU สองทิศทาง Seq2Seq-API + ย้อนกลับ Bahdanau + ส่งต่อ Luong + Stack Bahdanau Luong Attention + ตัวถอดรหัสลำแสง
- ไบต์เน็ต
- LSTM Seq2Seq + tf.ตัวประมาณค่า
- เลเยอร์แคปซูล + LSTM Seq2Seq-API Greedy
- เลเยอร์แคปซูล + LSTM Seq2Seq-API + Luong Attention + ตัวถอดรหัสลำแสง
- LSTM สองทิศทาง Seq2Seq-API + ย้อนกลับ Bahdanau + ส่งต่อ Luong + Stack Bahdanau Luong ความสนใจ + ตัวถอดรหัสลำแสง + Dropout + L2
- DNC Seq2Seq
- LSTM แบบสองทิศทาง Seq2Seq-API + Luong Monotic Attention + ตัวถอดรหัสลำแสง
- LSTM สองทิศทาง Seq2Seq-API + Bahdanau Monotic Attention + ตัวถอดรหัสลำแสง
- เครือข่ายหน่วยความจำแบบครบวงจร + เซลล์พื้นฐาน
- เครือข่ายหน่วยความจำแบบครบวงจร + เซลล์ LSTM
- ความสนใจคือสิ่งที่คุณต้องการ
- หม้อแปลง-XL
- สิ่งที่คุณต้องการคือความสนใจ + Beam Search
- หม้อแปลง-XL + LSTM
- GPT-2 + LSTM
- ซีเอ็นเอ็น Seq2seq
- Conv-ตัวเข้ารหัส + LSTM
- Tacotron + ตัวถอดรหัสโลภ
- Tacotron + ตัวถอดรหัสลำแสง
- Google NMT
การพึ่งพา Parser
ผ่านการฝึกอบรมเรื่อง CONLL English Dependency ฝึกตั้งค่าเพื่อฝึก พัฒนา และชุดทดสอบที่จะทดสอบ
Stackpointer และ Biaffine-attention มีพื้นเพมาจาก https://github.com/XuezheMax/NeuroNLP2 เขียนด้วย Pytorch
ความแม่นยำขึ้นอยู่กับส่วนโค้ง ประเภท และความแม่นยำของรูทหลังจาก 15 ยุคเท่านั้น
รายการที่สมบูรณ์ (8 สมุดบันทึก)
- RNN แบบสองทิศทาง + CRF + Biaffine, ความแม่นยำของส่วนโค้ง 70.48%, ความแม่นยำของประเภท 65.18%, ความแม่นยำของรูต 66.4%
- RNN แบบสองทิศทาง + Bahdanau + CRF + Biaffine ความแม่นยำของส่วนโค้ง 70.82% ความแม่นยำของประเภท 65.33% ความแม่นยำของรูท 66.77%
- สองทิศทาง RNN + Luong + CRF + Biaffine, ความแม่นยำของส่วนโค้ง 71.22%, ความแม่นยำของประเภท 65.73%, ความแม่นยำของรูท 67.23%
- BERT Base + CRF + Biaffine, ความแม่นยำของส่วนโค้ง 64.30%, ความแม่นยำของประเภท 62.89%, ความแม่นยำของรูท 74.19%
- RNN แบบสองทิศทาง + Biaffine Attention + Cross Entropy, ความแม่นยำของส่วนโค้ง 72.42%, ความแม่นยำของประเภท 63.53%, ความแม่นยำของรูต 68.51%
- BERT Base + Biaffine Attention + Cross Entropy, ความแม่นยำของส่วนโค้ง 72.85%, ความแม่นยำของประเภท 67.11%, ความแม่นยำของรูต 73.93%
- RNN แบบสองทิศทาง + Stackpointer, ความแม่นยำของส่วนโค้ง 61.88%, ความแม่นยำของประเภท 48.20%, ความแม่นยำของรูต 89.39%
- XLNET Base + Biaffine Attention + Cross Entropy, ความแม่นยำของส่วนโค้ง 74.41%, ความแม่นยำของประเภท 71.37%, ความแม่นยำของรูต 73.17%
การแท็กเอนทิตี
ผ่านการอบรม CONLL NER
รายการที่สมบูรณ์ (9 สมุดบันทึก)
- RNN + CRF แบบสองทิศทาง ทดสอบความแม่นยำ 96%
- RNN แบบสองทิศทาง + Luong Attention + CRF ทดสอบความแม่นยำ 93%
- RNN แบบสองทิศทาง + Bahdanau Attention + CRF ทดสอบความแม่นยำ 95%
- Char Ngrams + RNN แบบสองทิศทาง + Bahdanau Attention + CRF ทดสอบความแม่นยำ 96%
- Char Ngrams + RNN แบบสองทิศทาง + Bahdanau Attention + CRF ทดสอบความแม่นยำ 96%
- Char Ngrams + Residual Network + Bahdanau Attention + CRF ทดสอบความแม่นยำ 69%
- Char Ngrams + ความสนใจคือคุณทุกคนต้องการ + CRF ทดสอบความแม่นยำ 90%
- BERT ทดสอบความแม่นยำ 99%
- XLNET-Base ทดสอบความแม่นยำ 99%
การสรุปแบบแยกส่วน
ฝึกอบรมเกี่ยวกับชุดข้อมูล CNN News
ความแม่นยำขึ้นอยู่กับ ROUGE-2
รายการที่สมบูรณ์ (4 สมุดบันทึก)
- LSTM RNN ทดสอบความแม่นยำ 16.13%
- Dilated-CNN ความแม่นยำในการทดสอบ 15.54%
- ความสนใจแบบหลายหัว ความแม่นยำในการทดสอบ 26.33%
- BERT-ฐาน
เครื่องกำเนิดไฟฟ้า
ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลของเช็คสเปียร์
รายการทั้งหมด (15 เล่ม)
- ตัวละครที่ชาญฉลาด RNN + LSTM
- การค้นหา RNN + Beam ที่ชาญฉลาดของตัวละคร
- ตัวละครที่ชาญฉลาด RNN + LSTM + การฝัง
- RNN + LSTM ที่ชาญฉลาด
- RNN + LSTM + การฝังที่ชาญฉลาด
- ตัวละครฉลาด + Seq2Seq + GRU
- Word-wise + Seq2Seq + GRU
- ตัวละครที่ชาญฉลาด RNN + LSTM + Bahdanau ความสนใจ
- ตัวละครที่ชาญฉลาด RNN + LSTM + Luong Attention
- คำที่ชาญฉลาด + Seq2Seq + GRU + Beam
- ตัวละครฉลาด + Seq2Seq + GRU + Bahdanau Attention
- Word-wise + Seq2Seq + GRU + Bahdanau ความสนใจ
- การค้นหา CNN + Beam แบบขยายที่ชาญฉลาดของตัวละคร
- ค้นหา Transformer + Beam
- Transformer XL + ค้นหาลำแสง
การตรวจจับภาษา
ฝึกอบรมเกี่ยวกับชุดข้อมูล Tatoeba
รายการที่สมบูรณ์ (1 สมุดบันทึก)
- ข้อความด่วน Char N-Grams
การแปลเครื่องประสาท
ผ่านการฝึกอบรมภาษาอังกฤษ-ฝรั่งเศส ตารางความแม่นยำในการแปลระบบประสาทด้วยเครื่อง
รายการทั้งหมด (53 เล่ม)
1.basic-seq2seq 2.lstm-seq2seq 3.gru-seq2seq 4.basic-seq2seq-contrib-greedy 5.lstm-seq2seq-contrib-greedy 6.gru-seq2seq-contrib-greedy 7.basic-birn-seq2seq 8.lstm-birnn-seq2seq 9.gru-birnn-seq2seq 10.basic-birnn-seq2seq-contrib-greedy 11.lstm-birnn-seq2seq-contrib-greedy 12.gru-birnn-seq2seq-contrib-โลภ 13.basic-seq2seq-luong 14.lstm-seq2seq-luong 15.gru-seq2seq-luong 16.basic-seq2seq-bahdanau 17.lstm-seq2seq-bahdanau 18.gru-seq2seq-bahdanau 19.basic-birn-seq2seq- บาห์ดาเนา 20.lstm-birnn-seq2seq-bahdanau 21.gru-birnn-seq2seq-bahdanau 22.basic-birnn-seq2seq-luong 23.lstm-birnn-seq2seq-luong 24.gru-birnn-seq2seq-luong 25.lstm-seq2seq-contrib-greedy-luong 26.gru-seq2seq-contrib-greedy-luong 27.lstm-seq2seq-contrib-greedy-bahdanau 28.gru-seq2seq-contrib-greedy-bahdanau 29.lstm-seq2seq-contrib-beam-luong 30.gru-seq2seq-contrib-beam-luong 31.lstm-seq2seq-contrib-beam-bahdanau 32.gru-seq2seq-contrib-beam-bahdanau 33.lstm-birnn-seq2seq-contrib-beam-bahdanau 34.lstm-birnn-seq2seq-contrib-beam-luong 35.gru-birnn-seq2seq-contrib-beam-bahdanau 36.gru-birnn-seq2seq-contrib-คาน -luong 37.lstm-birnn-seq2seq-contrib-beam-luongmonotonic 38.gru-birnn-seq2seq-contrib-beam-luongmonotic 39.lstm-birnn-seq2seq-contrib-beam-bahdanaumonotonic 40.gru-birnn-seq2seq-contrib-beam -bahdanaumonotic 41.residual-lstm-seq2seq-greedy-luong 42.residual-gru-seq2seq-greedy-luong 43.residual-lstm-seq2seq-greedy-bahdanau 44.residual-gru-seq2seq-greedy-bahdanau 45.หน่วยความจำเครือข่าย- lstm-ถอดรหัสโลภ 46.google-nmt 47.transformer-encoder-transformer-decoder 48.transformer-encoder-lstm-decoder-greedy 49.bertmulti language-encoder-bertmulti language-decoder 50.bertmulti language-encoder-lstm-decoder 51.bertmulti language-encoder-transformer -ถอดรหัส 52.bertenglish-encoder-หม้อแปลง-ถอดรหัส 53.transformer-t2t-2gpu
OCR (การรู้จำอักขระด้วยแสง)
รายการที่สมบูรณ์ (2 สมุดบันทึก)
- CNN + LSTM RNN ทดสอบความแม่นยำ 100%
- Im2Latex ทดสอบความแม่นยำ 100%
การติดแท็ก POS
ผ่านการฝึกอบรมเกี่ยวกับ CONLL POS
รายการที่สมบูรณ์ (8 สมุดบันทึก)
- RNN + CRF แบบสองทิศทาง ทดสอบความแม่นยำ 92%
- RNN แบบสองทิศทาง + Luong Attention + CRF ทดสอบความแม่นยำ 91%
- RNN แบบสองทิศทาง + Bahdanau Attention + CRF ทดสอบความแม่นยำ 91%
- Char Ngrams + RNN แบบสองทิศทาง + Bahdanau Attention + CRF ทดสอบความแม่นยำ 91%
- Char Ngrams + RNN แบบสองทิศทาง + Bahdanau Attention + CRF ทดสอบความแม่นยำ 91%
- Char Ngrams + Residual Network + Bahdanau Attention + CRF ทดสอบความแม่นยำ 3%
- Char Ngrams + ความสนใจคือคุณทุกคนต้องการ + CRF ทดสอบความแม่นยำ 89%
- BERT ทดสอบความแม่นยำ 99%
คำถาม-คำตอบ
ฝึกอบรมเกี่ยวกับชุดข้อมูล bAbI
รายการที่สมบูรณ์ (4 สมุดบันทึก)
- เครือข่ายหน่วยความจำแบบครบวงจร + เซลล์พื้นฐาน
- เครือข่ายหน่วยความจำแบบครบวงจร + เซลล์ GRU
- เครือข่ายหน่วยความจำแบบครบวงจร + เซลล์ LSTM
- หน่วยความจำแบบไดนามิก
คู่ประโยค
ผ่านการอบรมเรื่อง Cornell Movie--Dialogs Corpus
รายการที่สมบูรณ์ (1 สมุดบันทึก)
- เบิร์ต
พูดเป็นข้อความ
ฝึกอบรมเกี่ยวกับชุดข้อมูลคำพูดของโตรอนโต
รายการทั้งหมด (11 เล่ม)
- Tacotron, https://github.com/Kyubyong/tacotron_asr ทดสอบความแม่นยำ 77.09%
- BiRNN LSTM ทดสอบความแม่นยำ 84.66%
- BiRNN Seq2Seq + Luong Attention + Cross Entropy ทดสอบความแม่นยำ 87.86%
- BiRNN Seq2Seq + Bahdanau Attention + Cross Entropy ความแม่นยำในการทดสอบ 89.28%
- BiRNN Seq2Seq + Bahdanau Attention + CTC ทดสอบความแม่นยำ 86.35%
- BiRNN Seq2Seq + Luong Attention + CTC ทดสอบความแม่นยำ 80.30%
- CNN RNN + Bahdanau ความสนใจ ความแม่นยำในการทดสอบ 80.23%
- CNN RNN แบบขยาย ความแม่นยำในการทดสอบ 31.60%
- Wavenet ทดสอบความแม่นยำ 75.11%
- Deep Speech 2 ทดสอบความแม่นยำ 81.40%
- Wav2Vec Transfer การเรียนรู้ BiRNN LSTM ทดสอบความแม่นยำ 83.24%
การแก้ไขการสะกด
รายการที่สมบูรณ์ (4 สมุดบันทึก)
- BERT-ฐาน
- XLNET-ฐาน
- BERT-ฐานรวดเร็ว
- BERT-ฐานแม่นยำ
คำถาม-คำตอบของทีม
ฝึกอบรมเกี่ยวกับชุดข้อมูล SQUAD
รายการที่สมบูรณ์ (1 สมุดบันทึก)
- เบิร์ต,
{ "exact_match" : 77.57805108798486 , "f1" : 86.18327335287402 }
การกั้น
อบรมเรื่อง Lemmatization ภาษาอังกฤษ
รายการทั้งหมด (6 เล่ม)
- LSTM + Seq2Seq + บีม
- GRU + Seq2Seq + บีม
- LSTM + BiRNN + Seq2Seq + บีม
- GRU + BiRNN + Seq2Seq + บีม
- DNC + Seq2Seq + โลภ
- BiRNN + Bahdanau + Copynet
การเพิ่มข้อความ
รายการที่สมบูรณ์ (8 สมุดบันทึก)
- ถุงมือที่ผ่านการฝึกอบรมมาแล้ว
- ความน่าจะเป็นของ GRU VAE-seq2seq-beam TF
- ความน่าจะเป็นของ LSTM VAE-seq2seq-beam TF
- GRU VAE-seq2seq-beam + Bahdanau ความน่าจะเป็น TF ความสนใจ
- VAE + ความสนใจ Bahdanau ที่กำหนด https://github.com/HareeshBahuleyan/tf-var-attention
- VAE + VAE Bahdanau โปรดทราบ https://github.com/HareeshBahuleyan/tf-var-attention
- การสุ่มตัวอย่างฐาน BERT + นิวเคลียส
- XLNET-Base + การสุ่มตัวอย่างนิวเคลียส
การจำแนกข้อความ
ฝึกอบรมชุดข้อมูลความรู้สึกภาษาอังกฤษ ตารางความแม่นยำในการจำแนกข้อความ
รายการทั้งหมด (79 เล่ม)
- เซลล์พื้นฐาน RNN
- เซลล์พื้นฐาน RNN + บานพับ
- เซลล์พื้นฐาน RNN + Huber
- เซลล์พื้นฐาน RNN แบบสองทิศทาง
- เซลล์พื้นฐานแบบสองทิศทาง RNN + บานพับ
- เซลล์พื้นฐานแบบสองทิศทาง RNN + Huber
- เซลล์ LSTM RNN
- เซลล์ LSTM RNN + บานพับ
- เซลล์ LSTM RNN + ฮูเบอร์
- เซลล์ LSTM RNN แบบสองทิศทาง
- เซลล์ LSTM แบบสองทิศทาง RNN + Huber
- เซลล์ LSTM RNN + การออกกลางคัน + L2
- เซลล์ GRU RNN
- เซลล์ GRU RNN + บานพับ
- เซลล์ GRU RNN + Huber
- เซลล์ GRU แบบสองทิศทาง RNN
- เซลล์ GRU แบบสองทิศทาง RNN + บานพับ
- เซลล์ GRU แบบสองทิศทาง RNN + Huber
- LSTM RNN + Conv2D
- K-สูงสุด Conv1d
- LSTM RNN + Conv1D + ทางหลวง
- LSTM RNN + ความสนใจขั้นพื้นฐาน
- LSTM ขยาย RNN
- เซลล์ LSTM ของเลเยอร์บรรทัดฐาน RNN
- เฉพาะเครือข่ายประสาทเทียมเท่านั้น
- โครงข่ายประสาทเทียมแบบ Multihead-Attention
- เครื่องทัวริงประสาท
- LSTM Seq2Seq
- LSTM Seq2Seq + ความสนใจของ Luong
- LSTM Seq2Seq + Bahdanau ความสนใจ
- LSTM Seq2Seq + ตัวถอดรหัสลำแสง
- LSTM แบบสองทิศทาง Seq2Seq
- พอยน์เตอร์เน็ต
- เซลล์ LSTM RNN + Bahdanau
- เซลล์ LSTM RNN + Luong ความสนใจ
- เซลล์ LSTM RNN + Stack Bahdanau Luong
- เซลล์ LSTM RNN แบบสองทิศทาง + ย้อนกลับ Bahdanau + ส่งต่อ Luong
- ไบต์เน็ต
- LSTM เร็ว-ช้า
- เครือข่ายสยาม
- LSTM Seq2Seq + tf.ตัวประมาณค่า
- ชั้นแคปซูล + RNN LSTM
- ชั้นแคปซูล + LSTM Seq2Seq
- ชั้นแคปซูล + LSTM แบบสองทิศทาง Seq2Seq
- LSTM ที่ซ้อนกัน
- LSTM Seq2Seq + ทางหลวง
- การสูญเสียแฝด + LSTM
- DNC (คอมพิวเตอร์ประสาทที่แตกต่าง)
- ConvLSTM
- Convd Net ชั่วคราว
- การสูญเสีย Triplet ทั้งหมดเป็นกลุ่ม + LSTM
- ข้อความด่วน
- เครือข่าย Convolution รั้วรอบขอบชิด
- หน่วยเกิดซ้ำอย่างง่าย
- เครือข่ายความสนใจแบบลำดับชั้น LSTM
- หม้อแปลงไฟฟ้าแบบสองทิศทาง
- เครือข่ายหน่วยความจำแบบไดนามิก
- เครือข่ายเอนทิตี
- เครือข่ายหน่วยความจำแบบครบวงจร
- BOW-Chars เครือข่ายกระจัดกระจายลึก
- เครือข่ายที่เหลือโดยใช้ Atrous CNN
- เครือข่ายที่เหลือโดยใช้ Atrous CNN + Bahdanau Attention
- พีระมิดลึก ซีเอ็นเอ็น
- หม้อแปลง-XL
- ถ่ายทอดการเรียนรู้ GPT-2 345M
- กึ่ง RNN
- ทาโคตรอน
- ชิ้น GRU
- Slice GRU + Bahdanau
- เวฟเน็ต
- ถ่ายทอดการเรียนรู้ BERT Base
- ถ่ายทอดการเรียนรู้ XL-net Large
- LSTM BiRNN สูงสุดทั่วโลกและการรวมเฉลี่ย
- ถ่ายทอดการเรียนรู้ BERT Base ดรอป 6 ชั้น
- ถ่ายทอดการเรียนรู้ BERT ดรอปใหญ่ 12 ชั้น
- ถ่ายทอดการเรียนรู้ XL-net Base
- ถ่ายทอดการเรียนรู้อัลเบิร์ต
- ถ่ายทอดการเรียนรู้ ELECTRA Base
- ถ่ายทอดการเรียนรู้ ELECTRA ขนาดใหญ่
ความคล้ายคลึงกันของข้อความ
อบรมเรื่อง MNLI
รายการที่สมบูรณ์ (10 สมุดบันทึก)
- BiRNN + การสูญเสียเชิงเปรียบเทียบ ความแม่นยำในการทดสอบ 73.032%
- BiRNN + Cross entropy ความแม่นยำในการทดสอบ 74.265%
- BiRNN + การสูญเสียวงกลม ความแม่นยำในการทดสอบ 75.857%
- BiRNN + การสูญเสียพร็อกซี ทดสอบความแม่นยำ 48.37%
- BERT Base + Cross entropy ทดสอบความแม่นยำ 91.123%
- BERT Base + การสูญเสียวงกลม ความแม่นยำในการทดสอบ 89.903%
- ELECTRA Base + Cross Entropy ทดสอบความแม่นยำ 96.317%
- ฐาน ELECTRA + การสูญเสียวงกลม ความแม่นยำในการทดสอบ 95.603%
- XLNET Base + Cross entropy ทดสอบความแม่นยำ 93.998%
- XLNET Base + การสูญเสียวงกลม ความแม่นยำในการทดสอบ 94.033%
ข้อความเป็นคำพูด
ฝึกอบรมเกี่ยวกับชุดข้อมูลคำพูดของโตรอนโต
รายการที่สมบูรณ์ (8 สมุดบันทึก)
- ทาโคตรอน https://github.com/Kyubyong/tacotron
- CNN Seq2seq + vocoder ของ CNN แบบขยาย
- Seq2Seq + Bahdanau โปรดทราบ
- Seq2Seq + Luong ความสนใจ
- CNN แบบขยาย + ความสนใจแบบโมโนโทนิก + โวโคเดอร์ CNN แบบขยาย
- CNN แบบขยาย + การเอาใจใส่ตนเอง + vocoder ของ CNN แบบขยาย
- Deep CNN + Monothonic Attention + โวโคเดอร์ CNN แบบขยาย
- Deep CNN + การเอาใจใส่ตนเอง + vocoder ของ CNN ที่ขยายกว้าง
เครื่องกำเนิดหัวข้อ
อบรมข่าวมาเลเซีย
รายการที่สมบูรณ์ (4 สมุดบันทึก)
- ททท.-LSTM
- TAV-LSTM
- เอ็มทีเอ-LSTM
- CNN Seq2seq แบบขยาย
การสร้างแบบจำลองหัวข้อ
ดึงมาจากชุดข้อมูลความรู้สึกภาษาอังกฤษ
รายการที่สมบูรณ์ (3 สมุดบันทึก)
- LDA2Vec
- เบิร์ต โปรดทราบ
- XLNET โปรดทราบ
การสรุปแบบแยกส่วนแบบไม่มีผู้ดูแล
อบรมเรื่องหนังสือสุ่ม
รายการที่สมบูรณ์ (3 สมุดบันทึก)
- ข้ามความคิดของเว็กเตอร์
- เครือข่ายที่เหลือโดยใช้ Atrous CNN
- เครือข่ายที่เหลือโดยใช้ Atrous CNN + Bahdanau Attention
เวกเตอร์
ฝึกอบรมชุดข้อมูลความรู้สึกภาษาอังกฤษ
รายการทั้งหมด (11 เล่ม)
- คำเวกเตอร์โดยใช้ตัวอย่าง CBOW softmax
- คำเวกเตอร์โดยใช้การประมาณค่าเชิงตัดกันของสัญญาณรบกวน CBOW
- Word Vector โดยใช้ตัวอย่าง Skipgram softmax
- คำว่าเวกเตอร์ใช้การประมาณค่าเชิงตัดกันของสัญญาณรบกวนข้ามแกรม
- ฝังตัวภายใต้การดูแล
- การสูญเสียทริปเปิล + LSTM
- LSTM ตัวเข้ารหัสอัตโนมัติ
- LSTM ที่สูญเสีย Triplet ทั้งหมดเป็นชุด
- ข้อความด่วน
- เอลโม่ (biLM)
- การสูญเสียทริปเปิล + BERT
การแสดงภาพ
รายการที่สมบูรณ์ (4 สมุดบันทึก)
- แผนที่ความร้อนความสนใจบน Bahdanau Attention
- แผนที่ความร้อนความสนใจบน Luong Attention
- ความสนใจของ BERT https://github.com/hsm207/bert_attn_viz
- ความสนใจ XLNET
โวโคเดอร์จากรุ่นสู่รุ่น
ฝึกอบรมเกี่ยวกับชุดข้อมูลคำพูดของโตรอนโต
รายการที่สมบูรณ์ (1 สมุดบันทึก)
- ซีเอ็นเอ็นขยาย
ความสนใจ
รายการที่สมบูรณ์ (8 สมุดบันทึก)
- บาห์ดาเนา
- หลง
- ลำดับชั้น
- สารเติมแต่ง
- อ่อนนุ่ม
- ความสนใจมากกว่าความสนใจ
- บาห์ดาเนา API
- Luong API
ไม่ใช่การเรียนรู้เชิงลึก
- แชทบอทมาร์คอฟ
- สรุปการสลายตัว (สมุดบันทึก 3 เล่ม)