NLP Models Tensorflow

---

NLP-Models-Tensorflow ，收集針對 NLP 問題的機器學習和張量流深度學習模型， Jupyter Notebooks 內的程式碼簡化 100% 。

目錄

• 抽象概括
• 聊天機器人
• 依存分析器
• 實體標籤
• 提煉總結
• 發電機
• 語言偵測
• 神經機器翻譯
• 光學字元辨識
• 詞性標記
• 問答
• 句子對
• 語音轉文本
• 拼字糾正
• 小隊問答
• 詞幹擷取
• 文字增強
• 文字分類
• 文字相似度
• 文字轉語音
• 主題生成器
• 主題建模
• 無監督提取摘要
• 向量化器
• 老到年輕的聲碼器
• 視覺化
• 注意力

客觀的

原始實作非常複雜，對初學者來說並不友善。所以我嘗試簡化其中大部分。此外，還有大量尚未實施的發行文件。因此，請隨意將其用於您自己的研究！

我將附上我沒有從頭開始實現的模型的 github 存儲庫，基本上我會複製、貼上並修復這些已棄用問題的程式碼。

張量流版本

僅限 Tensorflow 1.13 以上版本，不包括 2.X 版本。 1.13 < 張量流 < 2.0

pip install -r requirements.txt

內容

抽象概括

接受印度新聞訓練。

準確度僅基於 10 個時期，使用單字位置計算。

完整清單（12 本筆記本）

1. 使用主題建模的LSTM Seq2Seq，測試準確率13.22%
2. LSTM Seq2Seq + Luong Attention 使用主題建模，測試準確率12.39%
3. 使用主題建模的LSTM Seq2Seq + Beam Decoder，測試準確率10.67%
4. LSTM雙向+Luong Attention+Beam Decoder使用主題建模，測試準確率8.29%
5. Pointer-Generator + Bahdanau，https://github.com/xueyouluo/my_seq2seq，測試準確率15.51%
6. Copynet，測試準確率11.15%
7. Pointer-Generator + Luong，https://github.com/xueyouluo/my_seq2seq，測試準確率16.51%
8. Dilated Seq2Seq，測試準確率10.88%
9. Dilated Seq2Seq + Self Attention，測試準確率11.54%
10. BERT + Dilated CNN Seq2seq，測試準確率13.5%
11. self-attention + Pointer-Generator，測試準確率4.34%
12. Dilated-CNN Seq2seq + Pointer-Generator，測試準確率 5.57%

聊天機器人

在康乃爾電影對話語料庫、聊天機器人中的準確性表上進行了訓練。

完整清單（54 本筆記本）

1. 基本細胞Seq2Seq-手冊
2. LSTM Seq2Seq-手冊
3. GRU Seq2Seq-手冊
4. 基本單元 Seq2Seq-API 貪婪
5. LSTM Seq2Seq-API 貪婪
6. GRU Seq2Seq-API 貪婪
7. 基本細胞雙向Seq2Seq-手冊
8. LSTM 雙向 Seq2Seq-手冊
9. GRU 雙向 Seq2Seq-手冊
10. 基本單元 雙向 Seq2Seq-API 貪婪
11. LSTM 雙向 Seq2Seq-API 貪婪
12. GRU 雙向 Seq2Seq-API 貪婪
13. 基本細胞Seq2Seq-手冊+Luong Attention
14. LSTM Seq2Seq-手冊+Luong Attention
15. GRU Seq2Seq-手冊+Luong Attention
16. 基本細胞Seq2Seq-手冊+Bahdanau Attention
17. LSTM Seq2Seq-手冊+Bahdanau Attention
18. GRU Seq2Seq-手冊 + Bahdanau Attention
19. LSTM雙向Seq2Seq-手冊+Luong Attention
20. GRU雙向Seq2Seq-手冊+Luong Attention
21. LSTM雙向Seq2Seq-手冊+Bahdanau Attention
22. GRU雙向Seq2Seq-手冊+Bahdanau Attention
23. LSTM雙向Seq2Seq-手動+後向Bahdanau+前向Luong
24. GRU雙向Seq2Seq-手動+向後Bahdanau+向前Luong
25. LSTM Seq2Seq-API 貪婪 + Luong Attention
26. GRU Seq2Seq-API 貪婪 + Luong Attention
27. LSTM Seq2Seq-API 貪婪 + Bahdanau Attention
28. GRU Seq2Seq-API 貪婪 + Bahdanau Attention
29. LSTM Seq2Seq-API Beam 解碼器
30. GRU Seq2Seq-API 波束解碼器
31. LSTM雙向Seq2Seq-API + Luong Attention + Beam Decoder
32. GRU雙向Seq2Seq-API + Luong Attention + Beam Decoder
33. LSTM 雙向 Seq2Seq-API + 後向 Bahdanau + 前向 Luong + Stack Bahdanau Luong Attention + Beam 解碼器
34. GRU 雙向 Seq2Seq-API + 後向 Bahdanau + 前向 Luong + Stack Bahdanau Luong Attention + Beam 解碼器
35. 位元組網
36. LSTM Seq2Seq + tf.估計器
37. 膠囊層 + LSTM Seq2Seq-API Greedy
38. 膠囊層 + LSTM Seq2Seq-API + Luong Attention + Beam Decoder
39. LSTM 雙向 Seq2Seq-API + 後向 Bahdanau + 前向 Luong + Stack Bahdanau Luong Attention + Beam Decoder + Dropout + L2
40. DNC Seq2Seq
41. LSTM 雙向 Seq2Seq-API + Luong 單調注意力 + Beam 解碼器
42. LSTM 雙向 Seq2Seq-API + Bahdanau 單論注意力 + Beam 解碼器
43. 端對端記憶體網路+基本單元
44. 端到端記憶網路+LSTM單元
45. 關注就是你所需要的
46. 變形金剛-XL
47. 你所需要的就是注意力 + 光束搜索
48. Transformer-XL + LSTM
49. GPT-2 + LSTM
50. CNN 序列到序列
51. 卷積編碼器 + LSTM
52. Tacotron + 貪婪解碼器
53. Tacotron + 光束解碼器
54. 谷歌神經機器翻譯

依賴解析器

接受過 CONLL 英語依賴性訓練。訓練集用於訓練，開發集和測試集用於測試。

Stackpointer 和 Biaffine-attention 原本來自 https://github.com/XuezheMax/NeuroNLP2，以 Pytorch 撰寫。

僅基於 15 個週期後的弧、類型和根精度的精度。

完整清單（8本筆記本）

1. 雙向RNN + CRF + Biaffine，弧精度70.48%，類型精度65.18%，根精度66.4%
2. 雙向RNN + Bahdanau + CRF + Biaffine，弧精度70.82%，類型精度65.33%，根精度66.77%
3. 雙向RNN + Luong + CRF + Biaffine，弧精度71.22%，類型精度65.73%，根精度67.23%
4. BERT Base + CRF + Biaffine，弧精度 64.30%，類型精度 62.89%，根精度 74.19%
5. 雙向RNN+Biaffine Attention+交叉熵，弧精度72.42%，類型精度63.53%，根精度68.51%
6. BERT Base + Biaffine Attention + Cross Entropy，弧精度 72.85%，型號精度 67.11%，根精度 73.93%
7. 雙向RNN + Stackpointer，弧精度61.88%，類型精度48.20%，根精度89.39%
8. XLNET Base + Biaffine Attention + Cross Entropy，弧精度74.41%，型號精度71.37%，根精度73.17%

實體標記

在 CONLL NER 上接受過培訓。

完整清單（9本筆記本）

1. 雙向RNN+CRF，測試準確率96%
2. 雙向RNN+Luong Attention+CRF，測試準確率93%
3. 雙向RNN+Bahdanau Attention+CRF，測試準確率95%
4. Char Ngrams + 雙向RNN + Bahdanau Attention + CRF，測試準確率96%
5. Char Ngrams + 雙向RNN + Bahdanau Attention + CRF，測試準確率96%
6. Char Ngrams + Residual Network + Bahdanau Attention + CRF，測試準確率69%
7. Char Ngrams + Attention is you all Need + CRF，測試準確率90%
8. BERT，測試準確率99%
9. XLNET-Base，測試準確率99%

提煉總結

在 CNN 新聞資料集上進行訓練。

準確度基於 ROUGE-2。

完整清單（4本筆記本）

1. LSTM RNN，測試準確率16.13%
2. Dilated-CNN，測試準確率15.54%
3. Multihead Attention，測試準確率26.33%
4. BERT 基礎

發電機

在莎士比亞資料集上進行訓練。

完整清單（15本筆記本）

1. 字元級 RNN + LSTM
2. 字符式 RNN + 波束搜索
3. 字元級 RNN + LSTM + 嵌入
4. 逐字 RNN + LSTM
5. 逐字 RNN + LSTM + 嵌入
6. 字元方式 + Seq2Seq + GRU
7. 逐字+Seq2Seq+GRU
8. 字元級 RNN + LSTM + Bahdanau Attention
9. 字元級 RNN + LSTM + Luong Attention
10. Word-wise + Seq2Seq + GRU + Beam
11. 字符方式 + Seq2Seq + GRU + Bahdanau Attention
12. Word-wise + Seq2Seq + GRU + Bahdanau Attention
13. 字符式擴張 CNN + 波束搜索
14. 變壓器 + 波束搜索
15. Transformer XL + 光束搜索

語言偵測

在 Tatoeba 資料集上進行訓練。

完整清單（1本筆記本）

1. 快速文字字元 N 元語法

神經機器翻譯

接受過英語-法語、神經機器翻譯準確性表的訓練。

完整清單（53 本筆記本）

1.basic-seq2seq 2.lstm-seq2seq 3.gru-seq2seq 4.basic-seq2seq-contrib-greedy 5.lsq2seq 4.basic-seq2seq-contrib-greedy 5.lsq2seq2seq-contrib-greedy 6.gru-seq2seq-contrib-liedy 7q. .lstm-birnn-seq2seq 9.gru-birnn-seq2seq 10.basic-birnn-seq2seq-contrib-greedy 11.lstm-birnn-seq2seq-contrib-greedy 12.gru-birnn-seq. seq2seq-luong 14.lstm-seq2seq-luong 15.gru-seq2seq-luong 16.basic-seq2seq-bahdanau 17.lstm-seq2seq-bahdanau 18.gru-seq2seq-bahdanau 19.Y -birnn-seq2seq-bahdanau 21.gru-birnn-seq2seq-bahdanau 22.basic-birnn-seq2seq-luong 23.lstm-birnn-seq2seq-luong 24.gru-birnn-seq25-luongseq2seq-luong 24.gru-birnn-seq25-luongseq.貪-luong 26.gru-seq2seq-contrib-greedy-luong 27.lstm-seq2seq-contrib-greedy-bahdanau 28.gru-seq2seq-contrib-greedy-bahdanau 29.ls-seseq2se-conntrib-wm -seq2seq-contrib-beam-luong 31.lstm-seq2seq-contrib-beam-bahdanau 32.gru-seq2seq-contrib-beam-bahdanau 33.lstm-birnn-seq2seq-contrib-beam-bahdanau 33.lstm-birnn-seq2seq-contrib-beam-bac-il. -contrib-beam-luong 35.gru-birnn-seq2seq-contrib-beam-bahdanau 36.gru-birnn-seq2seq-contrib-beam-luong 37.lstm-birnn-seq2seq-contrib-beam-luong 37.lstm-birnn-seq2seq-contrib-beam-luongmonb-beam-lum-gnngnng-ntrib- -seq2seq-contrib-beam-luongmonotic 39.lstm-birnn-seq2seq-contrib-beam-bahdanaumonotonic 40.gru-birnn-seq2seq-contrib-beam-bahdanaumonotic 41.residual-ls-seq-contrib-beam-bahdanaumonotic 41.residual-ls-seq-contrib-beam-bahdanaumonotic 41.residual-ls-seq-2q241. 月-seq2seq-greedy-luong 43.residual-lstm-seq2seq-greedy-bahdanau 44.residual-gru-seq2seq-greedy-bahdanau 45.記憶體網路-lstm-解碼器-greedy 46.google-nmt.轉換器-解碼器48.transformer-編碼器-lstm-解碼器-貪婪49.bertmultilanguage-編碼器-bert多語言-解碼器50.bert多語言-編碼器-lstm-解碼器51.bert多語言-編碼器-轉換器-解碼器52.bertenglish-編碼器-轉換器-解碼器53.變壓器-t2t-2gpu

OCR（光學字元辨識）

完整清單（2本筆記本）

1. CNN + LSTM RNN，測試準確率100%
2. Im2Latex，測試準確率100%

詞性標記

接受過 CONLL POS 訓練。

完整清單（8本筆記本）

1. 雙向RNN+CRF，測試準確率92%
2. 雙向RNN+Luong Attention+CRF，測試準確率91%
3. 雙向RNN + Bahdanau Attention + CRF，測試準確率91%
4. Char Ngrams + 雙向RNN + Bahdanau Attention + CRF，測試準確率91%
5. Char Ngrams + 雙向RNN + Bahdanau Attention + CRF，測試準確率91%
6. Char Ngrams + Residual Network + Bahdanau Attention + CRF，測試準確率3%
7. Char Ngrams + Attention is you all Need + CRF，測試準確率89%
8. BERT，測試準確率99%

問答

在 bAbI 資料集上進行訓練。

完整清單（4本筆記本）

1. 端對端記憶體網路+基本單元
2. 端對端記憶體網路+GRU單元
3. 端到端記憶網路+LSTM單元
4. 動態記憶體

句對

接受康乃爾大學電影對話語料庫培訓

完整清單（1本筆記本）

1. 伯特

語音轉文字

在多倫多語音資料集上進行訓練。

完整清單（11 本筆記本）

1. Tacotron，https://github.com/Kyubyong/tacotron_asr，測試準確率 77.09%
2. BiRNN LSTM，測試準確率84.66%
3. BiRNN Seq2Seq + Luong Attention + Cross Entropy，測試準確率87.86%
4. BiRNN Seq2Seq + Bahdanau Attention + Cross Entropy，測試準確率89.28%
5. BiRNN Seq2Seq + Bahdanau Attention + CTC，測試準確率86.35%
6. BiRNN Seq2Seq + Luong Attention + CTC，測試準確率80.30%
7. CNN RNN + Bahdanau Attention，測試準確率80.23%
8. Dilated CNN RNN，測試準確率31.60%
9. Wavenet，測試準確率75.11%
10. Deep Speech 2，測試準確率81.40%
11. Wav2Vec 遷移學習 BiRNN LSTM，測試準確率 83.24%

拼字糾正

完整清單（4本筆記本）

1. BERT 基礎
2. XLNET-基地
3. BERT-基礎快速
4. BERT-基礎準確

小隊問答

在 SQUAD 資料集上接受訓練。

完整清單（1本筆記本）

1. 伯特，

{ "exact_match" : 77.57805108798486 , "f1" : 86.18327335287402 }

詞幹擷取

接受過英語詞形還原訓練。

完整清單（6本筆記本）

1. LSTM + Seq2Seq + Beam
2. GRU + Seq2Seq + Beam
3. LSTM + BiRNN + Seq2Seq + Beam
4. GRU + BiRNN + Seq2Seq + Beam
5. DNC + Seq2Seq + 貪婪
6. BiRNN + Bahdanau + Copynet

文字增強

完整清單（8本筆記本）

1. 預訓練手套
2. GRU VAE-seq2seq-beam TF-機率
3. LSTM VAE-seq2seq-beam TF-機率
4. GRU VAE-seq2seq-beam + Bahdanau Attention TF-機率
5. VAE + 確定性 Bahdanau Attention，https://github.com/HareeshBahuleyan/tf-var-attention
6. VAE + VAE Bahdanau 注意，https://github.com/HareeshBahuleyan/tf-var-attention
7. BERT-Base + 細胞核採樣
8. XLNET-Base + 細胞核採樣

文字分類

在英語情緒資料集、文字分類準確度表上進行訓練。

完整清單（79 筆記本）

1. 基本單元RNN
2. 基本單元 RNN + Hinge
3. 基本單元RNN + Huber
4. 基本單元雙向RNN
5. 基本單元雙向 RNN + Hinge
6. 基本單元雙向RNN + Huber
7. LSTM 單元 RNN
8. LSTM 單元 RNN + 鉸鏈
9. LSTM 單元 RNN + Huber
10. LSTM 單元雙向 RNN
11. LSTM 單元雙向 RNN + Huber
12. LSTM 單元 RNN + Dropout + L2
13. GRU 細胞 RNN
14. GRU 單元 RNN + 鉸鏈
15. GRU 單元 RNN + Huber
16. GRU 單元 雙向 RNN
17. GRU 單元 雙向 RNN + Hinge
18. GRU單元雙向RNN + Huber
19. LSTM RNN + Conv2D
20. K-max Conv1d
21. LSTM RNN + Conv1D + 高速公路
22. LSTM RNN + 基本注意力
23. LSTM 擴張 RNN
24. 層範數 LSTM 單元 RNN
25. 僅注意神經網絡
26. 多頭注意力神經網絡
27. 神經圖靈機
28. LSTM 序列到序列
29. LSTM Seq2Seq + Luong Attention
30. LSTM Seq2Seq + Bahdanau Attention
31. LSTM Seq2Seq + Beam 解碼器
32. LSTM 雙向 Seq2Seq
33. 指針網
34. LSTM 單元 RNN + Bahdanau Attention
35. LSTM 單元 RNN + Luong Attention
36. LSTM 單元 RNN + 堆疊 Bahdanau Luong Attention
37. LSTM 單元 雙向 RNN + 後向 Bahdanau + 前向 Luong
38. 位元組網
39. 快慢LSTM
40. 連體網絡
41. LSTM Seq2Seq + tf.估計器
42. 膠囊層 + RNN LSTM
43. 膠囊層 + LSTM Seq2Seq
44. 膠囊層 + LSTM 雙向 Seq2Seq
45. 嵌套LSTM
46. LSTM Seq2Seq + Highway
47. 三重態損失+LSTM
48. DNC（可微神經計算機）
49. 卷積LSTM
50. 時域轉換網絡
51. 批量三元組損失 + LSTM
52. 快速文字
53. 門控卷積網絡
54. 簡單循環單元
55. LSTM 分層注意力網絡
56. 雙向變壓器
57. 動態記憶體網絡
58. 實體網路
59. 端對端記憶體網絡
60. BOW-Chars 深度稀疏網絡
61. 使用 Atrous CNN 的殘差網絡
62. 使用 Atrous CNN + Bahdanau Attention 的殘差網絡
63. 深度金字塔CNN
64. 變形金剛-XL
65. 遷移學習 GPT-2 345M
66. 準RNN
67. 塔科特隆
68. 切片 GRU
69. 切片 GRU + Bahdanau
70. 波網
71. 遷移學習 BERT 基礎
72. 遷移學習 XL-net 大
73. LSTM BiRNN 全域最大和平均池化
74. 遷移學習 BERT Base drop 6 層
75. 遷移學習 BERT 大降 12 層
76. 遷移學習 XL-net Base
77. 遷移學習阿爾伯特
78. 遷移學習 ELECTRA 基礎
79. 遷移學習 ELECTRA Large

文字相似度

接受過 MNLI 培訓。

完整清單（10本筆記本）

1. BiRNN + 比較損失，測試準確率73.032%
2. BiRNN + 交叉熵，測試準確率74.265%
3. BiRNN + Circle loss，測試準確率75.857%
4. BiRNN + Proxy loss，測試準確率48.37%
5. BERT Base + 交叉熵，測試準確率91.123%
6. BERT Base + Circle損失，測試準確率89.903%
7. ELECTRA Base + 交叉熵，測試準確率96.317%
8. ELECTRA底座+圓損耗，測試準確率95.603%
9. XLNET Base + 交叉熵，測試準確率93.998%
10. XLNET Base + Circle loss，測試準確率94.033%

文字轉語音

在多倫多語音資料集上進行訓練。

完整清單（8本筆記本）

1. Tacotron，https://github.com/Kyubyong/tacotron
2. CNN Seq2seq + 擴張的 CNN 聲碼器
3. Seq2Seq + Bahdanau Attention
4. Seq2Seq + Luong Attention
5. 擴張 CNN + 單調注意力 + 擴張 CNN 聲碼器
6. 擴張 CNN + 自註意力 + 擴張 CNN 聲碼器
7. 深度 CNN + 單調注意力 + 擴張 CNN 聲碼器
8. 深度 CNN + 自註意力 + 擴張 CNN 聲碼器

主題生成器

接受馬來西亞新聞訓練。

完整清單（4本筆記本）

1. 長短期記憶網絡
2. TAV-LSTM
3. 長短期記憶網絡
4. 擴張 CNN Seq2seq

主題建模

從英語情感資料集中提取。

完整清單（3本筆記本）

1. LDA2向量
2. BERT注意力
3. XLNET關注

無監督提取摘要

在隨機書籍上進行訓練。

完整清單（3本筆記本）

1. 跳過思想向量
2. 使用 Atrous CNN 的殘差網絡
3. 使用 Atrous CNN + Bahdanau Attention 的殘差網絡

向量化器

在英語情緒資料集上進行訓練。

完整清單（11 本筆記本）

1. 使用 CBOW 樣本 softmax 的詞向量
2. 使用 CBOW 噪音對比估計的詞向量
3. 使用skipgram樣本softmax的詞向量
4. 使用skipgram噪音對比估計的詞向量
5. 監督式嵌入式
6. 三元組損失 + LSTM
7. LSTM 自動編碼器
8. 批量所有三元組損失 LSTM
9. 快速文字
10. 艾爾莫 (biLM)
11. 三元組損失+BERT

視覺化

完整清單（4本筆記本）

1. Bahdanau Attention 上的注意力熱圖
2. Luong Attention 上的注意力熱圖
3. BERT 關注，https://github.com/hsm207/bert_attn_viz
4. XLNET關注

老到年輕的聲碼器

在多倫多語音資料集上進行訓練。

完整清單（1本筆記本）

1. 擴張CNN

注意力

完整清單（8本筆記本）

1. 巴赫達瑙
2. 良
3. 分層的
4. 添加劑
5. 柔軟的
6. 過度關注
7. 巴達瑙API
8. 梁API

非深度學習

1. 馬可夫聊天機器人
2. 分解總結（3本）