NLP Models Tensorflow

---

NLP-Models-Tensorflow ，收集针对 NLP 问题的机器学习和张量流深度学习模型， Jupyter Notebooks 内的代码简化 100% 。

目录

• 抽象概括
• 聊天机器人
• 依存解析器
• 实体标签
• 提炼总结
• 发电机
• 语言检测
• 神经机器翻译
• 光学字符识别
• 词性标记
• 问答
• 句子对
• 语音转文本
• 拼写纠正
• 小队问答
• 词干提取
• 文本增强
• 文本分类
• 文本相似度
• 文字转语音
• 主题生成器
• 主题建模
• 无监督提取摘要
• 矢量化器
• 老到年轻的声码器
• 可视化
• 注意力

客观的

原始实现非常复杂，而且对初学者来说并不友好。所以我尝试简化其中大部分内容。此外，还有大量尚未实施的发行文件。因此，请随意将其用于您自己的研究！

我将附上我没有从头开始实现的模型的 github 存储库，基本上我会复制、粘贴并修复这些代码以解决已弃用的问题。

张量流版本

仅限 Tensorflow 1.13 及以上版本，不包括 2.X 版本。 1.13 < 张量流 < 2.0

pip install -r requirements.txt

内容

抽象概括

接受印度新闻培训。

准确度仅基于 10 个时期，使用单词位置计算。

完整清单（12 个笔记本）

1. 使用主题建模的LSTM Seq2Seq，测试准确率13.22%
2. LSTM Seq2Seq + Luong Attention 使用主题建模，测试准确率12.39%
3. 使用主题建模的LSTM Seq2Seq + Beam Decoder，测试准确率10.67%
4. LSTM双向+Luong Attention+Beam Decoder使用主题建模，测试准确率8.29%
5. Pointer-Generator + Bahdanau，https://github.com/xueyouluo/my_seq2seq，测试准确率15.51%
6. Copynet，测试准确率11.15%
7. Pointer-Generator + Luong，https://github.com/xueyouluo/my_seq2seq，测试准确率16.51%
8. Dilated Seq2Seq，测试准确率10.88%
9. Dilated Seq2Seq + Self Attention，测试准确率11.54%
10. BERT + Dilated CNN Seq2seq，测试准确率13.5%
11. self-attention + Pointer-Generator，测试准确率4.34%
12. Dilated-CNN Seq2seq + Pointer-Generator，测试准确率 5.57%

聊天机器人

在康奈尔电影对话语料库、聊天机器人中的准确性表上进行了培训。

完整列表（54 个笔记本）

1. 基本细胞Seq2Seq-手册
2. LSTM Seq2Seq-手册
3. GRU Seq2Seq-手册
4. 基本单元 Seq2Seq-API 贪婪
5. LSTM Seq2Seq-API 贪婪
6. GRU Seq2Seq-API 贪婪
7. 基本细胞双向Seq2Seq-手册
8. LSTM 双向 Seq2Seq-手册
9. GRU 双向 Seq2Seq-手册
10. 基本单元 双向 Seq2Seq-API 贪婪
11. LSTM 双向 Seq2Seq-API 贪婪
12. GRU 双向 Seq2Seq-API 贪婪
13. 基本细胞Seq2Seq-手册+Luong Attention
14. LSTM Seq2Seq-手册+Luong Attention
15. GRU Seq2Seq-手册+Luong Attention
16. 基本细胞Seq2Seq-手册+Bahdanau Attention
17. LSTM Seq2Seq-手册+Bahdanau Attention
18. GRU Seq2Seq-手册 + Bahdanau Attention
19. LSTM双向Seq2Seq-手册+Luong Attention
20. GRU双向Seq2Seq-手册+Luong Attention
21. LSTM双向Seq2Seq-手册+Bahdanau Attention
22. GRU双向Seq2Seq-手册+Bahdanau Attention
23. LSTM双向Seq2Seq-手动+后向Bahdanau+前向Luong
24. GRU双向Seq2Seq-手动+向后Bahdanau+向前Luong
25. LSTM Seq2Seq-API 贪婪 + Luong Attention
26. GRU Seq2Seq-API 贪婪 + Luong Attention
27. LSTM Seq2Seq-API 贪婪 + Bahdanau Attention
28. GRU Seq2Seq-API 贪婪 + Bahdanau Attention
29. LSTM Seq2Seq-API Beam 解码器
30. GRU Seq2Seq-API 波束解码器
31. LSTM双向Seq2Seq-API + Luong Attention + Beam Decoder
32. GRU双向Seq2Seq-API + Luong Attention + Beam Decoder
33. LSTM 双向 Seq2Seq-API + 后向 Bahdanau + 前向 Luong + Stack Bahdanau Luong Attention + Beam 解码器
34. GRU 双向 Seq2Seq-API + 后向 Bahdanau + 前向 Luong + Stack Bahdanau Luong Attention + Beam 解码器
35. 字节网
36. LSTM Seq2Seq + tf.估计器
37. 胶囊层 + LSTM Seq2Seq-API Greedy
38. 胶囊层 + LSTM Seq2Seq-API + Luong Attention + Beam Decoder
39. LSTM 双向 Seq2Seq-API + 后向 Bahdanau + 前向 Luong + Stack Bahdanau Luong Attention + Beam Decoder + Dropout + L2
40. DNC Seq2Seq
41. LSTM 双向 Seq2Seq-API + Luong 单调注意力 + Beam 解码器
42. LSTM 双向 Seq2Seq-API + Bahdanau 单论注意力 + Beam 解码器
43. 端到端内存网络+基本单元
44. 端到端记忆网络+LSTM单元
45. 关注就是你所需要的
46. 变形金刚-XL
47. 你所需要的就是注意力 + 光束搜索
48. Transformer-XL + LSTM
49. GPT-2 + LSTM
50. CNN 序列到序列
51. 卷积编码器 + LSTM
52. Tacotron + 贪婪解码器
53. Tacotron + 光束解码器
54. 谷歌神经机器翻译

依赖解析器

接受过 CONLL 英语依赖性培训。训练集用于训练，开发集和测试集用于测试。

Stackpointer 和 Biaffine-attention 最初来自 https://github.com/XuezheMax/NeuroNLP2，用 Pytorch 编写。

仅基于 15 个周期后的弧、类型和根精度的精度。

完整清单（8本笔记本）

1. 双向RNN + CRF + Biaffine，弧精度70.48%，类型精度65.18%，根精度66.4%
2. 双向RNN + Bahdanau + CRF + Biaffine，弧精度70.82%，类型精度65.33%，根精度66.77%
3. 双向RNN + Luong + CRF + Biaffine，弧精度71.22%，类型精度65.73%，根精度67.23%
4. BERT Base + CRF + Biaffine，弧精度 64.30%，类型精度 62.89%，根精度 74.19%
5. 双向RNN+Biaffine Attention+交叉熵，弧精度72.42%，类型精度63.53%，根精度68.51%
6. BERT Base + Biaffine Attention + Cross Entropy，弧精度 72.85%，类型精度 67.11%，根精度 73.93%
7. 双向RNN + Stackpointer，弧精度61.88%，类型精度48.20%，根精度89.39%
8. XLNET Base + Biaffine Attention + Cross Entropy，弧精度74.41%，类型精度71.37%，根精度73.17%

实体标记

在 CONLL NER 上接受过培训。

完整清单（9本笔记本）

1. 双向RNN+CRF，测试准确率96%
2. 双向RNN+Luong Attention+CRF，测试准确率93%
3. 双向RNN+Bahdanau Attention+CRF，测试准确率95%
4. Char Ngrams + 双向RNN + Bahdanau Attention + CRF，测试准确率96%
5. Char Ngrams + 双向RNN + Bahdanau Attention + CRF，测试准确率96%
6. Char Ngrams + Residual Network + Bahdanau Attention + CRF，测试准确率69%
7. Char Ngrams + Attention is you all Need + CRF，测试准确率90%
8. BERT，测试准确率99%
9. XLNET-Base，测试准确率99%

提炼总结

在 CNN 新闻数据集上进行训练。

准确度基于 ROUGE-2。

完整清单（4本笔记本）

1. LSTM RNN，测试准确率16.13%
2. Dilated-CNN，测试准确率15.54%
3. Multihead Attention，测试准确率26.33%
4. BERT 基础

发电机

在莎士比亚数据集上进行训练。

完整清单（15本笔记本）

1. 字符级 RNN + LSTM
2. 字符式 RNN + 波束搜索
3. 字符级 RNN + LSTM + 嵌入
4. 逐字 RNN + LSTM
5. 逐字 RNN + LSTM + 嵌入
6. 字符方式 + Seq2Seq + GRU
7. 逐字+Seq2Seq+GRU
8. 字符级 RNN + LSTM + Bahdanau Attention
9. 字符级 RNN + LSTM + Luong Attention
10. Word-wise + Seq2Seq + GRU + Beam
11. 字符方式 + Seq2Seq + GRU + Bahdanau Attention
12. Word-wise + Seq2Seq + GRU + Bahdanau Attention
13. 字符式扩张 CNN + 波束搜索
14. 变压器 + 波束搜索
15. Transformer XL + 光束搜索

语言检测

在 Tatoeba 数据集上进行训练。

完整清单（1本笔记本）

1. 快速文本字符 N 元语法

神经机器翻译

接受过英语-法语、神经机器翻译准确性表的培训。

完整列表（53 个笔记本）

1.basic-seq2seq 2.lstm-seq2seq 3.gru-seq2seq 4.basic-seq2seq-contrib-greedy 5.lstm-seq2seq-contrib-greedy 6.gru-seq2seq-contrib-greedy 7.basic-birnn-seq2seq 8.lstm-birnn-seq2seq 9.gru-birnn-seq2seq 10.basic-birnn-seq2seq-contrib-贪婪 11.lstm-birnn-seq2seq-contrib-贪婪 12.gru-birnn-seq2seq-contrib-贪婪 13.basic -seq2seq-luong 14.lstm-seq2seq-luong 15.gru-seq2seq-luong 16.basic-seq2seq-bahdanau 17.lstm-seq2seq-bahdanau 18.gru-seq2seq-bahdanau 19.basic-birnn-seq2seq-bahdanau 20.lstm-birnn-seq2seq-bahdanau 21.gru-birnn-seq2seq-bahdanau 22.basic-birnn-seq2seq-luong 23.lstm-birnn-seq2seq-luong 24.gru-birnn-seq2seq-luong 25.lstm-seq2seq-contrib-greedy-luong 26.gru-seq2seq-contrib-greedy-luong 27.lstm-seq2seq-contrib-greedy-bahdanau 28.gru-seq2seq-contrib-greedy-bahdanau 29.lstm-seq2seq-贡献梁良30.gru-seq2seq-contrib-beam-luong 31.lstm-seq2seq-contrib-beam-bahdanau 32.gru-seq2seq-contrib-beam-bahdanau 33.lstm-birnn-seq2seq-contrib-beam-bahdanau 34.lstm-birnn-seq2seq-contrib-beam-luong 35.gru-birnn-seq2seq-contrib-beam-bahdanau 36.gru-birnn-seq2seq-contrib-beam-luong 37.lstm-birnn-seq2seq-contrib-beam -luong单调38.gru-birnn-seq2seq-contrib-beam-luongmonotic 39.lstm-birnn-seq2seq-contrib-beam-bahdanaumonotonic 40.gru-birnn-seq2seq-contrib-beam-bahdanaumonotic 41.residual-lstm-seq2seq-greedy-luong 42.residual-gru-seq2seq-greedy-luong 43.residual-lstm-seq2seq-greedy-bahdanau 44.residual-gru-seq2seq-greedy-bahdanau 45.内存网络-lstm-解码器-greedy 46.google-nmt 47 .transformer-encoder-transformer-decoder 48.transformer-encoder-lstm-decoder-greedy 49.bertmultilingual-encoder-bertmultilingual-decoder 50.bertmultilingual-encoder-lstm-decoder 51.bertmultilingual-encoder-transformer-decoder 52.bertenglish-encoder-transformer-decoder 53.transformer -t2t-2gpu

OCR（光学字符识别）

完整清单（2本笔记本）

1. CNN + LSTM RNN，测试准确率100%
2. Im2Latex，测试准确率100%

词性标记

接受过 CONLL POS 培训。

完整清单（8本笔记本）

1. 双向RNN+CRF，测试准确率92%
2. 双向RNN+Luong Attention+CRF，测试准确率91%
3. 双向RNN + Bahdanau Attention + CRF，测试准确率91%
4. Char Ngrams + 双向RNN + Bahdanau Attention + CRF，测试准确率91%
5. Char Ngrams + 双向RNN + Bahdanau Attention + CRF，测试准确率91%
6. Char Ngrams + Residual Network + Bahdanau Attention + CRF，测试准确率3%
7. Char Ngrams + Attention is you all Need + CRF，测试准确率89%
8. BERT，测试准确率99%

问答

在 bAbI 数据集上进行训练。

完整清单（4本笔记本）

1. 端到端内存网络+基本单元
2. 端到端内存网络+GRU单元
3. 端到端记忆网络+LSTM单元
4. 动态内存

句对

接受康奈尔大学电影对话语料库培训

完整清单（1本笔记本）

1. 伯特

语音转文字

在多伦多语音数据集上进行训练。

完整清单（11 个笔记本）

1. Tacotron，https://github.com/Kyubyong/tacotron_asr，测试准确率 77.09%
2. BiRNN LSTM，测试准确率84.66%
3. BiRNN Seq2Seq + Luong Attention + Cross Entropy，测试准确率87.86%
4. BiRNN Seq2Seq + Bahdanau Attention + Cross Entropy，测试准确率89.28%
5. BiRNN Seq2Seq + Bahdanau Attention + CTC，测试准确率86.35%
6. BiRNN Seq2Seq + Luong Attention + CTC，测试准确率80.30%
7. CNN RNN + Bahdanau Attention，测试准确率80.23%
8. Dilated CNN RNN，测试准确率31.60%
9. Wavenet，测试准确率75.11%
10. Deep Speech 2，测试准确率81.40%
11. Wav2Vec 迁移学习 BiRNN LSTM，测试准确率 83.24%

拼写纠正

完整清单（4本笔记本）

1. BERT 基础
2. XLNET-基地
3. BERT-基础快速
4. BERT-基础准确

小队问答

在 SQUAD 数据集上接受训练。

完整清单（1本笔记本）

1. 伯特，

{ "exact_match" : 77.57805108798486 , "f1" : 86.18327335287402 }

词干提取

接受过英语词形还原培训。

完整清单（6本笔记本）

1. LSTM + Seq2Seq + Beam
2. GRU + Seq2Seq + Beam
3. LSTM + BiRNN + Seq2Seq + Beam
4. GRU + BiRNN + Seq2Seq + Beam
5. DNC + Seq2Seq + 贪婪
6. BiRNN + Bahdanau + Copynet

文本增强

完整清单（8本笔记本）

1. 预训练手套
2. GRU VAE-seq2seq-beam TF-概率
3. LSTM VAE-seq2seq-beam TF-概率
4. GRU VAE-seq2seq-beam + Bahdanau Attention TF-概率
5. VAE + 确定性 Bahdanau Attention，https://github.com/HareeshBahuleyan/tf-var-attention
6. VAE + VAE Bahdanau 注意，https://github.com/HareeshBahuleyan/tf-var-attention
7. BERT-Base + 细胞核采样
8. XLNET-Base + 细胞核采样

文本分类

在英语情感数据集、文本分类准确度表上进行训练。

完整列表（79 个笔记本）

1. 基本单元RNN
2. 基本单元 RNN + Hinge
3. 基本单元RNN + Huber
4. 基本单元双向RNN
5. 基本单元双向 RNN + Hinge
6. 基本单元双向RNN + Huber
7. LSTM 单元 RNN
8. LSTM 单元 RNN + 铰链
9. LSTM 单元 RNN + Huber
10. LSTM 单元双向 RNN
11. LSTM 单元双向 RNN + Huber
12. LSTM 单元 RNN + Dropout + L2
13. GRU 细胞 RNN
14. GRU 单元 RNN + 铰链
15. GRU 单元 RNN + Huber
16. GRU 单元 双向 RNN
17. GRU 单元 双向 RNN + Hinge
18. GRU 单元 双向 RNN + Huber
19. LSTM RNN + Conv2D
20. K-max Conv1d
21. LSTM RNN + Conv1D + 高速公路
22. LSTM RNN + 基本注意力
23. LSTM 扩张 RNN
24. 层范数 LSTM 单元 RNN
25. 仅注意神经网络
26. 多头注意力神经网络
27. 神经图灵机
28. LSTM 序列到序列
29. LSTM Seq2Seq + Luong Attention
30. LSTM Seq2Seq + Bahdanau Attention
31. LSTM Seq2Seq + Beam 解码器
32. LSTM 双向 Seq2Seq
33. 指针网
34. LSTM 单元 RNN + Bahdanau Attention
35. LSTM 单元 RNN + Luong Attention
36. LSTM 单元 RNN + 堆栈 Bahdanau Luong Attention
37. LSTM 单元 双向 RNN + 后向 Bahdanau + 前向 Luong
38. 字节网
39. 快慢LSTM
40. 连体网络
41. LSTM Seq2Seq + tf.估计器
42. 胶囊层 + RNN LSTM
43. 胶囊层 + LSTM Seq2Seq
44. 胶囊层 + LSTM 双向 Seq2Seq
45. 嵌套LSTM
46. LSTM Seq2Seq + Highway
47. 三重态损失+LSTM
48. DNC（可微神经计算机）
49. 卷积LSTM
50. 时域转换网络
51. 批量三元组损失 + LSTM
52. 快速文本
53. 门控卷积网络
54. 简单循环单元
55. LSTM 分层注意力网络
56. 双向变压器
57. 动态内存网络
58. 实体网络
59. 端到端内存网络
60. BOW-Chars 深度稀疏网络
61. 使用 Atrous CNN 的残差网络
62. 使用 Atrous CNN + Bahdanau Attention 的残差网络
63. 深度金字塔CNN
64. 变形金刚-XL
65. 迁移学习 GPT-2 345M
66. 准RNN
67. 塔科特隆
68. 切片 GRU
69. 切片 GRU + Bahdanau
70. 波网
71. 迁移学习 BERT 基础
72. 迁移学习 XL-net 大
73. LSTM BiRNN 全局最大和平均池化
74. 迁移学习 BERT Base drop 6 层
75. 迁移学习 BERT 大降 12 层
76. 迁移学习 XL-net Base
77. 迁移学习阿尔伯特
78. 迁移学习 ELECTRA 基础
79. 迁移学习 ELECTRA Large

文本相似度

接受过 MNLI 培训。

完整清单（10本笔记本）

1. BiRNN + 对比损失，测试准确率73.032%
2. BiRNN + 交叉熵，测试准确率74.265%
3. BiRNN + Circle loss，测试准确率75.857%
4. BiRNN + Proxy loss，测试准确率48.37%
5. BERT Base + 交叉熵，测试准确率91.123%
6. BERT Base + Circle损失，测试准确率89.903%
7. ELECTRA Base + 交叉熵，测试准确率96.317%
8. ELECTRA底座+圆损耗，测试准确率95.603%
9. XLNET Base + 交叉熵，测试准确率93.998%
10. XLNET Base + Circle loss，测试准确率94.033%

文字转语音

在多伦多语音数据集上进行训练。

完整清单（8本笔记本）

1. Tacotron，https://github.com/Kyubyong/tacotron
2. CNN Seq2seq + 扩张的 CNN 声码器
3. Seq2Seq + Bahdanau Attention
4. Seq2Seq + Luong Attention
5. 扩张 CNN + 单调注意力 + 扩张 CNN 声码器
6. 扩张 CNN + 自注意力 + 扩张 CNN 声码器
7. 深度 CNN + 单调注意力 + 扩张 CNN 声码器
8. 深度 CNN + 自注意力 + 扩张 CNN 声码器

主题生成器

接受马来西亚新闻培训。

完整清单（4本笔记本）

1. 长短期记忆网络
2. TAV-LSTM
3. 长短期记忆网络
4. 扩张 CNN Seq2seq

主题建模

从英语情感数据集中提取。

完整清单（3本笔记本）

1. LDA2向量
2. BERT注意力
3. XLNET关注

无监督提取摘要

在随机书籍上进行训练。

完整清单（3本笔记本）

1. 跳过思想向量
2. 使用 Atrous CNN 的残差网络
3. 使用 Atrous CNN + Bahdanau Attention 的残差网络

矢量化器

在英语情感数据集上进行训练。

完整清单（11 个笔记本）

1. 使用 CBOW 样本 softmax 的词向量
2. 使用 CBOW 噪声对比估计的词向量
3. 使用skipgram样本softmax的词向量
4. 使用skipgram噪声对比估计的词向量
5. 监督式嵌入式
6. 三元组损失 + LSTM
7. LSTM 自动编码器
8. 批量三重损失 LSTM
9. 快速文本
10. 埃尔莫 (biLM)
11. 三元组损失+BERT

可视化

完整清单（4本笔记本）

1. Bahdanau Attention 上的注意力热图
2. Luong Attention 上的注意力热图
3. BERT注意力，https://github.com/hsm207/bert_attn_viz
4. XLNET关注

老到年轻的声码器

在多伦多语音数据集上进行训练。

完整清单（1本笔记本）

1. 扩张CNN

注意力

完整清单（8本笔记本）

1. 巴赫达瑙
2. 良
3. 分层的
4. 添加剂
5. 柔软的
6. 注意力过度注意力
7. 巴达瑙API
8. 梁API

非深度学习

1. 马尔可夫聊天机器人
2. 分解总结（3本）