deeplearning nlp models
1.0.0
一个小型的、可解释的代码库，包含 PyTorch 中一些“深层”NLP 模型的重新实现。
对于那些有兴趣深入了解 NLP 中的 DL 架构的人来说，这是一个（不完整的）起点。带注释的模型与一些注释一起呈现。
有链接可以通过笔记本在带有GPU的 Colab 上运行这些模型？️。
当前型号：word2vec、CNN、变压器、gpt。 （工作正在进行中）
伯特：阅读。领悟。
注意：这些是每个模型的玩具版本。
这些 NLP 模型按时间顺序呈现，并且如您所料，相互构建。
| 模型类 | 模型 | 年 |
|---|---|---|
| 嵌入 | ||
| 1. | Word2Vec 嵌入（自我监督学习） | 2013年 |
| CNN | ||
| 2. | 基于CNN的文本分类（二元分类） | 2014年 |
| 变形金刚 | ||
| 3. | OG Transformer（机器翻译） | 2017年 |
| 4. | OpenAI的GPT模型（语言模型） | 2018, 2019, 2020 |
该存储库具有以下功能：
在回顾了这些模型之后，您可以探索其他模型：
Char-RNN、BERT、ELMO、XLNET、所有其他 BERT、BART、Performer、T5 等...
未来要实施的模型：
未来的回购功能：
您可以使用pip安装存储库：
pip install git + https : // github . com / will - thompson - k / deeplearning - nlp - models 以下是存储库的细分：
nlpmodels/models ：每篇论文的模型代码。 nlpmodels/utils ：包含与构建模型相关的所有辅助类，包括数据集、词汇、分词器、采样器和训练器类。 （注意：大多数非模型文件都被放入 utils 中。我建议不要在较大的存储库中这样做。） tests ：轻度（绝不是全面）覆盖。 notebooks ：包含每个模型实现的笔记本和文章。一些有用的命令：
make test ：运行全套测试（您还可以使用setup.py test和run_tests.sh ）。 make test_light ：运行除回归测试之外的所有测试。 make lint ：如果你真的喜欢 linting 代码（也可以运行run_pylint.sh ）。 Python 3.6+
以下是软件包要求（可在requirements.txt中找到）
@ misc { deeplearning - nlp - models ,
author = { Thompson , Will },
url = { https : // github . com / will - thompson - k / deeplearning - nlp - models },
year = { 2020 }
} 麻省理工学院
