deeplearning nlp models
1.0.0
PyTorch でのいくつかの「深い」NLP モデルの再実装を含む、小さくて解釈可能なコードベース。
これは、NLP の DL アーキテクチャの雑草に興味がある人のための (不完全な) 出発点として提示されています。注釈付きモデルは、いくつかの注釈とともに表示されます。
ノートブック経由でGPUを使用して colab でこれらのモデルを実行するためのリンクがあります。
現行モデル: word2vec、CNN、トランスフォーマー、gpt。 (作業中)
バート: 読書です。理解しています。
注: これらは各モデルの玩具版です。
これらの NLP モデルは時系列に示されており、ご想像のとおり、相互に構築されています。
| モデルクラス | モデル | 年 |
|---|---|---|
| 埋め込み | ||
| 1. | Word2Vec 埋め込み (自己教師あり学習) | 2013年 |
| CNN | ||
| 2. | CNN ベースのテキスト分類 (バイナリ分類) | 2014年 |
| トランスフォーマー | ||
| 3. | OG Transformer (機械翻訳) | 2017年 |
| 4. | OpenAIのGPTモデル（言語モデル） | 2018年、2019年、2020年 |
このリポジトリには次の機能があります。
これらのモデルを確認した後は、他のモデルについても検討する必要があります。
Char-RNN、BERT、ELMO、XLNET、その他すべての BERT、BART、Performer、T5 など....
将来実装するモデル:
将来のリポジトリ機能:
pip使用してリポジトリをインストールできます。
pip install git + https : // github . com / will - thompson - k / deeplearning - nlp - models リポジトリの内訳は次のとおりです。
nlpmodels/models : 各論文のモデル コード。 nlpmodels/utils : データセット、語彙、トークナイザー、サンプラー、トレーナー クラスなど、モデルの構築に関連するすべての補助クラスが含まれています。 (注:モデル以外のファイルのほとんどは utils にスローされます。大規模なリポジトリではこれを行わないことをお勧めします。) tests : 軽い (そして決して包括的ではない) 範囲。 notebooks : 各モデル実装のノートブックとメモが含まれます。いくつかの便利なコマンド:
make test : テストの完全なスイートを実行します ( setup.py testおよびrun_tests.sh使用することもできます)。 make test_light : 回帰テストを除くすべてのテストを実行します。 make lint : コードの lint チェックが本当に好きなら ( run_pylint.shを実行することもできます)。 Python 3.6+
パッケージの要件は次のとおりです (requirements.txt にあります)。
@ misc { deeplearning - nlp - models ,
author = { Thompson , Will },
url = { https : // github . com / will - thompson - k / deeplearning - nlp - models },
year = { 2020 }
} マサチューセッツ工科大学
