NLP Models Tensorflow

---

NLP-Models-Tensorflow 、NLP 問題用の機械学習モデルと tensorflow 深層学習モデルを収集し、 Jupyter Notebooks 内のコードを 100% 簡素化します。

目次

• 抽象的な要約
• チャットボット
• 依存関係パーサー
• エンティティのタグ付け
• 抽出的な要約
• ジェネレータ
• 言語検出
• ニューラル機械翻訳
• OCR
• POSタグ付け
• 質疑応答
• 文のペア
• 音声からテキストへの変換
• スペル修正
• スクワッドの質疑応答
• ステミング
• テキストの拡張
• テキストの分類
• テキストの類似性
• テキスト読み上げ
• トピックジェネレーター
• トピックモデリング
• 教師なしの抽出要約
• ベクタライザー
• 老若男女のボコーダー
• 視覚化
• 注意

客観的

元の実装は非常に複雑で、あまり初心者向けではありません。そこで、ほとんどの部分を簡略化してみました。また、まだリリースされていない実装文書も大量にあります。ですので、ご自身の研究にぜひご活用ください！

スクラッチから実装していないモデルには Github リポジトリを添付します。基本的に、非推奨の問題については、それらのコードをコピーして貼り付け、修正します。

Tensorflow バージョン

Tensorflow バージョン 1.13 以降のみ。2.X バージョンは含まれません。 1.13 < テンソルフロー < 2.0

pip install -r requirements.txt

コンテンツ

抽象的な要約

インドのニュースについて研修を受けました。

精度は 10 エポックのみに基づいており、単語の位置を使用して計算されます。

完全なリスト (12 冊のノートブック)

1. トピックモデリングを使用した LSTM Seq2Seq、テスト精度 13.22%
2. トピックモデリングを使用したLSTM Seq2Seq + Luong Attendant、テスト精度12.39%
3. LSTM Seq2Seq + トピックモデリングを使用したビームデコーダー、テスト精度 10.67%
4. トピックモデリングを使用したLSTM双方向+Luongアテンション+ビームデコーダ、テスト精度8.29%
5. Pointer-Generator + Bahdanau、https://github.com/xueyouluo/my_seq2seq、テスト精度 15.51%
6. コピーネット、テスト精度 11.15%
7. Pointer-Generator + Luong、https://github.com/xueyouluo/my_seq2seq、テスト精度 16.51%
8. 拡張 Seq2Seq、テスト精度 10.88%
9. Dirated Seq2Seq + Self Attend、テスト精度 11.54%
10. BERT + 拡張 CNN Seq2seq、テスト精度 13.5%
11. 自己注意 + ポインタージェネレーター、テスト精度 4.34%
12. Dilated-CNN Seq2seq + Pointer-Generator、テスト精度 5.57%

チャットボット

Cornell Movie Dialog コーパス、チャットボットの精度テーブルでトレーニングされています。

完全なリスト (54 冊のノートブック)

1. 基本セル Seq2Seq-マニュアル
2. LSTM Seq2Seq-マニュアル
3. GRU Seq2Seq マニュアル
4. 基本セル Seq2Seq-API Greedy
5. LSTM Seq2Seq-API 貪欲
6. GRU Seq2Seq-API 貪欲
7. 基本セル双方向 Seq2Seq-マニュアル
8. LSTM 双方向 Seq2Seq-マニュアル
9. GRU 双方向 Seq2Seq マニュアル
10. 基本セル双方向 Seq2Seq-API Greedy
11. LSTM 双方向 Seq2Seq-API 貪欲
12. GRU 双方向 Seq2Seq-API 貪欲
13. 基本セル Seq2Seq-マニュアル + Luong 注意
14. LSTM Seq2Seq-マニュアル + Luong 注意
15. GRU Seq2Seq-マニュアル + Luong 注意
16. 基本セル Seq2Seq-マニュアル + Bahdanau 注意
17. LSTM Seq2Seq-マニュアル + Bahdanau 注意
18. GRU Seq2Seq マニュアル + Bahdanau 注意
19. LSTM 双方向 Seq2Seq-マニュアル + Luong アテンション
20. GRU 双方向 Seq2Seq-マニュアル + Luong アテンション
21. LSTM 双方向 Seq2Seq-マニュアル + Bahdanau 注意
22. GRU 双方向 Seq2Seq-マニュアル + Bahdanau 注意
23. LSTM 双方向 Seq2Seq-マニュアル + 後方 Bahdanau + 前方 Luong
24. GRU 双方向 Seq2Seq-マニュアル + 後方バダナウ + 前方ルオン
25. LSTM Seq2Seq-API 貪欲 + ルオンの注意
26. GRU Seq2Seq-API 貪欲 + ルオンの注意
27. LSTM Seq2Seq-API 貪欲 + バダナウの注意
28. GRU Seq2Seq-API 貪欲 + バダナウの注意
29. LSTM Seq2Seq-API ビーム デコーダ
30. GRU Seq2Seq-API ビーム デコーダ
31. LSTM 双方向 Seq2Seq-API + ルオン アテンション + ビーム デコーダ
32. GRU 双方向 Seq2Seq-API + ルオン アテンション + ビーム デコーダ
33. LSTM 双方向 Seq2Seq-API + 後方バダナウ + 前方ルオン + スタック バダナウ ルオン アテンション + ビーム デコーダ
34. GRU 双方向 Seq2Seq-API + 後方バダナウ + 前方ルオン + スタック バダナウ ルオン アテンション + ビーム デコーダ
35. バイトネット
36. LSTM Seq2Seq + tf.estimator
37. カプセル層 + LSTM Seq2Seq-API Greedy
38. カプセル レイヤー + LSTM Seq2Seq-API + Luong Attender + ビーム デコーダー
39. LSTM 双方向 Seq2Seq-API + 後方バダナウ + 前方ルオン + スタック バダナウ ルオン アテンション + ビーム デコーダ + ドロップアウト + L2
40. DNC シーケンス 2 シーケンス
41. LSTM 双方向 Seq2Seq-API + Luong モノティック アテンション + ビーム デコーダ
42. LSTM 双方向 Seq2Seq-API + Bahdanau モノティック アテンション + ビーム デコーダー
43. エンドツーエンドのメモリネットワーク + 基本セル
44. エンドツーエンドのメモリネットワーク + LSTM セル
45. 必要なのは注意力だけです
46. トランスフォーマーXL
47. 必要なのは注意力だけ + ビーム検索
48. トランス-XL + LSTM
49. GPT-2 + LSTM
50. CNN シーケンス 2 シーケンス
51. 変換エンコーダ + LSTM
52. タコトロン + 貪欲デコーダー
53. タコトロン＋ビームデコーダー
54. Google NMT

依存関係パーサー

CONLL English dependency のトレーニングを受けています。トレーニングにはトレーニング セットを、テストには開発セットとテスト セットを使用します。

Stackpointer と Biaffine-attention は、元々は Pytorch で書かれた https://github.com/XuezheMax/NeuroNLP2 からのものです。

15 エポック後のアーク、タイプ、およびルートの精度のみに基づく精度。

完全なリスト (ノートブック 8 冊)

1. 双方向 RNN + CRF + Biaffine、アーク精度 70.48%、タイプ精度 65.18%、ルート精度 66.4%
2. 双方向 RNN + Bahdanau + CRF + Biaffine、アーク精度 70.82%、タイプ精度 65.33%、ルート精度 66.77%
3. 双方向 RNN + Luong + CRF + Biaffine、アーク精度 71.22%、タイプ精度 65.73%、ルート精度 67.23%
4. BERT Base + CRF + Biaffine、円弧精度 64.30%、タイプ精度 62.89%、ルート精度 74.19%
5. 双方向 RNN + ビアフィン アテンション + クロス エントロピー、アーク精度 72.42%、タイプ精度 63.53%、ルート精度 68.51%
6. BERT ベース + ビアフィン アテンション + クロス エントロピー、アーク精度 72.85%、タイプ精度 67.11%、ルート精度 73.93%
7. 双方向 RNN + スタックポインター、アーク精度 61.88%、タイプ精度 48.20%、ルート精度 89.39%
8. XLNET ベース + ビアフィン アテンション + クロス エントロピー、アーク精度 74.41%、タイプ精度 71.37%、ルート精度 73.17%

エンティティのタグ付け

CONLL NERでトレーニングを受けています。

完全なリスト (9 冊のノート)

1. 双方向 RNN + CRF、テスト精度 96%
2. 双方向 RNN + ルオン アテンション + CRF、テスト精度 93%
3. 双方向 RNN + Bahdanau Attendance + CRF、テスト精度 95%
4. Char Ngrams + 双方向 RNN + Bahdanau Attendance + CRF、テスト精度 96%
5. Char Ngrams + 双方向 RNN + Bahdanau Attendance + CRF、テスト精度 96%
6. Char Ngrams + 残留ネットワーク + バダナウ アテンション + CRF、テスト精度 69%
7. Char Ngrams + 注意はすべて必要です + CRF、テスト精度 90%
8. BERT、テスト精度 99%
9. XLNETベース、テスト精度99%

抽出的な要約

CNN ニュース データセットでトレーニングされました。

精度はROUGE-2に準拠。

完全なリスト (ノートブック 4 冊)

1. LSTM RNN、テスト精度 16.13%
2. 拡張 CNN、テスト精度 15.54%
3. マルチヘッド アテンション、テスト精度 26.33%
4. BERTベース

ジェネレータ

シェイクスピア データセットでトレーニングされました。

完全なリスト (15 冊のノート)

1. 文字ごとの RNN + LSTM
2. 文字ごとの RNN + ビーム検索
3. 文字ごとの RNN + LSTM + 埋め込み
4. ワードごとの RNN + LSTM
5. ワード単位の RNN + LSTM + 埋め込み
6. 文字ごと + Seq2Seq + GRU
7. ワード単位 + Seq2Seq + GRU
8. キャラクターごとの RNN + LSTM + バダナウの注意
9. 文字ごとの RNN + LSTM + ルオン アテンション
10. ワード単位 + Seq2Seq + GRU + ビーム
11. キャラクターごと + Seq2Seq + GRU + バダナウの注意
12. ワードごと + Seq2Seq + GRU + バダナウ アテンション
13. 文字ごとに拡張された CNN + ビーム検索
14. トランス＋ビームサーチ
15. トランスXL + ビームサーチ

言語検出

Tatoeba データセットでトレーニングされました。

完全なリスト (1 冊のノート)

1. 高速テキスト Char N-Grams

ニューラル機械翻訳

英語とフランス語、ニューラル機械翻訳の精度テーブルのトレーニングを受けています。

完全なリスト (53 ノートブック)

1.basic-seq2seq 2.lstm-seq2seq 3.gru-seq2seq 4.basic-seq2seq-contrib-greedy 5.lstm-seq2seq-contrib-greedy 6.gru-seq2seq-contrib-greedy 7.basic-birnn-seq2seq 8.lstm-birnn-seq2seq 9.gru-birnn-seq2seq 10.basic-birnn-seq2seq-contrib-greedy 11.lstm-birnn-seq2seq-contrib-greedy 12.gru-birnn-seq2seq-contrib-greedy 13.basic-seq2seq-luong 14.lstm-seq2seq-luong 15.gru-seq2seq-luong 16.basic-seq2seq-バダナウ 17.lstm-seq2seq-バダナウ 18.gru-seq2seq-バダナウ19.basic-birnn-seq2seq-bahdanau 20.lstm-birnn-seq2seq-bahdanau 21.gru-birnn-seq2seq-bahdanau 22.basic-birnn-seq2seq-luong 23.lstm-birnn-seq2seq-luong 24.gru-birnn-seq2seq-luong 25.lstm-seq2seq-contrib-greedy-luong 26.gru-seq2seq-contrib-greedy-luong 27.lstm-seq2seq-contrib-greedy-bahdanau 28.gru-seq2seq-contrib-貪欲なバダナウ29.lstm-seq2seq-contrib-beam-luong 30.gru-seq2seq-contrib-beam-luong 31.lstm-seq2seq-contrib-beam-bahdanau 32.gru-seq2seq-contrib-beam-bahdanau 33.lstm-birnn-seq2seq-contrib-beam-bahdanau 34.lstm-birnn-seq2seq-contrib-beam-luong 35.gru-birnn-seq2seq-contrib-beam-bahdanau 36.gru-birnn-seq2seq-contrib-beam -ルオン37.lstm-birnn-seq2seq-contrib-beam-luongmonotonic 38.gru-birnn-seq2seq-contrib-beam-luongmonotonic 39.lstm-birnn-seq2seq-contrib-beam-bahdanamonotonic 40.gru-birnn-seq2seq-contrib-beam-bahdanaumonotic 41.residual-lstm-seq2seq-greedy-luong 42.residual-gru-seq2seq-greedy-luong 43.residual-lstm-seq2seq-greedy-bahdanau 44.residual-gru-seq2seq-greedy-bahdanau 45.memory-network-lstm-decoder-greedy 46.google-nmt 47.transformer-encoder-transformer-decoder 48.transformer-encoder-lstm-decoder-greedy 49.bertmulti language -encoder-bert多言語デコーダー50.bert多言語エンコーダー-lstm-デコーダー 51.bert多言語エンコーダー-トランスフォーマー-デコーダー 52.bertenglish-エンコーダー-トランスフォーマー-デコーダー 53.トランスフォーマー-t2t-2gpu

OCR（光学式文字認識）

完全なリスト (2 冊のノート)

1. CNN + LSTM RNN、テスト精度 100%
2. Im2Latex、テスト精度 100%

POSタグ付け

CONLL POS のトレーニングを受けました。

完全なリスト (ノートブック 8 冊)

1. 双方向 RNN + CRF、テスト精度 92%
2. 双方向 RNN + ルオン アテンション + CRF、テスト精度 91%
3. 双方向 RNN + Bahdanau Attendance + CRF、テスト精度 91%
4. Char Ngrams + 双方向 RNN + Bahdanau Attendance + CRF、テスト精度 91%
5. Char Ngrams + 双方向 RNN + Bahdanau Attendance + CRF、テスト精度 91%
6. Char Ngrams + 残留ネットワーク + バダナウ アテンション + CRF、テスト精度 3%
7. Char Ngrams + 注意が必要です + CRF、テスト精度 89%
8. BERT、テスト精度 99%

質疑応答

bAbI データセットでトレーニングされました。

完全なリスト (ノートブック 4 冊)

1. エンドツーエンドのメモリネットワーク + 基本セル
2. エンドツーエンドのメモリ ネットワーク + GRU セル
3. エンドツーエンドのメモリネットワーク + LSTM セル
4. ダイナミックメモリ

文ペア

Cornell Movie--Dialogs Corpus でトレーニング済み

完全なリスト (1 冊のノート)

1. バート

音声からテキストへ

トロントの音声データセットでトレーニングされました。

完全なリスト (11 冊のノートブック)

1. Tacotron、https://github.com/Kyubyong/tacotron_asr、テスト精度 77.09%
2. BiRNN LSTM、テスト精度 84.66%
3. BiRNN Seq2Seq + ルオン アテンション + クロス エントロピー、テスト精度 87.86%
4. BiRNN Seq2Seq + バダナウ アテンション + クロス エントロピー、テスト精度 89.28%
5. BiRNN Seq2Seq + Bahdanau Attendance + CTC、テスト精度 86.35%
6. BiRNN Seq2Seq + ルオン アテンション + CTC、テスト精度 80.30%
7. CNN RNN + Bahdanau 注意、テスト精度 80.23%
8. 拡張 CNN RNN、テスト精度 31.60%
9. ウェーブネット、テスト精度 75.11%
10. Deep Speech 2、テスト精度 81.40%
11. Wav2Vec 転移学習 BiRNN LSTM、テスト精度 83.24%

スペル修正

完全なリスト (ノートブック 4 冊)

1. BERTベース
2. XLNETベース
3. BERT ベースの高速
4. BERTベースの精度

スクワッドの質疑応答

SQUAD データセットでトレーニングされました。

完全なリスト (1 冊のノート)

1. バート

{ "exact_match" : 77.57805108798486 , "f1" : 86.18327335287402 }

ステミング

英語の見出し語化についてトレーニングを受けています。

完全なリスト (6 冊のノート)

1. LSTM + Seq2Seq + ビーム
2. GRU + Seq2Seq + ビーム
3. LSTM + BiRNN + Seq2Seq + ビーム
4. GRU + BiRNN + Seq2Seq + ビーム
5. DNC + Seq2Seq + 貪欲
6. BiRNN + バダナウ + コピーネット

テキストの拡張

完全なリスト (ノートブック 8 冊)

1. 事前訓練されたグローブ
2. GRU VAE-seq2seq-beam TF-確率
3. LSTM VAE-seq2seq-beam TF-確率
4. GRU VAE-seq2seq-beam + Bahdanau Attendance TF 確率
5. VAE + 決定論的バダナウ アテンション、https://github.com/HareeshBahuleyan/tf-var-attention
6. VAE + VAE Bahdanau 注意、https://github.com/HareeshBahuleyan/tf-var-attention
7. BERT ベース + 核サンプリング
8. XLNET ベース + ニュークリアス サンプリング

テキストの分類

英語の感情データセット、テキスト分類の精度テーブルでトレーニングされました。

完全なリスト (79 冊のノートブック)

1. 基本セルRNN
2. ベーシックセル RNN + ヒンジ
3. 基本セル RNN + フーバ​​ー
4. 基本セル双方向RNN
5. 基本セル 双方向RNN + ヒンジ
6. 基本セル 双方向 RNN + Huber
7. LSTMセルRNN
8. LSTM セル RNN + ヒンジ
9. LSTM セル RNN + フーバ​​ー
10. LSTMセル双方向RNN
11. LSTM セル 双方向 RNN + Huber
12. LSTM セル RNN + ドロップアウト + L2
13. GRUセルRNN
14. GRU セル RNN + ヒンジ
15. GRU セル RNN + フーバ​​ー
16. GRU セル双方向 RNN
17. GRU セル双方向 RNN + ヒンジ
18. GRU セル双方向 RNN + Huber
19. LSTM RNN + Conv2D
20. K-max Conv1d
21. LSTM RNN + Conv1D + ハイウェイ
22. LSTM RNN + 基本的な注意
23. LSTM 拡張 RNN
24. レイヤノルム LSTM セル RNN
25. 唯一の注意ニューラル ネットワーク
26. マルチヘッド アテンション ニューラル ネットワーク
27. ニューラルチューリングマシン
28. LSTM シーケンス 2 シーケンス
29. LSTM Seq2Seq + ルオン アテンション
30. LSTM Seq2Seq + バダナウ アテンション
31. LSTM Seq2Seq + ビームデコーダ
32. LSTM 双方向 Seq2Seq
33. ポインターネット
34. LSTM セル RNN + バダナウ 注意
35. LSTM セル RNN + ルオン アテンション
36. LSTM セル RNN + スタック Bahdanau Luong 注意
37. LSTM セル 双方向 RNN + 後方バダナウ + 前方ルオン
38. バイトネット
39. 高速-低速LSTM
40. シャムネットワーク
41. LSTM Seq2Seq + tf.estimator
42. カプセル層 + RNN LSTM
43. カプセル層 + LSTM Seq2Seq
44. カプセル層 + LSTM 双方向 Seq2Seq
45. ネストされた LSTM
46. LSTM Seq2Seq + ハイウェイ
47. 三重項損失 + LSTM
48. DNC (微分可能ニューラル コンピューター)
49. ConvLSTM
50. 時間変換ネット
51. バッチオール トリプレット ロス + LSTM
52. 高速テキスト
53. ゲート畳み込みネットワーク
54. シンプルリカレントユニット
55. LSTM 階層型アテンション ネットワーク
56. 双方向トランス
57. ダイナミックメモリネットワーク
58. エンティティネットワーク
59. エンドツーエンドのメモリ ネットワーク
60. BOW-Chars ディープスパースネットワーク
61. Atrous CNN を使用した残留ネットワーク
62. Atrous CNN + Bahdanau Attendant を使用した残留ネットワーク
63. ディープピラミッド CNN
64. トランスフォーマーXL
65. 転移学習 GPT-2 345M
66. 準RNN
67. タコトロン
68. スライスGRU
69. スライス GRU + バダナウ
70. ウェーブネット
71. 転移学習 BERT ベース
72. 転移学習 XL-net 大
73. LSTM BiRNN グローバル最大および平均プーリング
74. 転移学習 BERT ベースドロップ 6 層
75. 転移学習 BERT 大ドロップ 12 層
76. 転移学習 XL-net Base
77. 転移学習 ALBERT
78. 転移学習 ELECTRA Base
79. 転移学習 ELECTRA Large

テキストの類似性

MNLIでトレーニングを受けています。

完全なリスト (10 冊のノート)

1. BiRNN + 対比損失、テスト精度 73.032%
2. BiRNN + クロスエントロピー、テスト精度 74.265%
3. BiRNN + 円損失、テスト精度 75.857%
4. BiRNN + プロキシ損失、テスト精度 48.37%
5. BERT ベース + クロスエントロピー、テスト精度 91.123%
6. BERT ベース + サークル損失、テスト精度 89.903%
7. ELECTRA Base + クロスエントロピー、テスト精度 96.317%
8. ELECTRA Base + Circle loss、テスト精度 95.603%
9. XLNET ベース + クロスエントロピー、テスト精度 93.998%
10. XLNET ベース + サークル損失、テスト精度 94.033%

テキスト読み上げ

トロントの音声データセットでトレーニングされました。

完全なリスト (ノートブック 8 冊)

1. タコトロン、https://github.com/Kyubyong/tacotron
2. CNN Seq2seq + 拡張 CNN ボコーダー
3. Seq2Seq + バダナウ アテンション
4. Seq2Seq + ルオン アテンション
5. 拡張 CNN + モノソン アテンション + 拡張 CNN ボコーダー
6. 拡張 CNN + セルフ アテンション + 拡張 CNN ボコーダー
7. ディープ CNN + モノソン アテンション + 拡張 CNN ボコーダー
8. ディープ CNN + セルフ アテンション + 拡張 CNN ボコーダー

トピックジェネレーター

マレーシアのニュースについて研修しました。

完全なリスト (ノートブック 4 冊)

1. TAT-LSTM
2. TAV-LSTM
3. MTA-LSTM
4. 拡張された CNN Seq2seq

トピックモデリング

英語の感情データセットから抽出。

完全なリスト (ノートブック 3 冊)

1. LDA2Vec
2. バートの注意
3. XLNETの注意

教師なしの抽出要約

ランダムな本で訓練を受けました。

完全なリスト (ノートブック 3 冊)

1. スキップ思考のベクトル
2. Atrous CNN を使用した残留ネットワーク
3. Atrous CNN + Bahdanau Attendant を使用した残留ネットワーク

ベクタライザー

英語の感情データセットでトレーニングされました。

完全なリスト (11 冊のノートブック)

1. CBOW サンプル ソフトマックスを使用した Word ベクトル
2. CBOW ノイズ対比推定を使用した Word Vector
3. スキップグラム サンプル ソフトマックスを使用した Word ベクトル
4. スキップグラム ノイズ対比推定を使用した Word ベクトル
5. 監視付き組み込み型
6. トリプレットロス + LSTM
7. LSTM オートエンコーダー
8. バッチオール トリプレットロス LSTM
9. 高速テキスト
10. エルモ (biLM)
11. トリプレットロス + BERT

視覚化

完全なリスト (ノートブック 4 冊)

1. Bahdanau のアテンション ヒートマップ
2. ルオン・アテンションのアテンション・ヒートマップ
3. BERT に関する注意、https://github.com/hsm207/bert_attn_viz
4. XLNETの注意

老若男女のボコーダー

トロントの音声データセットでトレーニングされました。

完全なリスト (1 冊のノート)

1. 拡張された CNN

注意

完全なリスト (ノートブック 8 冊)

1. バダナウ
2. ルオン
3. 階層的
4. 添加剤
5. 柔らかい
6. 注意を超える注意
7. バダナウAPI
8. ルオンAPI

非ディープラーニング

1. マルコフチャットボット
2. 分解まとめ（ノート3冊）