NLP_pytorch_projectダウンロード - NLP_pytorch_projectソースコードのダウンロード

知らせ

現在、この倉庫にはプロジェクトが多すぎるため、維持することが困難です。そのため、今後はさまざまな業務を分離し、倉庫を別に設置し、比較実験を重ねてユーザーが機種を選択しやすくすることになるだろう。必要に応じて、指定したウェアハウスにジャンプできます。リンクは次のとおりです。

テキスト分類ウェアハウス
セマンティックマッチングウェアハウス
テキスト生成ウェアハウス
他のリポジトリは更新を高速化しています...

チャットボット
- 1. Bert_chatbot: UniLM に似ています
- 2. seq2seq_luong: エンコーダは 2 層の GRU ネットワークであり、デコーダは 1 層の GRU ネットワークです。エンコーダとデコーダの間に Luong アテンションが追加されます。
- 3.transformer_chatbot: 標準トランスモデル
蒸留
- 1. DynaBert: ファーウェイの仕事では、主に剪定を使用してバートの特定の構造を切断します。
- 2. rnn_distill_bert: lstm ネットワークの層を使用して bert モデルを抽出し、ソフトラベル損失のみを追加します。
- 3. three_layer_self-attention_to_distill_bert: 名前を見れば、おそらくその意味がわかるでしょう。これは、3 層トランスフォーマーのエンコーダーを書き込み、bert モデルを蒸留するだけです。
- 4. tiny_bert: Huawei の作品、tiny_bert の蒸留方法は、ソフトラベル損失に加えて中間層の平均二乗誤差損失を追加することです。
埋め込み
- 1.skipgram-word2vec: スキップグラムを使用して単語ベクトルを取得します。
- 2. bert: bert を直接トレーニングするか、最初からトレーニングするか、このコードを再トレーニングに使用します。
- 3. albert: albert を直接トレーニングし、最初からトレーニングすることもできます。このコードは再トレーニングにも使用できます。
- 4. NPLM: 従来のアプローチ
NER
- 1. Bert_CRF_Ner: Bert モデルとシーケンスラベリングタスク用の条件付きランダムフィールド
- 2. Bert_Softmax_Ner: シーケンスアノテーションに bert モデルを直接使用します。
- 3. BiLSTM_CRF_Ner: シーケンスラベル付けタスクに双方向 lstm ネットワークと crf を使用します。
NMT
- 1. GRU_attention: エンコーダとデコーダは両方とも GRU ネットワークであり、共通のアテンションメカニズム (直接加重和) が中間に追加されています。
- 2. Transformers_NMT: 機械翻訳用の標準トランス構造
事前学習_モデル
- 1. bert-pretrain: bert モデルを再トレーニングするには、まず get_train_data.py を通じてマスクおよびその他の操作用のワードの 15% を含むデータ前処理を実行してからトレーニングします。
- 2. wobert-pretrain: wobert の事前トレーニングモデルは Su Shen によって提供され、ここでの再トレーニングのために、自分で作成した単語リストを追加し、bert の単語分割方法を変更できます。
読解力
- 1. BERT_MRC: bert を使用して機械読み取りタスクを実行します。ここではダイレクトステージ方式が採用されることが予想される。
- 2. BiDAF: 双方向の注意フロー機構を備えた機械読解モデル
- 3. DocQA: 従来のモデル
- 4. Match_LSTM: 従来のモデル、単純な rnn 構造。
- 5. QANet: これも比較的伝統的なモデルですが、rnn 構造を放棄した最初の mrc モデルでもあり、mrc タスクにセルフアテンションメカニズムを導入した最初のモデルでもあります。
- 6. RNet: 従来のモデル
- 7. Recurrence-hotpot-baseline: マルチホップ推論を処理するために rnn 構造を使用する問題が初めて生成されます。hotpotqa データセットでは、回答を含む予測に加えて、裏付けとなる事実の予測も含まれます。および関連する段落の予測。
- 8. albert_mrc: albert 事前トレーニング済みモデルを使用して mrc タスクを実行します
- 9. electra_bert: electra の事前トレーニング済みモデルを使用して mrc タスクを実行する
- 10. mrc_baseline: mrc タスクを実行している場合は、最初にこのコードを読むことをお勧めします。これには、長いテキストの処理 (スライディングウィンドウ)、回答の並べ替え、敵対的トレーニングなど、mrc が注目するさまざまな詳細が含まれています。
- 11. roberta_mrc: roberta の事前トレーニング済みモデルを使用して mrc タスクを実行します
- 12.transformer+rnn+attention: このプロジェクトは、seq2seq メソッドを直接使用した生成読解用です。エンコーダは、transformer のエンコーダを使用し、デコーダは、gru 構造を使用し、中間に通常の attention のレイヤーが追加されます。機構。
- 13.transformer_reading: このプロジェクトも、標準のtransformer構造を使用した、生成的な読解に関するものです。
スロット充填
- 1. JointBert: インテント分類とスロット分類が含まれます。 bert を直接使用して入力をエンコードし、意図の分類に「CLS」ベクトルを使用します。各トークンの最終的なエンコードベクトルは、スロットの分類に使用されます。
テキスト_分類
- 1. DPCNN: 深い畳み込みネットワーク + 残差接続により、このモデルは以前の CNN 構造よりも優れており、複雑さはそれほど高くありません。
- 2. FastBert: 自己蒸留法を使用してモデル推論を高速化します。主に分類タスクで使用されます。
- 3. FastText: Facebook によって提案された、効率的なテキスト分類モデルです。
- 4. XLNet: 1) 考えられるすべての因数分解次数の対数尤度を最大化することで双方向のコンテキスト情報を学習します。2) 自己回帰自体の特性を使用して BERT の欠点を克服します。さらに、XLNet には、現在の最適な自己回帰モデル Transformer-XL のアイデアも組み込まれています。
- 5. all_layer_out_concat: 名前からわかるように、このプロジェクトは、bert スタイルモデルを通じてテキストをエンコードし、各レイヤーの cls ベクトルを取り出し、アテンション計算を実行してから分類を実行します。
- 6. bert+bceloss+average_checkpoint: このプロジェクトは、分類タスクの損失関数を BCELoss に変更します。さらに、加重平均 (複数のチェックポイントの平均) を追加します。
- 7. Capsule_text_classification: テキスト分類用の GRU+Capsule
- 8. longformer_classification: テキスト分類に事前トレーニング済みモデル longformer を使用します。長いテキストの分類には、このモデルを試すことができます。
- 9. multi_label_classify_bert: マルチラベル分類に bert モデルを使用します。これには、bert (model.py)、bert の最後の 2 つのプーリング層 (model2.py)、および bert+TextCNN (model3.py) の 3 つのモデルが含まれています。
- 10. roberta_classification: テキスト分類に roberta の事前トレーニング済みモデルを使用します。
- 11.transformer_xl: テキストの分類には、transformer_xl を直接使用します。このモデルを試してください。
- 12. wobert+focal_loss: wobert 事前トレーニングモデルは Su Shen によって提供され、カテゴリの不均衡の問題を解決するために焦点損失が分類タスクに追加されます。
- 13. TextCNN: テキストをさまざまなスケールで畳み込み、それを連結してテキスト分類します。
- 14. BILSTM + Attendance: 双方向 LSTM ネットワークに、テキスト分類のための通常の Attendance を加えたもの。
テキスト_クラスタリング
- 1.LDAクラスタリング
- 2.DBSスキャン
- 3. クミーンズ
テキストコレクター
- 1. bert_for_correction: これは単なる単純な試みであり、対応するコーパスで再トレーニングし、タイプミスのある文を入力し、各トークンのエンコードベクトルを分類します。
テキストの生成
- 1. GPT2_summaryGen: GPT2 を使用して概要を生成します。
- 2. GPT2_TitleGen: 記事タイトルの生成
- 3. Simple-GPT2: 自己実装 GPT2 モデル
テキスト_ランキング
- 1. BM25: クエリと並べ替えるすべてのテキストの BM25 値を計算し、この値に基づいて並べ替えます。
- 2. DC_Bert_Ranking: ツインタワー + インタラクション。まず、クエリとコンテキストは別々にエンコードされ、ここでの重みは共有されません。次に、クエリとコンテキストのエンコードが混合され、インタラクティブなトランスフォーマーエンコーダーの複数のレイヤーを通過します。
- 3. DPR_Ranking: Facebook のテキストランキングモデル
- 4. MT_Ranking: エンコードに bert スタイルのモデルを使用し、分類に cls を使用して、陽性サンプルのスコアで並べ替えます。
- 5. ReRank: モデル蒸留を含む
テキスト_類似性
- 1. ABCNN: 最初に 2 つの文に対して単語埋め込みを実行し、次にプーリングを実行して 2 つの文のベクトルを取得し、次に 2 つのベクトル間の差分を計算し、最後に異なるスケールで差分ベクトルの畳み込みを実行して、を分類します。
- 2. BiMPM: このモデルは、単語埋め込み、コンテキストエンコーディング (bilstm)、4 種類のマッチング、および集約層の 4 つの部分に分かれています。
- 3. DecomposableAttention: この論文の核心はアラインメント、つまり単語間の対応関係です。記事内のアラインメントは 2 つの場所で使用されます。1 つは 2 つの文の間のアテンション関係を計算するために使用されます。もう 1 つは比較部分です。各処理は単語に基づいて行われ、最後にフィードフォワードニューラルネットワークが使用されて予測が行われます。当然のことながら、この記事で述べたモデルは文中の単語の時間的関係を利用するものではなく、2つの文中の単語間の対応関係（アライメント）を重視しています。
- 4. ESIM: 短いテキストマッチングツール。 ESIM の優れた点は、コード内の Soft_align_attention である文間の注意です。このステップでは、比較される 2 つの文が対話されます。シャムネットワークに似た以前の構造では、多くの場合、中間には相互作用がなく、最後の層ではコサイン距離またはその他の距離のみが見つかりました。
- 5. RE2: RE2 という名前は、ネットワークの 3 つの重要な部分の組み合わせに由来しています。残差ベクトル、エンコードされたベクトルです。
- 6. SiaGRU: ツインタワー構造。GRU を使用して 2 つの文をそれぞれエンコードし、2 つの文エンコードベクトルの差を計算し、最後にこの差ベクトルを分類に使用します。
- 7. SimCSE: 対照学習、スキル: 異なるサンプル、異なるドロップアウト
- 8. BM25: 2 つのテキストの BM25 値を直接計算し、それらの類似度を表します。
- 9. TF_IDF: 2 つのテキストの TF_IDF 値を直接計算し、それらの類似性を表します。
- 10. NEZHA_Coattention: ツインタワー構造を採用しており、2 つの文がそれぞれ NEZHA モデルに入力され、入力は微分され、元の表現と結合され、分類のために完全に接続されたネットワークに送信されます。別のモデルがあります。つまり、2 つの文の表現を取得した後、トランスフォーマーエンコーダーの層を実装して表現情報を融合し、最終的に分類します。
- 11. Bert_Whitening: Su Jianlin によって提案された方法はトレーニングを必要とせず、各文の Bert 出力を標準正規直交基底に直接統合します。
データ拡張
- 1. eda: データ拡張に nlpcda ツールキットを使用します。等価実体の置換、ランダムな同義語の置換、文字のランダムな削除、位置の交換、同音異義語の置換など。
- 2. 逆翻訳 - Baidu: テキストの逆翻訳には Baidu 翻訳を使用します。
- 3. Back-translation-google: テキストの逆翻訳には Google 翻訳を使用します。
関係抽出
- 1. lstm_cnn_information_extract: lstm+cnn
- 2. relationship_classification: 関係分類、bilstm+通常の注意

NLP_pytorch_プロジェクト

チャットボット

1. Bert_chatbot: UniLM に似ています

python train.py # トレーニングコード
python infernece.py # モデル推論

2. seq2seq_luong: エンコーダは 2 層の GRU ネットワークであり、デコーダは 1 層の GRU ネットワークです。エンコーダとデコーダの間に Luong アテンションが追加されます。

python train.py # トレーニングコード
python inference.py # モデル推論

3.transformer_chatbot: 標準トランスフォーマーモデル

python train.py # トレーニングコード
python chat.py # チャットに使用できる教師データはQingyun対話素材です。

蒸留

1. DynaBert: ファーウェイの仕事では、主に剪定を使用してバートの特定の構造を切断します。

python train_Teacher_model.py # 教師モデルをトレーニングする
python train_tailor_model.py # 教師モデルをプルーニングする

2. rnn_distill_bert: lstm ネットワークの層を使用して bert モデルを抽出し、ソフトラベル損失のみを追加します。

python train_bert.py # 教師モデルbertを訓練する
python train_distill.py # 蒸留は lstm を使用して bert の出力を学習します

3. three_layer_self-attention_to_distill_bert: 名前を見れば、おそらくその意味がわかるでしょう。これは、3 層トランスフォーマーのエンコーダーを書き込み、bert モデルを蒸留するだけです。

python train_bert.py # 教師モデルbertを訓練する
python train_distill.py # 蒸留

4. tiny_bert: Huawei の作品、tiny_bert の蒸留方法は、ソフトラベル損失に加えて中間層の平均二乗誤差損失を追加することです。

python train.py # 教師モデルのバートを訓練する
python train_distill_v2.py # 蒸留

埋め込み

1.skipgram-word2vec: スキップグラムを使用して単語ベクトルを取得します。

Python 001-skipgram-word2vec.py

2. bert: bert を直接トレーニングするか、最初からトレーニングするか、このコードを再トレーニングに使用します。

Python 002-bert.py

3. albert: albert を直接トレーニングし、最初からトレーニングすることもできます。このコードは再トレーニングにも使用できます。

Python 003-albert.py

4. NPLM: 従来のアプローチ

python004-NPLM.py

NER

1. Bert_CRF_Ner: Bert モデルとシーケンスラベリングタスク用の条件付きランダムフィールド

python run_ner_crf.py # モデルのトレーニング
python inference.py # モデル推論

2. Bert_Softmax_Ner: シーケンスアノテーションに bert モデルを直接使用します。

python train.py # モデルのトレーニング
python inference.py # モデル推論

3. BiLSTM_CRF_Ner: シーケンスラベル付けタスクに双方向 lstm ネットワークと crf を使用します。

python train.py # モデルのトレーニング

NMT

1. GRU_attention: エンコーダとデコーダは両方とも GRU ネットワークであり、共通のアテンションメカニズム (直接加重和) が中間に追加されています。

python train.py # モデルのトレーニング

2. Transformers_NMT: 機械翻訳用の標準トランス構造

python train.py # モデルのトレーニング

事前学習_モデル

1. bert-pretrain: bert モデルを再トレーニングするには、まず get_train_data.py を通じてマスクおよびその他の操作用のワードの 15% を含むデータ前処理を実行してからトレーニングします。

python get_train_data.py #データの前処理
python run_pretrain.py # 再トレーニング

2. wobert-pretrain: wobert の事前トレーニングモデルは Su Shen によって提供され、ここでの再トレーニングのために、自分で作成した単語リストを追加し、bert の単語分割方法を変更できます。

python process_pretrain_data.py #データの前処理
python run_pretrain.py # 再トレーニング

読解力

1. BERT_MRC: bert を使用して機械読解タスクを実行します。ここではダイレクトステージ方式が採用されることが予想される。

python train.py # モデルのトレーニング

2. BiDAF: 双方向の注意フロー機構を備えた機械読解モデル

python data_process.py # 最初にデータを前処理します
python train_bidaf.py # モデルのトレーニング

3. DocQA: 従来のモデル

python data_process.py # 最初にデータを前処理します
python train_DocQA.py # モデルのトレーニング

4. Match_LSTM: 従来のモデル、単純な rnn 構造。

python data_process.py # 最初にデータを前処理します
python train_Match_Lstm.py # モデルのトレーニング

5. QANet: これも比較的伝統的なモデルですが、rnn 構造を放棄した最初の mrc モデルでもあり、mrc タスクにセルフアテンションメカニズムを導入した最初のモデルでもあります。

python data_process.py #データの前処理
python train.py # モデルのトレーニング

6. RNet: 従来のモデル

python data_process.py #データの前処理
python train_RNet.py # モデルのトレーニング

7. Recurrence-hotpot-baseline: マルチホップ推論を処理するために rnn 構造を使用する問題が初めて生成されます。hotpotqa データセットでは、答えを含む予測に加えて、裏付けとなる事実の予測も含まれます。および関連する段落の予測。

python data_process.py #データの前処理
python train.py # モデルのトレーニング

8. albert_mrc: albert 事前トレーニング済みモデルを使用して mrc タスクを実行します

python train_update.py # トレーニングモデル
python inference.py #単一のデータに対する推論
python inference_all.py #すべてのデータの推論

9. electra_bert: electra の事前トレーニング済みモデルを使用して mrc タスクを実行する

python run_cail.py #トレーニングモデル
python Evaluate.py # モデルの評価

10. mrc_baseline: mrc タスクを実行している場合は、最初にこのコードを読むことをお勧めします。これには、長いテキストの処理 (スライディングウィンドウ)、回答の並べ替え、敵対的トレーニングなど、mrc が注目するさまざまな詳細が含まれています。

python train.py #モデルを訓練する

11. roberta_mrc: roberta の事前トレーニング済みモデルを使用して mrc タスクを実行します

python train.py #モデルを訓練する

12.transformer+rnn+attention: このプロジェクトは、seq2seq メソッドを直接使用した生成読解用です。エンコーダは、transformer のエンコーダを使用し、デコーダは、gru 構造を使用し、中間に通常の attention のレイヤーが追加されます。機構。

python train.py # モデルのトレーニング
python inference.py # モデル推論

13.transformer_reading: このプロジェクトも、標準のtransformer構造を使用した、生成的な読解に関するものです。

python train.py # モデルのトレーニング
python inference.py # モデル推論

スロット充填

1. JointBert: インテント分類とスロット分類が含まれます。 bert を直接使用して入力をエンコードし、意図の分類に「CLS」ベクトルを使用します。各トークンの最終的なエンコードベクトルは、スロットの分類に使用されます。

python train.py # モデルのトレーニング

テキスト_分類

1. DPCNN: 深い畳み込みネットワーク + 残差接続により、このモデルは以前の CNN 構造よりも優れており、複雑さはそれほど高くありません。

python get_data_to_examples.py # データの前処理
python Examples_to_features.py # 対応するサンプルを機能に変換します
python train.py # モデルのトレーニング

2. FastBert: 自己蒸留法を使用してモデル推論を高速化します。主に分類タスクで使用されます。

sh train_stage0.sh # 教師モデルのバートを訓練する
sh train_stage1.sh # 自己蒸留
sh infer_sigle.sh # 適応推論の単一サンプル

3. FastText: Facebook によって提案された、効率的なテキスト分類モデルです。

python step1_get_data_to_examples.py # データを取得する
python step2_examples_to_features.py # テキストデータをIDシーケンスに変換します
python train.py # モデルのトレーニング

4. XLNet: 1) 考えられるすべての因数分解次数の対数尤度を最大化することで双方向のコンテキスト情報を学習します。2) 自己回帰自体の特性を使用して BERT の欠点を克服します。さらに、XLNet には、現在の最適な自己回帰モデル Transformer-XL のアイデアも組み込まれています。

python train.py # モデルのトレーニング

5. all_layer_out_concat: 名前からわかるように、このプロジェクトは、bert スタイルモデルを通じてテキストをエンコードし、各レイヤーの cls ベクトルを取り出し、アテンション計算を実行してから分類を実行します。

python train.py # モデルのトレーニング
Python inference.py # モデル推論

6. bert+bceloss+average_checkpoint: このプロジェクトは、分類タスクの損失関数を BCELoss に変更します。さらに、加重平均 (複数のチェックポイントの平均) を追加します。

python run_classify.py # モデルのトレーニング
python run_average_checkpoints.py # 重みの平均

7. Capsule_text_classification: テキスト分類用の GRU+Capsule

python train.py # モデルのトレーニング

8. longformer_classification: テキスト分類に事前トレーニング済みモデル longformer を使用します。長いテキストの分類には、このモデルを試すことができます。

python train.py # モデルのトレーニング

9. multi_label_classify_bert: マルチラベル分類に bert モデルを使用します。これには、bert (model.py)、bert の最後の 2 つのプーリング層 (model2.py)、および bert+TextCNN (model3.py) の 3 つのモデルが含まれています。

python train.py # モデルのトレーニング
python inference.py # モデル予測

10. roberta_classification: テキスト分類に roberta の事前トレーニング済みモデルを使用します。

python train.py # モデルのトレーニング

11.transformer_xl: テキストの分類には、transformer_xl を直接使用します。このモデルを試してください。

python train.py # モデルのトレーニング

12. wobert+focal_loss: wobert 事前トレーニングモデルは Su Shen によって提供され、カテゴリの不均衡の問題を解決するために焦点損失が分類タスクに追加されます。

python run_classify.py # モデルのトレーニング

13. TextCNN: テキストをさまざまなスケールで畳み込み、それを連結してテキスト分類します。

python 001-TextCNN.py # モデルのトレーニング

14. BILSTM + Attendance: 双方向 LSTM ネットワークに、テキスト分類のための通常の Attendance を加えたもの。

python 002-BILSTM+tention.py # モデルのトレーニング

テキスト_クラスタリング

1.LDAクラスタリング

python train_LDA_cluster.py # クラスタリング

2.DBSスキャン

python train_dbscan_cluster.py # クラスタリング

3. クミーンズ

python train_kmeans_cluster.py # クラスタリング

テキストコレクター

1. bert_for_correction: これは単なる単純な試みであり、対応するコーパスで再トレーニングし、タイプミスのある文を入力し、各トークンのエンコードベクトルを分類します。

python run_pretrain_bert.py # 再トレーニング
bert_corrector.py # エラー修正

テキストの生成

1. GPT2_summaryGen: GPT2 を使用して概要を生成します。

python train.py # モデルのトレーニング
python inferface.py # モデル推論

2. GPT2_TitleGen: 記事タイトルの生成

python train.py # モデルのトレーニング
python inference.py # モデル推論

3. Simple-GPT2: 自己実装 GPT2 モデル

python train.py # モデルのトレーニング
python inference.py # モデル推論

テキスト_ランキング

1. BM25: クエリと並べ替えるすべてのテキストの BM25 値を計算し、この値に基づいて並べ替えます。

python main.py # 並べ替え

2. DC_Bert_Ranking: ツインタワー + インタラクション。まず、クエリとコンテキストは別々にエンコードされ、ここでの重みは共有されません。次に、クエリとコンテキストのエンコードが混合され、インタラクティブなトランスフォーマーエンコーダーの複数のレイヤーを通過します。

python train.py # モデルのトレーニング
python inference.py # モデル推論

3. DPR_Ranking: Facebook のテキストランキングモデル

python train.py # モデルのトレーニング

4. MT_Ranking: エンコードに bert スタイルのモデルを使用し、分類に cls を使用して、陽性サンプルのスコアで並べ替えます。

python train.py # モデルのトレーニング
python inference.py # モデル推論

5. ReRank: モデル蒸留を含む

python train.py # モデルのトレーニング
python train_distill.py # モデルの蒸留

テキスト_類似性

1. ABCNN: 最初に 2 つの文に対して単語埋め込みを実行し、次にプーリングを実行して 2 つの文のベクトルを取得し、次に 2 つのベクトル間の差分を計算し、最後に異なるスケールで差分ベクトルの畳み込みを実行して、を分類します。

python train.py # モデルのトレーニング

2. BiMPM: このモデルは、単語埋め込み、コンテキストエンコーディング (bilstm)、4 種類のマッチング、および集約層の 4 つの部分に分かれています。

python train.py # モデルのトレーニング

3. DecomposableAttention: この論文の核心はアラインメント、つまり単語間の対応関係です。記事内のアラインメントは 2 つの場所で使用されます。1 つは 2 つの文の間のアテンション関係を計算するために使用されます。もう 1 つは比較部分です。各処理は単語に基づいて行われ、最後にフィードフォワードニューラルネットワークが使用されて予測が行われます。当然のことながら、この記事で述べたモデルは文中の単語の時間的関係を利用するものではなく、2つの文中の単語間の対応関係（アライメント）を重視しています。

python train.py # モデルのトレーニング

4. ESIM: 短いテキストマッチングツール。 ESIM の優れた点は、コード内の Soft_align_attention である文間の注意です。このステップでは、比較される 2 つの文が対話されます。シャムネットワークに似た以前の構造では、多くの場合、中間には相互作用がなく、最後の層ではコサイン距離またはその他の距離のみが見つかりました。

python train.py # モデルのトレーニング

5. RE2: RE2 という名前は、ネットワークの 3 つの重要な部分の組み合わせに由来しています。残差ベクトル、エンコードされたベクトルです。

python train.py # モデルのトレーニング

6. SiaGRU: ツインタワー構造。GRU を使用して 2 つの文をそれぞれエンコードし、2 つの文エンコードベクトルの差を計算し、最後にこの差ベクトルを分類に使用します。

python train.py # モデルのトレーニング

7. SimCSE: 対照学習、スキル: 異なるサンプル、異なるドロップアウト

python train.py # モデルのトレーニング

8. BM25: 2 つのテキストの BM25 値を直接計算し、それらの類似度を表します。

pythonBM25.py

9. TF_IDF: 2 つのテキストの TF_IDF 値を直接計算し、それらの類似性を表します。

pythonTF_IDF.py

10. NEZHA_Coattention: ツインタワー構造を採用しており、2 つの文がそれぞれ NEZHA モデルに入力され、入力は微分され、元の表現と結合され、分類のために完全に接続されたネットワークに送信されます。別のモデルがあります。つまり、2 つの文の表現を取得した後、トランスフォーマーエンコーダーの層を実装して表現情報を融合し、最終的に分類します。

pythontrain.py

11. Bert_Whitening: Su Jianlin によって提案された方法はトレーニングを必要とせず、各文の Bert 出力を標準正規直交基底に直接統合します。

python run_bert_whitening.py # データセットを直接検証し、スピアマン係数を計算します

データ拡張

1. eda: データ拡張に nlpcda ツールキットを使用します。等価実体の置換、ランダムな同義語の置換、文字のランダムな削除、位置の交換、同音異義語の置換など。

Python 001-run_eda.py

2. 逆翻訳 - Baidu: テキストの逆翻訳には Baidu 翻訳を使用します。

python 002-run_contrslate_data_aug.py

3. Back-translation-google: テキストの逆翻訳には Google 翻訳を使用します。

python 003-google_trans_data_aug.py

関係抽出

1. lstm_cnn_information_extract: lstm+cnn

python train.py # モデルのトレーニング
python inference.py # モデル推論

2. relationship_classification: 関係分類、bilstm+通常の注意

python data_helper.py #データの前処理
python train.py # モデルのトレーニング

スターの歴史

拡大する

NLP_pytorch_project

知らせ

目次

NLP_pytorch_プロジェクト

チャットボット

1. Bert_chatbot: UniLM に似ています

2. seq2seq_luong: エンコーダは 2 層の GRU ネットワークであり、デコーダは 1 層の GRU ネットワークです。エンコーダとデコーダの間に Luong アテンションが追加されます。

3.transformer_chatbot: 標準トランスフォーマーモデル

蒸留

1. DynaBert: ファーウェイの仕事では、主に剪定を使用してバートの特定の構造を切断します。

2. rnn_distill_bert: lstm ネットワークの層を使用して bert モデルを抽出し、ソフト ラベル損失のみを追加します。

3. three_layer_self-attention_to_distill_bert: 名前を見れば、おそらくその意味がわかるでしょう。これは、3 層トランスフォーマーのエンコーダーを書き込み、bert モデルを蒸留するだけです。

4. tiny_bert: Huawei の作品、tiny_bert の蒸留方法は、ソフト ラベル損失に加えて中間層の平均二乗誤差損失を追加することです。

埋め込み

1.skipgram-word2vec: スキップグラムを使用して単語ベクトルを取得します。

2. bert: bert を直接トレーニングするか、最初からトレーニングするか、このコードを再トレーニングに使用します。

3. albert: albert を直接トレーニングし、最初からトレーニングすることもできます。このコードは再トレーニングにも使用できます。

4. NPLM: 従来のアプローチ

NER

1. Bert_CRF_Ner: Bert モデルとシーケンス ラベリング タスク用の条件付きランダム フィールド

2. Bert_Softmax_Ner: シーケンス アノテーションに bert モデルを直接使用します。

3. BiLSTM_CRF_Ner: シーケンスラベル付けタスクに双方向 lstm ネットワークと crf を使用します。

NMT

1. GRU_attention: エンコーダとデコーダは両方とも GRU ネットワークであり、共通のアテンション メカニズム (直接加重和) が中間に追加されています。

2. Transformers_NMT: 機械翻訳用の標準トランス構造

事前学習_モデル

1. bert-pretrain: bert モデルを再トレーニングするには、まず get_train_data.py を通じてマスクおよびその他の操作用のワードの 15% を含むデータ前処理を実行してからトレーニングします。

2. wobert-pretrain: wobert の事前トレーニング モデルは Su Shen によって提供され、ここでの再トレーニングのために、自分で作成した単語リストを追加し、bert の単語分割方法を変更できます。

読解力

1. BERT_MRC: bert を使用して機械読解タスクを実行します。ここではダイレクトステージ方式が採用されることが予想される。

2. BiDAF: 双方向の注意フロー機構を備えた機械読解モデル

3. DocQA: 従来のモデル

4. Match_LSTM: 従来のモデル、単純な rnn 構造。

5. QANet: これも比較的伝統的なモデルですが、rnn 構造を放棄した最初の mrc モデルでもあり、mrc タスクにセルフ アテンション メカニズムを導入した最初のモデルでもあります。

6. RNet: 従来のモデル

8. albert_mrc: albert 事前トレーニング済みモデルを使用して mrc タスクを実行します

9. electra_bert: electra の事前トレーニング済みモデルを使用して mrc タスクを実行する

11. roberta_mrc: roberta の事前トレーニング済みモデルを使用して mrc タスクを実行します

13.transformer_reading: このプロジェクトも、標準のtransformer構造を使用した、生成的な読解に関するものです。

スロット充填

テキスト_分類

1. DPCNN: 深い畳み込みネットワーク + 残差接続により、このモデルは以前の CNN 構造よりも優れており、複雑さはそれほど高くありません。

2. FastBert: 自己蒸留法を使用してモデル推論を高速化します。主に分類タスクで使用されます。

3. FastText: Facebook によって提案された、効率的なテキスト分類モデルです。

5. all_layer_out_concat: 名前からわかるように、このプロジェクトは、bert スタイル モデルを通じてテキストをエンコードし、各レイヤーの cls ベクトルを取り出し、アテンション計算を実行してから分類を実行します。

6. bert+bceloss+average_checkpoint: このプロジェクトは、分類タスクの損失関数を BCELoss に変更します。さらに、加重平均 (複数のチェックポイントの平均) を追加します。

7. Capsule_text_classification: テキスト分類用の GRU+Capsule

8. longformer_classification: テキスト分類に事前トレーニング済みモデル longformer を使用します。長いテキストの分類には、このモデルを試すことができます。

9. multi_label_classify_bert: マルチラベル分類に bert モデルを使用します。これには、bert (model.py)、bert の最後の 2 つのプーリング層 (model2.py)、および bert+TextCNN (model3.py) の 3 つのモデルが含まれています。

10. roberta_classification: テキスト分類に roberta の事前トレーニング済みモデルを使用します。

11.transformer_xl: テキストの分類には、transformer_xl を直接使用します。このモデルを試してください。

12. wobert+focal_loss: wobert 事前トレーニング モデルは Su Shen によって提供され、カテゴリの不均衡の問題を解決するために焦点損失が分類タスクに追加されます。

13. TextCNN: テキストをさまざまなスケールで畳み込み、それを連結してテキスト分類します。

14. BILSTM + Attendance: 双方向 LSTM ネットワークに、テキスト分類のための通常の Attendance を加えたもの。

テキスト_クラスタリング

1.LDAクラスタリング

2.DBSスキャン

3. クミーンズ

テキストコレクター

1. bert_for_correction: これは単なる単純な試みであり、対応するコーパスで再トレーニングし、タイプミスのある文を入力し、各トークンのエンコード ベクトルを分類します。

テキストの生成

1. GPT2_summaryGen: GPT2 を使用して概要を生成します。

2. GPT2_TitleGen: 記事タイトルの生成

3. Simple-GPT2: 自己実装 GPT2 モデル

テキスト_ランキング

1. BM25: クエリと並べ替えるすべてのテキストの BM25 値を計算し、この値に基づいて並べ替えます。

3. DPR_Ranking: Facebook のテキストランキングモデル

4. MT_Ranking: エンコードに bert スタイルのモデルを使用し、分類に cls を使用して、陽性サンプルのスコアで並べ替えます。

5. ReRank: モデル蒸留を含む

テキスト_類似性

2. BiMPM: このモデルは、単語埋め込み、コンテキスト エンコーディング (bilstm)、4 種類のマッチング、および集約層の 4 つの部分に分かれています。

5. RE2: RE2 という名前は、ネットワークの 3 つの重要な部分の組み合わせに由来しています。残差ベクトル、エンコードされたベクトルです。

6. SiaGRU: ツインタワー構造。GRU を使用して 2 つの文をそれぞれエンコードし、2 つの文エンコード ベクトルの差を計算し、最後にこの差ベクトルを分類に使用します。

7. SimCSE: 対照学習、スキル: 異なるサンプル、異なるドロップアウト

8. BM25: 2 つのテキストの BM25 値を直接計算し、それらの類似度を表します。

9. TF_IDF: 2 つのテキストの TF_IDF 値を直接計算し、それらの類似性を表します。

11. Bert_Whitening: Su Jianlin によって提案された方法はトレーニングを必要とせず、各文の Bert 出力を標準正規直交基底に直接統合します。

データ拡張

1. eda: データ拡張に nlpcda ツールキットを使用します。等価実体の置換、ランダムな同義語の置換、文字のランダムな削除、位置の交換、同音異義語の置換など。

2. 逆翻訳 - Baidu: テキストの逆翻訳には Baidu 翻訳を使用します。

2. rnn_distill_bert: lstm ネットワークの層を使用して bert モデルを抽出し、ソフトラベル損失のみを追加します。

4. tiny_bert: Huawei の作品、tiny_bert の蒸留方法は、ソフトラベル損失に加えて中間層の平均二乗誤差損失を追加することです。

1. Bert_CRF_Ner: Bert モデルとシーケンスラベリングタスク用の条件付きランダムフィールド

2. Bert_Softmax_Ner: シーケンスアノテーションに bert モデルを直接使用します。

1. GRU_attention: エンコーダとデコーダは両方とも GRU ネットワークであり、共通のアテンションメカニズム (直接加重和) が中間に追加されています。

2. wobert-pretrain: wobert の事前トレーニングモデルは Su Shen によって提供され、ここでの再トレーニングのために、自分で作成した単語リストを追加し、bert の単語分割方法を変更できます。

5. QANet: これも比較的伝統的なモデルですが、rnn 構造を放棄した最初の mrc モデルでもあり、mrc タスクにセルフアテンションメカニズムを導入した最初のモデルでもあります。

5. all_layer_out_concat: 名前からわかるように、このプロジェクトは、bert スタイルモデルを通じてテキストをエンコードし、各レイヤーの cls ベクトルを取り出し、アテンション計算を実行してから分類を実行します。

12. wobert+focal_loss: wobert 事前トレーニングモデルは Su Shen によって提供され、カテゴリの不均衡の問題を解決するために焦点損失が分類タスクに追加されます。

1. bert_for_correction: これは単なる単純な試みであり、対応するコーパスで再トレーニングし、タイプミスのある文を入力し、各トークンのエンコードベクトルを分類します。

2. BiMPM: このモデルは、単語埋め込み、コンテキストエンコーディング (bilstm)、4 種類のマッチング、および集約層の 4 つの部分に分かれています。

6. SiaGRU: ツインタワー構造。GRU を使用して 2 つの文をそれぞれエンコードし、2 つの文エンコードベクトルの差を計算し、最後にこの差ベクトルを分類に使用します。