NLP_pytorch_project

يلاحظ

نظرًا لوجود عدد كبير جدًا من المشاريع في هذا المستودع حاليًا، فمن الصعب صيانته. لذلك، سيتم فصل المهام المختلفة في المستقبل، وسيتم إنشاء المستودعات بشكل منفصل، وسيتم إجراء العديد من التجارب المقارنة لتسهيل اختيار النماذج للمستخدمين. إذا لزم الأمر، يمكنك الانتقال إلى المستودع المحدد، الرابط هو كما يلي:

• مستودع تصنيف النص
• مستودع المطابقة الدلالية
• مستودع توليد النص
• تعمل المستودعات الأخرى على تسريع التحديثات...

جدول المحتويات

• روبوت الدردشة
  • 1. Bert_chatbot: مشابه لـ UniLM
  • 2.seq2seq_luong: جهاز التشفير عبارة عن شبكة gru ذات طبقتين، ووحدة فك التشفير عبارة عن شبكة gru ذات طبقة واحدة، ويتم إضافة انتباه Luong بين جهاز التشفير ووحدة فك التشفير.
  • 3. Transformer_chatbot: نموذج المحول القياسي
• التقطير
  • 1. DynaBert: يستخدم عمل Huawei بشكل أساسي التقليم لقطع هياكل معينة من bert.
  • 2.rnn_distill_bert: استخدم طبقة من شبكة lstm لتقطير نموذج bert، وأضف فقط فقدان التسمية الناعمة.
  • 3. three_layer_self-attention_to_distill_bert: ربما تعرف ما يعنيه من خلال النظر إلى الاسم، فهو يكتب فقط مشفر المحول ثلاثي الطبقات، ثم يقطر نموذج بيرت.
  • 4. tiny_bert: من عمل شركة Huawei، تتمثل طريقة التقطير الخاصة بـ tiny_bert في إضافة متوسط ​​خسارة الخطأ المربع للطبقة الوسطى بالإضافة إلى خسارة التسمية الناعمة.
• التضمين
  • 1. Skipgram-word2vec: استخدم Skipgram للحصول على ناقلات الكلمات
  • 2. bert: قم بتدريب bert مباشرةً، أو تدرب من الصفر، أو استخدم هذا الرمز لإعادة التدريب
  • 3. ألبرت: قم بتدريب ألبرت مباشرة وتدرب من الصفر، ويمكنك أيضًا استخدام هذا الرمز لإعادة التدريب.
  • 4. NPLM: النهج التقليدي
• نر
  • 1. Bert_CRF_Ner: نموذج بيرت بالإضافة إلى الحقل العشوائي المشروط لمهام وضع العلامات التسلسلية
  • 2. Bert_Softmax_Ner: استخدم نموذج bert مباشرة للتعليق التوضيحي للتسلسل
  • 3. BiLSTM_CRF_Ner: استخدم شبكة lstm وcrf ثنائية الاتجاه لمهام وضع العلامات التسلسلية
• إن إم تي
  • 1. GRU_attention: المشفر ووحدة فك التشفير كلاهما شبكتان gru، مع إضافة آلية اهتمام مشتركة (المجموع المرجح المباشر) في المنتصف.
  • 2. Transformers_NMT: هيكل المحول القياسي للترجمة الآلية
• نموذج التدريب المسبق
  • 1. bert-pretrain: لإعادة تدريب نموذج bert، قم أولاً بإجراء المعالجة المسبقة للبيانات من خلال get_train_data.py، بما في ذلك 15% من الكلمات الخاصة بالقناع والعمليات الأخرى، ثم قم بالتدريب.
  • 2. wobert-pretrain: تم تقديم نموذج التدريب المسبق لـ wobert بواسطة Su Shen لإعادة التدريب هنا، يمكنك إضافة قائمة الكلمات التي أنشأتها بنفسك، ثم تعديل طريقة تجزئة الكلمات لـ bert.
• القراءة_الفهم
  • 1. BERT_MRC: استخدم bert للقيام بمهام فهم القراءة الآلية. ومن المتوقع أن يتم اعتماد طريقة المرحلة المباشرة هنا.
  • 2. BiDAF: نموذج فهم القراءة الآلية مع آلية تدفق الانتباه ثنائية الاتجاه
  • 3. DocQA: النموذج التقليدي
  • 4. Match_LSTM: نموذج تقليدي، بنية RNN بسيطة.
  • 5. QANet: إنه أيضًا نموذج تقليدي نسبيًا، لكن هذا النموذج هو أول نموذج mrc يتخلى عن بنية rnn. هذا النموذج هو أيضًا أول نموذج يقدم آلية الاهتمام الذاتي في مهمة mrc.
  • 6. RNet: النموذج التقليدي
  • 7. تكرار-نقطة الاتصال-خط الأساس: لأول مرة، تم إنشاء مشكلة استخدام بنية RNN للتعامل مع المنطق متعدد القفزات في مجموعة بيانات hotpotqa، بالإضافة إلى التنبؤات التي تحتوي على الإجابات، هناك أيضًا تنبؤات بالحقائق الداعمة والتنبؤات بالفقرات ذات الصلة.
  • 8.albert_mrc: استخدم نموذج ألبرت المُدرب مسبقًا للقيام بمهام MRC
  • 9.lectra_bert: استخدم نموذج إليكترا المُدرب مسبقًا للقيام بمهام MRC
  • 10.mrc_baseline: إذا كنت تقوم بمهام mrc، فمن المستحسن قراءة هذا الرمز أولاً، فهو يحتوي على تفاصيل مختلفة ينتبه إليها mrc، مثل معالجة النص الطويلة (النافذة المنزلقة)، وفرز الإجابات، والتدريب على الخصومة، وما إلى ذلك.
  • 11. roberta_mrc: استخدم نموذج roberta المدرب مسبقًا للقيام بمهام mrc
  • 12. محول + rnn + انتباه: هذا المشروع مخصص لفهم القراءة التوليدية، وذلك باستخدام طريقة seq2seq مباشرة. يستخدم التشفير تشفير المحول، ويستخدم فك التشفير بنية gru، ويتم إضافة طبقة من الاهتمام العادي في المنتصف آلية.
  • 13. Transformer_reading: هذا المشروع يدور أيضًا حول الفهم القرائي التوليدي، باستخدام بنية المحولات القياسية.
• Slot_Filling
  • 1. جوينت بيرت: يتضمن تصنيف النوايا وتصنيف الفتحات. استخدم bert مباشرة لتشفير المدخلات واستخدم ناقلات "CLS" لتصنيف النوايا. يتم استخدام متجه التشفير النهائي لكل رمز مميز لتصنيف الفتحة.
• تصنيف_النص
  • 1. DPCNN: الشبكة التلافيفية العميقة + الاتصال المتبقي تجعل هذا النموذج أفضل من هياكل CNN السابقة، كما أن تعقيده ليس مرتفعًا.
  • 2. FastBert: يستخدم طريقة التقطير الذاتي لتسريع عملية التفكير النموذجي. تستخدم بشكل رئيسي في مهام التصنيف.
  • 3. FastText: مقترح من Facebook، وهو نموذج فعال لتصنيف النص.
  • 4. XLNet: 1) تعلم المعلومات السياقية ثنائية الاتجاه من خلال تعظيم احتمالية السجل لجميع أوامر التحليل الممكنة؛ 2) استخدام خصائص الانحدار الذاتي نفسه للتغلب على أوجه القصور في BERT. بالإضافة إلى ذلك، يتضمن XLNet أيضًا أفكار نموذج الانحدار الذاتي الأمثل الحالي Transformer-XL.
  • 5.all_layer_out_concat: كما ترون من الاسم، يقوم هذا المشروع بتشفير النص من خلال نموذج نمط bert، ثم يقوم بإخراج متجه cls لكل طبقة، وإجراء حساب الاهتمام، ثم إجراء التصنيف.
  • 6. bert+bceloss+average_checkpoint: يقوم هذا المشروع بتغيير وظيفة الخسارة لمهمة التصنيف إلى BCELoss بالإضافة إلى متوسط ​​الوزن المضاف (متوسط ​​نقاط التفتيش المتعددة).
  • 7. Capsule_text_classification: GRU+Capsule لتصنيف النص
  • 8. longformer_classification: استخدم نموذج longformer المدرب مسبقًا لتصنيف النص. لتصنيف النصوص الطويلة، يمكنك تجربة هذا النموذج.
  • 9. multi_label_classify_bert: استخدم نموذج bert للتصنيف متعدد الملصقات. يحتوي على ثلاثة نماذج: bert (model.py)، وآخر طبقتين من التجميع لـ bert (model2.py)، وbert+TextCNN (model3.py).
  • 10. roberta_classification: استخدم نموذج roberta المُدرب مسبقًا لتصنيف النص.
  • 11. Transformer_xl: استخدم Transformer_xl مباشرة لتصنيف النص، يمكنك تجربة هذا النموذج.
  • 12. wobert+focal_loss: يتم توفير نموذج wobert للتدريب المسبق بواسطة Su Shen، ويتم إضافة فقدان التركيز إلى مهمة التصنيف لحل مشكلة عدم توازن الفئة.
  • 13. TextCNN: قم بدمج النص بمقاييس مختلفة ثم قم بتسلسله لتصنيف النص.
  • 14. BILSTM+Attention: شبكة LSTM ثنائية الاتجاه بالإضافة إلى الاهتمام العادي لتصنيف النص.
• Text_Clustering
  • 1. تجميع LDA
  • 2.DBSCAN
  • 3. كيمينز
• Text_Corrector
  • 1. bert_for_correction: إنها مجرد محاولة بسيطة، وإعادة التدريب على المجموعة المقابلة، وإدخال جملة بها أخطاء مطبعية، ثم تصنيف متجه التشفير لكل رمز مميز.
• Text_Generation
  • 1.GPT2_SummaryGen: استخدم GPT2 لإنشاء الملخص
  • 2.GPT2_TitleGen: إنشاء عناوين المقالات
  • 3. Simple-GPT2: نموذج GPT2 المطبق ذاتيًا
• Text_Ranking
  • 1. BM25: احسب قيمة BM25 للاستعلام وجميع النصوص المراد فرزها، ثم قم بالفرز بناءً على هذه القيمة.
  • 2. تصنيف DC_Bert: البرجين التوأمين + التفاعل. أولاً، يتم ترميز الاستعلام والسياق بشكل منفصل، ولا يتم مشاركة الأوزان هنا، ثم يتم خلط ترميز الاستعلام والسياق، ثم يتم تمريره عبر عدة طبقات من محول التشفير التفاعلي.
  • 3. DPR_Ranking: نموذج ترتيب النص في فيسبوك
  • 4. MT_Ranking: استخدم نموذج bert-style للتشفير، ثم استخدم cls للتصنيف، وقم بالفرز حسب درجة العينة الإيجابية
  • 5. إعادة الترتيب: بما في ذلك تقطير النموذج
• Text_Similarity
  • 1. ABCNN: قم أولاً بإجراء تضمين الكلمات على الجملتين، ثم قم بإجراء التجميع للحصول على متجهات الجملتين، ثم احسب الفرق بين المتجهين، وأخيرًا قم بإجراء الالتفاف على متجه الفرق بمقاييس مختلفة، ثم قم بالتصنيف.
  • 2. BiMPM: ينقسم هذا النموذج إلى أربعة أجزاء: تضمين الكلمات، وترميز السياق (bilstm)، وأربعة أنواع من المطابقة، وطبقة التجميع.
  • 3. الانتباه القابل للتحلل: جوهر هذا البحث هو المحاذاة، أي التطابق بين الكلمات، ويستخدم المحاذاة في المقالة في مكانين أحدهما هو جزء الحضور، والذي يستخدم لحساب علاقة الانتباه بين الجملتين والآخر هو في جزء المقارنة، تتم مقارنة الكلمات بين الجملتين وتعتمد كل معالجة على الكلمات، وأخيرًا يتم استخدام شبكة عصبية ذات تغذية للأمام لإجراء التنبؤات. ومن الواضح أن النموذج المذكور في هذا المقال لا يستخدم العلاقة الزمنية للكلمات في الجملة، بل يؤكد على التطابق بين الكلمات في الجملتين (المحاذاة).
  • 4. ESIM: أداة مطابقة النص القصير. إن الشيء العظيم في ESIM هو الاهتمام بين الجمل، وهو soft_align_attention في الكود. في هذه الخطوة، يتم التفاعل بين الجملتين المراد مقارنتهما. في الهياكل السابقة المشابهة للشبكات السيامية، لم يكن هناك في كثير من الأحيان أي تفاعل في الوسط، ولم يتم العثور إلا على مسافة جيب التمام أو مسافة أخرى في الطبقة الأخيرة.
  • 5. RE2: يأتي اسم RE2 من مزيج من ثلاثة أجزاء مهمة من الشبكة: ناقلات التضمين؛
  • 6. SiaGRU: هيكل البرج المزدوج، استخدم GRU لتشفير جملتين على التوالي، ثم احسب الفرق بين متجهي ترميز الجملة، وأخيرًا استخدم متجه الفرق هذا للتصنيف.
  • 7. SimCSE: التعلم المقارن، المهارات: عينات مختلفة، تسربات مختلفة
  • 8. BM25: حساب قيمة BM25 مباشرة لنصين، مما يمثل درجة التشابه بينهما.
  • 9. TF_IDF: قم بحساب قيمة TF_IDF مباشرة للنصين، مما يمثل التشابه بينهما.
  • 10. NEZHA_Coattention: يعتمد هيكل البرج المزدوج، يتم إدخال جملتين في نموذج NEZHA على التوالي، ثم يتم تمييز الإدخال وربطه بالتمثيل الأصلي، ثم إرساله إلى شبكة متصلة بالكامل للتصنيف. وهناك نموذج آخر، وهو أنه بعد الحصول على تمثيل الجملتين، نقوم بتنفيذ طبقة من محول التشفير لدمج معلومات التمثيل، وتصنيفها في النهاية.
  • 11. Bert_Whitening: الطريقة التي اقترحها Su Jianlin لا تتطلب تدريبًا وتوحد بشكل مباشر مخرجات bert لكل جملة على الأساس المعياري القياسي.
• data_augmentation
  • 1.eda: استخدم مجموعة أدوات nlpcda لزيادة البيانات. مثل: استبدال الكيان المكافئ، استبدال المرادفات العشوائية، الحذف العشوائي للأحرف، تبادل الموضع، استبدال المتجانسة.
  • 2. الترجمة الخلفية-Baidu: استخدم Baidu Translate للترجمة الخلفية للنص.
  • 3. Back-translation-google: استخدم ترجمة Google للترجمة الخلفية للنص.
• Relation_extraction
  • 1. lstm_cnn_information_extract: lstm+cnn
  • 2. تصنيف العلاقات: تصنيف العلاقات، بيلستم + الاهتمام العادي

NLP_pytorch_project

روبوت الدردشة

1. Bert_chatbot: مشابه لـ UniLM

• بيثون Train.py # رمز التدريب
• python infernece.py # الاستدلال النموذجي

2.seq2seq_luong: جهاز التشفير عبارة عن شبكة gru ذات طبقتين، ووحدة فك التشفير عبارة عن شبكة gru ذات طبقة واحدة، ويتم إضافة انتباه Luong بين جهاز التشفير ووحدة فك التشفير.

• بيثون Train.py # رمز التدريب
• python inference.py # الاستدلال النموذجي

3. Transformer_chatbot: نموذج المحول القياسي

• بيثون Train.py # رمز التدريب
• python chat.py # بيانات التدريب التي يمكن استخدامها للدردشة هي مادة حوار Qingyun.

التقطير

1. DynaBert: يستخدم عمل Huawei بشكل أساسي التقليم لقطع هياكل معينة من bert.

• python Train_teacher_model.py # نموذج تدريب المعلم
• python Train_tailor_model.py # تقليم نموذج المعلم

2.rnn_distill_bert: استخدم طبقة من شبكة lstm لتقطير نموذج bert، وأضف فقط فقدان التسمية الناعمة.

• python Train_bert.py # نموذج تدريب المعلم bert
• python Train_distill.py # يستخدم التقطير lstm لمعرفة مخرجات bert

3. three_layer_self-attention_to_distill_bert: ربما تعرف ما يعنيه من خلال النظر إلى الاسم، فهو يكتب فقط مشفر المحول ثلاثي الطبقات، ثم يقطر نموذج بيرت.

• python Train_bert.py # نموذج تدريب المعلم bert
• بيثون Train_distill.py # التقطير

4. tiny_bert: من عمل شركة Huawei، تتمثل طريقة التقطير الخاصة بـ tiny_bert في إضافة متوسط ​​خسارة الخطأ المربع للطبقة الوسطى بالإضافة إلى خسارة التسمية الناعمة.

• python Train.py # نموذج تدريب المعلم بيرت
• بايثون Train_distill_v2.py # التقطير

التضمين

1. Skipgram-word2vec: استخدم Skipgram للحصول على ناقلات الكلمات

• بيثون 001-تخطي-word2vec.py

2. bert: قم بتدريب bert مباشرةً، أو تدرب من الصفر، أو استخدم هذا الرمز لإعادة التدريب

• بيثون 002-bert.py

3. ألبرت: قم بتدريب ألبرت مباشرة وتدرب من البداية، ويمكنك أيضًا استخدام هذا الرمز لإعادة التدريب.

• بيثون 003-albert.py

4. NPLM: النهج التقليدي

• بيثون004-NPLM.py

نر

1. Bert_CRF_Ner: نموذج بيرت بالإضافة إلى الحقل العشوائي المشروط لمهام وضع العلامات التسلسلية

• python run_ner_crf.py # نموذج التدريب
• python inference.py # الاستدلال النموذجي

2. Bert_Softmax_Ner: استخدم نموذج bert مباشرة للتعليق التوضيحي للتسلسل

• بيثون Train.py # نموذج التدريب
• python inference.py # الاستدلال النموذجي

3. BiLSTM_CRF_Ner: استخدم شبكة lstm وcrf ثنائية الاتجاه لمهام وضع العلامات التسلسلية

• بيثون Train.py # نموذج التدريب

إن إم تي

1. GRU_attention: المشفر ووحدة فك التشفير كلاهما شبكتان gru، مع إضافة آلية اهتمام مشتركة (المجموع المرجح المباشر) في المنتصف.

• بيثون Train.py # نموذج التدريب

2. Transformers_NMT: هيكل المحول القياسي للترجمة الآلية

• بيثون Train.py # نموذج التدريب

نموذج التدريب المسبق

1. bert-pretrain: لإعادة تدريب نموذج bert، قم أولاً بإجراء المعالجة المسبقة للبيانات من خلال get_train_data.py، بما في ذلك 15% من الكلمات الخاصة بالقناع والعمليات الأخرى، ثم قم بالتدريب.

• python get_train_data.py # المعالجة المسبقة للبيانات
• بيثون run_pretrain.py # إعادة التدريب

2. wobert-pretrain: تم تقديم نموذج التدريب المسبق لـ wobert بواسطة Su Shen لإعادة التدريب هنا، يمكنك إضافة قائمة الكلمات التي أنشأتها بنفسك، ثم تعديل طريقة تجزئة الكلمات لـ bert.

• pythonprocess_pretrain_data.py # المعالجة المسبقة للبيانات
• بيثون run_pretrain.py # إعادة التدريب

القراءة_الفهم

1. BERT_MRC: استخدم bert للقيام بمهام فهم القراءة الآلية. ومن المتوقع أن يتم اعتماد طريقة المرحلة المباشرة هنا.

• بيثون Train.py # نموذج التدريب

2. BiDAF: نموذج فهم القراءة الآلية مع آلية تدفق الانتباه ثنائية الاتجاه

• python data_process.py # قم أولاً بمعالجة البيانات مسبقًا
• python Train_bidaf.py # نموذج التدريب

3. DocQA: النموذج التقليدي

• python data_process.py # قم أولاً بمعالجة البيانات مسبقًا
• python Train_DocQA.py # نموذج التدريب

4. Match_LSTM: نموذج تقليدي، هيكل RNN بسيط.

• python data_process.py # قم أولاً بمعالجة البيانات مسبقًا
• python Train_Match_Lstm.py # تدريب النموذج

5. QANet: إنه أيضًا نموذج تقليدي نسبيًا، لكن هذا النموذج هو أول نموذج mrc يتخلى عن بنية rnn. هذا النموذج هو أيضًا أول نموذج يقدم آلية الاهتمام الذاتي في مهمة mrc.

• python data_process.py # المعالجة المسبقة للبيانات
• بيثون Train.py # نموذج التدريب

6. RNet: النموذج التقليدي

• python data_process.py # المعالجة المسبقة للبيانات
• python Train_RNet.py # نموذج التدريب

7. تكرار-نقطة الاتصال-خط الأساس: لأول مرة، تم إنشاء مشكلة استخدام بنية RNN للتعامل مع المنطق متعدد القفزات في مجموعة بيانات hotpotqa، بالإضافة إلى التنبؤات التي تحتوي على الإجابات، هناك أيضًا تنبؤات بالحقائق الداعمة والتنبؤات بالفقرات ذات الصلة.

• python data_process.py # المعالجة المسبقة للبيانات
• بيثون Train.py # نموذج التدريب

8.albert_mrc: استخدم نموذج ألبرت المُدرب مسبقًا للقيام بمهام MRC

• python Train_update.py # نموذج التدريب
• python inference.py #Inference على قطعة واحدة من البيانات
• python inference_all.py #Inference لجميع البيانات

9.lectra_bert: استخدم نموذج إليكترا المُدرب مسبقًا للقيام بمهام MRC

• python run_cail.py # نموذج التدريب
• بيثون تقييم.py # تقييم النموذج

10.mrc_baseline: إذا كنت تقوم بمهام mrc، فمن المستحسن قراءة هذا الرمز أولاً، فهو يحتوي على تفاصيل مختلفة ينتبه إليها mrc، مثل معالجة النص الطويلة (النافذة المنزلقة)، وفرز الإجابات، والتدريب على الخصومة، وما إلى ذلك.

• بيثون Train.py # نموذج القطار

11. roberta_mrc: استخدم نموذج roberta المدرب مسبقًا للقيام بمهام mrc

• بيثون Train.py # نموذج القطار

12. محول + rnn + انتباه: هذا المشروع مخصص لفهم القراءة التوليدية، وذلك باستخدام طريقة seq2seq مباشرة. يستخدم التشفير تشفير المحول، ويستخدم فك التشفير بنية gru، ويتم إضافة طبقة من الاهتمام العادي في المنتصف آلية.

• بيثون Train.py # نموذج التدريب
• python inference.py # الاستدلال النموذجي

13. Transformer_reading: هذا المشروع يدور أيضًا حول الفهم القرائي التوليدي، باستخدام بنية المحولات القياسية.

• بيثون Train.py # نموذج التدريب
• python inference.py # الاستدلال النموذجي

Slot_Filling

1. جوينت بيرت: يتضمن تصنيف النوايا وتصنيف الفتحات. استخدم bert مباشرة لتشفير المدخلات واستخدم ناقلات "CLS" لتصنيف النوايا. يتم استخدام متجه التشفير النهائي لكل رمز مميز لتصنيف الفتحة.

• python Train.py # تدريب النموذج

تصنيف_النص

1. DPCNN: الشبكة التلافيفية العميقة + الاتصال المتبقي تجعل هذا النموذج أفضل من هياكل CNN السابقة، كما أن تعقيده ليس مرتفعًا.

• python get_data_to_examples.py # بيانات المعالجة المسبقة
• python example_to_features.py # تحويل الأمثلة المقابلة إلى ميزات
• بيثون Train.py # نموذج التدريب

2. FastBert: يستخدم طريقة التقطير الذاتي لتسريع عملية التفكير النموذجي. تستخدم بشكل رئيسي في مهام التصنيف.

• sh Train_stage0.sh # نموذج تدريب المعلم بيرت
• sh Train_stage1.sh # التقطير الذاتي
• sh infer_sigle.sh # عينة واحدة للاستدلال التكيفي

3. FastText: مقترح من Facebook، وهو نموذج فعال لتصنيف النص.

• python step1_get_data_to_examples.py # احصل على البيانات
• python step2_examples_to_features.py # تحويل البيانات النصية إلى تسلسل معرف
• بيثون Train.py # نموذج التدريب

4. XLNet: 1) تعلم المعلومات السياقية ثنائية الاتجاه من خلال تعظيم احتمالية السجل لجميع أوامر التحليل الممكنة؛ 2) استخدام خصائص الانحدار الذاتي نفسه للتغلب على أوجه القصور في BERT. بالإضافة إلى ذلك، يتضمن XLNet أيضًا أفكار نموذج الانحدار الذاتي الأمثل الحالي Transformer-XL.

• بيثون Train.py # نموذج التدريب

5.all_layer_out_concat: كما ترون من الاسم، يقوم هذا المشروع بتشفير النص من خلال نموذج نمط bert، ثم يقوم بإخراج متجه cls لكل طبقة، وإجراء حساب الاهتمام، ثم إجراء التصنيف.

• بيثون Train.py # نموذج التدريب
• بايثون الاستدلال.py # الاستدلال النموذجي

6. bert+bceloss+average_checkpoint: يقوم هذا المشروع بتغيير وظيفة الخسارة لمهمة التصنيف إلى BCELoss بالإضافة إلى متوسط ​​الوزن المضاف (متوسط ​​نقاط التفتيش المتعددة).

• python run_classify.py # التدريب النموذجي
• بيثون run_average_checkpoints.py # متوسط ​​الوزن

7. Capsule_text_classification: GRU+Capsule لتصنيف النص

• بيثون Train.py # نموذج التدريب

8. longformer_classification: استخدم نموذج longformer المدرب مسبقًا لتصنيف النص. لتصنيف النصوص الطويلة، يمكنك تجربة هذا النموذج.

• بيثون Train.py # نموذج التدريب

9. multi_label_classify_bert: استخدم نموذج bert للتصنيف متعدد الملصقات. يحتوي على ثلاثة نماذج: bert (model.py)، وآخر طبقتين من التجميع لـ bert (model2.py)، وbert+TextCNN (model3.py).

• بيثون Train.py # نموذج التدريب
• python inference.py # التنبؤ بالنموذج

10. roberta_classification: استخدم نموذج roberta المُدرب مسبقًا لتصنيف النص.

• بيثون Train.py # نموذج التدريب

11. Transformer_xl: استخدم Transformer_xl مباشرة لتصنيف النص، يمكنك تجربة هذا النموذج.

• بيثون Train.py # نموذج التدريب

12. wobert+focal_loss: يتم توفير نموذج wobert للتدريب المسبق بواسطة Su Shen، ويتم إضافة فقدان التركيز إلى مهمة التصنيف لحل مشكلة عدم توازن الفئة.

• python run_classify.py # التدريب النموذجي

13. TextCNN: قم بدمج النص بمقاييس مختلفة ثم قم بتسلسله لتصنيف النص.

• python 001-TextCNN.py # تدريب النموذج

14. BILSTM+Attention: شبكة LSTM ثنائية الاتجاه بالإضافة إلى الاهتمام العادي لتصنيف النص.

• python 002-BILSTM+Attention.py # نموذج التدريب

Text_Clustering

1. تجميع LDA

• بيثون Train_LDA_cluster.py # التجميع

2.DBSCAN

• python Train_dbscan_cluster.py # التجميع

3. كيمينز

• python Train_kmeans_cluster.py # التجميع

Text_Corrector

1. bert_for_correction: إنها مجرد محاولة بسيطة، وإعادة التدريب على المجموعة المقابلة، وإدخال جملة بها أخطاء مطبعية، ثم تصنيف متجه التشفير لكل رمز مميز.

• بيثون run_pretrain_bert.py # إعادة التدريب
• bert_corrector.py # تصحيح الخطأ

Text_Generation

1.GPT2_SummaryGen: استخدم GPT2 لإنشاء الملخص

• بيثون Train.py # نموذج التدريب
• بيثون inferface.py # الاستدلال النموذجي

2.GPT2_TitleGen: إنشاء عناوين المقالات

• بيثون Train.py # نموذج التدريب
• python inference.py # الاستدلال النموذجي

3. Simple-GPT2: نموذج GPT2 المطبق ذاتيًا

• بيثون Train.py # نموذج التدريب
• python inference.py # الاستدلال النموذجي

Text_Ranking

1. BM25: احسب قيمة BM25 للاستعلام وجميع النصوص المراد فرزها، ثم قم بالفرز بناءً على هذه القيمة.

• بيثون main.py # فرز

2. تصنيف DC_Bert: البرجين التوأمين + التفاعل. أولاً، يتم ترميز الاستعلام والسياق بشكل منفصل، ولا يتم مشاركة الأوزان هنا، ثم يتم خلط ترميز الاستعلام والسياق، ثم يتم تمريره عبر عدة طبقات من محول التشفير التفاعلي.

• بيثون Train.py # نموذج التدريب
• python inference.py # الاستدلال النموذجي

3. DPR_Ranking: نموذج ترتيب النص في فيسبوك

• بيثون Train.py # نموذج التدريب

4. MT_Ranking: استخدم نموذج bert-style للتشفير، ثم استخدم cls للتصنيف، وقم بالفرز حسب درجة العينة الإيجابية

• بيثون Train.py # نموذج التدريب
• python inference.py # الاستدلال النموذجي

5. إعادة الترتيب: بما في ذلك تقطير النموذج

• بيثون Train.py # نموذج التدريب
• python Train_distill.py # نموذج التقطير

Text_Similarity

1. ABCNN: قم أولاً بإجراء تضمين الكلمات على الجملتين، ثم قم بإجراء التجميع للحصول على متجهات الجملتين، ثم احسب الفرق بين المتجهين، وأخيرًا قم بإجراء الالتفاف على متجه الفرق بمقاييس مختلفة، ثم قم بالتصنيف.

• بيثون Train.py # نموذج التدريب

2. BiMPM: ينقسم هذا النموذج إلى أربعة أجزاء: تضمين الكلمات، وترميز السياق (bilstm)، وأربعة أنواع من المطابقة، وطبقة التجميع.

• بيثون Train.py # نموذج التدريب

3. الانتباه القابل للتحلل: جوهر هذا البحث هو المحاذاة، أي التطابق بين الكلمات، ويستخدم المحاذاة في المقالة في مكانين أحدهما هو جزء الحضور، والذي يستخدم لحساب علاقة الانتباه بين الجملتين والآخر هو في جزء المقارنة، تتم مقارنة الكلمات بين الجملتين وتعتمد كل معالجة على الكلمات، وأخيرًا يتم استخدام شبكة عصبية ذات تغذية للأمام لإجراء التنبؤات. ومن الواضح أن النموذج المذكور في هذا المقال لا يستخدم العلاقة الزمنية للكلمات في الجملة، بل يؤكد على التطابق بين الكلمات في الجملتين (المحاذاة).

• بيثون Train.py # نموذج التدريب

4. ESIM: أداة مطابقة النص القصير. إن الشيء العظيم في ESIM هو الاهتمام بين الجمل، وهو soft_align_attention في الكود. في هذه الخطوة، يتم التفاعل بين الجملتين المراد مقارنتهما. في الهياكل السابقة المشابهة للشبكات السيامية، لم يكن هناك في كثير من الأحيان أي تفاعل في الوسط، ولم يتم العثور إلا على مسافة جيب التمام أو مسافة أخرى في الطبقة الأخيرة.

• بيثون Train.py # نموذج التدريب

5. RE2: يأتي اسم RE2 من مزيج من ثلاثة أجزاء مهمة من الشبكة: ناقلات التضمين؛

• بيثون Train.py # نموذج التدريب

6. SiaGRU: هيكل البرج المزدوج، استخدم GRU لتشفير جملتين على التوالي، ثم احسب الفرق بين متجهي ترميز الجملة، وأخيرًا استخدم متجه الفرق هذا للتصنيف.

• بيثون Train.py # نموذج التدريب

7. SimCSE: التعلم المقارن، المهارات: عينات مختلفة، تسربات مختلفة

• بيثون Train.py # نموذج التدريب

8. BM25: حساب قيمة BM25 مباشرة لنصين، مما يمثل درجة التشابه بينهما.

• بيثونBM25.py

9. TF_IDF: قم بحساب قيمة TF_IDF مباشرة للنصين، مما يمثل التشابه بينهما.

• pythonTF_IDF.py

10. NEZHA_Coattention: يعتمد هيكل البرج المزدوج، يتم إدخال جملتين في نموذج NEZHA على التوالي، ثم يتم تمييز الإدخال وربطه بالتمثيل الأصلي، ثم إرساله إلى شبكة متصلة بالكامل للتصنيف. وهناك نموذج آخر، وهو أنه بعد الحصول على تمثيل الجملتين، نقوم بتنفيذ طبقة من محول التشفير لدمج معلومات التمثيل، وتصنيفها في النهاية.

• pythontrain.py

11. Bert_Whitening: الطريقة التي اقترحها Su Jianlin لا تتطلب تدريبًا وتوحد بشكل مباشر مخرجات bert لكل جملة على الأساس المعياري القياسي.

• python run_bert_whitening.py # تحقق مباشرة من مجموعة البيانات واحسب معامل سبيرمان

data_augmentation

1.eda: استخدم مجموعة أدوات nlpcda لزيادة البيانات. مثل: استبدال الكيان المكافئ، استبدال المرادفات العشوائية، الحذف العشوائي للأحرف، تبادل الموضع، استبدال المتجانسة.

• بيثون 001-run_eda.py

2. الترجمة الخلفية-Baidu: استخدم Baidu Translate للترجمة الخلفية للنص.

• بيثون 002-run_contrslate_data_aug.py

3. Back-translation-google: استخدم ترجمة Google للترجمة الخلفية للنص.

• بيثون 003-google_trans_data_aug.py

Relation_extraction

1. lstm_cnn_information_extract: lstm+cnn

• بيثون Train.py # نموذج التدريب
• python inference.py # الاستدلال النموذجي

2. تصنيف العلاقات: تصنيف العلاقات، بيلستم + الاهتمام العادي

• python data_helper.py # المعالجة المسبقة للبيانات
• بيثون Train.py # نموذج التدريب

تاريخ النجوم