PCPM
1.0.0
P يقدم C orpus من نماذج M المعاد تدريبها. روابط لنماذج تم تدريبها مسبقًا في البرمجة اللغوية العصبية (NLP) والصوت مع نص التدريب.
مع التقدم السريع في البرمجة اللغوية العصبية (NLP)، أصبح من الأسهل البدء بمشروع التعلم الآلي الذي يتضمن النص. بدلاً من البدء برمز أساسي، يمكن للمرء الآن البدء بنموذج أساسي تم تدريبه مسبقًا وفي غضون عدد قليل من التكرارات يحصل على أداء SOTA. تم إنشاء هذا المستودع مع وجهة نظر مفادها أن النماذج المعدة مسبقًا تقلل من الجهد البشري الجماعي وتكلفة الموارد، وبالتالي تسريع التنمية في هذا المجال.
يتم تنسيق النماذج المدرجة إما لـ pytorch أو Tensorflow بسبب استخدامها على نطاق واسع.
ملحوظة: pytorch-transofmers هي مكتبة رائعة يمكن استخدامها للاستدلال/الضبط السريع للعديد من النماذج المدربة مسبقًا في البرمجة اللغوية العصبية. لم يتم تضمين النماذج المدربة مسبقًا من تلك النماذج هنا.
| اسم | وصلة | تدرب على | السيناريو التدريبي |
|---|---|---|---|
| محول XL | https://github.com/kimiyoung/transformer-xl/tree/master/tf#obtain-and-evaluate-pretrained-sota-models | enwik8 ، lm1b ، wt103 ، text8 | https://github.com/kimiyoung/transformer-xl |
| جي بي تي-2 | https://github.com/openai/gpt-2/blob/master/download_model.py | webtext | https://github.com/nshepperd/gpt-2/ |
| المدخلات التكيفية (فيرسيق) | https://github.com/pytorch/fairseq/blob/master/examples/language_model/README.md#pre-trained-models | lm1b | https://github.com/pytorch/fairseq/blob/master/examples/language_model/README.md |
| اسم | وصلة | تدرب على | السيناريو التدريبي |
|---|---|---|---|
| XLnet | https://github.com/zihangdai/xlnet/#released-models | booksCorpus + English Wikipedia + Giga5 + ClueWeb 2012-B + Common Crawl | https://github.com/zihangdai/xlnet/ |
| اسم | وصلة | تدرب على | السيناريو التدريبي |
|---|---|---|---|
| روبرتا | https://github.com/pytorch/fairseq/tree/master/examples/roberta#pre-trained-models | booksCorpus+CC-N EWS+OpenWebText+CommonCrawl-Stories | https://github.com/huggingface/transformers |
| بيرت | https://github.com/google-research/bert/ | كتبكوربوس + ويكيبيديا الإنجليزية | https://github.com/huggingface/transformers |
| MT-DNN | https://mrc.blob.core.windows.net/mt-dnn-model/mt_dnn_base.pt (https://github.com/namisan/mt-dnn/blob/master/download.sh) | غراء | https://github.com/namisan/mt-dnn |
| اسم | وصلة | تدرب على | السيناريو التدريبي |
|---|---|---|---|
| أوبن إن إم تي | http://opennmt.net/Models-py/ (pytorch) http://opennmt.net/Models-tf/ (tensorflow) | الإنجليزية الألمانية | https://github.com/OpenNMT/OpenNMT-py |
| فيرسق (موديلات متعددة) | https://github.com/pytorch/fairseq/blob/master/examples/translation/README.md#pre-trained-models | WMT14 الإنجليزية-الفرنسية، WMT16 الإنجليزية-الألمانية | https://github.com/pytorch/fairseq/blob/master/examples/translation/README.md |
| اسم | وصلة | تدرب على | السيناريو التدريبي |
|---|---|---|---|
| نفيديا اكتشاف المشاعر | https://github.com/NVIDIA/sentiment-discovery#pretrained-models | SST, imdb, Semeval-2018-tweet-emotion | https://github.com/NVIDIA/sentiment-discovery |
| مشاعر MT-DNN | https://drive.google.com/open?id=1-ld8_WpdQVDjPeYhb3AK8XYLGlZEbs-l | طائرة أسرع من الصوت | https://github.com/namisan/mt-dnn |
| رتبة | اسم | وصلة | السيناريو التدريبي |
|---|---|---|---|
| 49 | بيداف | https://s3-us-west-2.amazonaws.com/allennlp/models/bidaf-model-2017.09.15-charpad.tar.gz | https://github.com/allenai/allennlp |
نموذج لتلخيص اللغة الانجليزية
| اسم | وصلة | تدرب على | السيناريو التدريبي |
|---|---|---|---|
| أوبن إن إم تي | http://opennmt.net/Models-py/ | معيار جيجاوورد | https://github.com/OpenNMT/OpenNMT-py |
| اسم | وصلة | تدرب على | السيناريو التدريبي |
|---|---|---|---|
| نيمو كوارتزنيت | https://ngc.nvidia.com/catalog/models/nvidia:quartznet15x5 | librispeech، موزيلا، الصوت المشترك | https://github.com/NVIDIA/NeMo |
| OpenSeq2Seq-جاسبر | https://nvidia.github.io/OpenSeq2Seq/html/speech-recognition.html#models | librispeech | https://github.com/NVIDIA/OpenSeq2Seq |
| إسنيت | https://github.com/espnet/espnet#asr-results | librispeech،Aishell،HKUST،TEDLIUM2 | https://github.com/espnet/espnet |
| wav2letter++ | https://talonvoice.com/research/ | librispeech | https://github.com/facebookresearch/wav2letter |
| Deepspeech2 بيتورتش | SeanNaren/deepspeech.pytorch#299 (تعليق) | librispeech | https://github.com/SeanNaren/deepspeech.pytorch |
| الكلام العميق | https://github.com/mozilla/DeepSpeech#getting-the-pre-trained-model | موزيلا-الصوت المشترك، librispeech، فيشر، لوحة التبديل | https://github.com/mozilla/DeepSpeech |
| تحويل الكلام إلى نص wavenet | https://github.com/buriburisuri/speech-to-text-wavenet#pre-trained-models | vctk | https://github.com/buriburisuri/speech-to-text-wavenet |
| at16k | https://github.com/at16k/at16k#download-models | غير متوفر | غير متوفر |
مجموعات البيانات المشار إليها في هذه الوثيقة
http://commoncrawl.org/
تفريغ بيانات ويكيبيديا (معيار ضغط النص الكبير) http://mattmahoney.net/dc/textdata.html
نص ويكيبيديا المنظف (مقياس ضغط النص الكبير) http://mattmahoney.net/dc/textdata.html
المعيار المعياري لنموذج لغة 1 مليار كلمة https://www.statmt.org/lm-benchmark/
ويكي النص 103 https://blog.einstein.ai/the-wikitext-long-term-dependency-language-modeling-dataset/
مجموعة البيانات الأصلية لم يصدرها المؤلفون. تتوفر مجموعة مفتوحة المصدر على https://skylion007.github.io/OpenWebTextCorpus/
https://en.wikipedia.org/wiki/Wikipedia:Database_download#English-language_Wikipedia
https://yknzhu.wixsite.com/mbweb https://github.com/soskek/bookcorpus
بنك شجرة المشاعر في جامعة ستانفورد https://nlp.stanford.edu/sentiment/index.html. إحدى مهام الغراء.
مجموعة بيانات مراجعة أفلام IMDB المستخدمة لتصنيف المشاعر http://ai.stanford.edu/~amaas/data/sentiment
مجموعة بيانات Semeval 2018 للعاطفة على تويتر https://competitions.codalab.org/competitions/17751
الغراء عبارة عن مجموعة من الموارد لقياس أنظمة اللغة الطبيعية. https://gluebenchmark.com/ يحتوي على مجموعات بيانات حول الاستدلال على اللغة الطبيعية، وتصنيف المشاعر، واكتشاف إعادة الصياغة، ومطابقة التشابه، والمقبولية اللغوية.
https://pdfs.semanticscholar.org/a723/97679079439b075de815553c7b687ccfa886.pdf
www.danielpovey.com/files/2015_icassp_librispeech.pdf
https://ieeeexplore.ieee.org/document/225858/
https://github.com/mozilla/voice-web
https://datashare.is.ed.ac.uk/handle/10283/2651
بحث عالي الجودة لا يتضمن نماذج و/أو تعليمات برمجية مُدربة مسبقًا للاستخدام العام.
مبني على pytorch، أنتج allen nlp نماذج SOTA وفتحها من مصادر مفتوحة. https://github.com/allenai/allennlp/blob/master/MODELS.md
لديهم عرض توضيحي تفاعلي أنيق حول المهام المختلفة على https://demo.allennlp.org/
استنادًا إلى MXNet، تحتوي هذه المكتبة على قائمة واسعة من النماذج التي تم تدريبها مسبقًا على المهام المختلفة في البرمجة اللغوية العصبية. http://gluon-nlp.mxnet.io/master/index.html#model-zoo
