PCPM

PCPM

Mempresentasikan Kumpulan Model yang telah dilatih ulang. Tautan ke model terlatih dalam NLP dan suara dengan skrip pelatihan.

Dengan kemajuan pesat dalam NLP, mem-bootstrap proyek pembelajaran mesin yang melibatkan teks menjadi lebih mudah. Daripada memulai dengan kode dasar, kini seseorang dapat memulai dengan model dasar yang telah dilatih sebelumnya dan dalam beberapa iterasi mendapatkan performa SOTA. Penyimpanan ini dibuat dengan pandangan bahwa model yang telah dilatih sebelumnya meminimalkan upaya kolektif manusia dan biaya sumber daya, sehingga mempercepat pembangunan di lapangan.

Model yang terdaftar dikurasi untuk pytorch atau tensorflow karena penggunaannya yang luas.

Catatan: pytorch-transofmers adalah perpustakaan luar biasa yang dapat digunakan untuk menyimpulkan/menyempurnakan dengan cepat dari banyak model terlatih di NLP. Model terlatih dari model tersebut tidak disertakan di sini.

Isi

• Model teks ML
• Model ucapan ke teks
• Kumpulan data
• Aula Malu
• Model non-inggris
• Koleksi Lainnya

Teks ML

Model Bahasa

Nama	Link	Dilatih	Skenario pelatihan
Transformator-xl	https://github.com/kimiyoung/transformer-xl/tree/master/tf#obtain-and-evaluate-pretrained-sota-models	enwik8 , lm1b , wt103 , text8	https://github.com/kimiyoung/transformer-xl
GPT-2	https://github.com/openai/gpt-2/blob/master/download_model.py	webtext	https://github.com/nshepperd/gpt-2/
Masukan Adaptif (fairseq)	https://github.com/pytorch/fairseq/blob/master/examples/bahasa_model/README.md#pre-trained-models	lm1b	https://github.com/pytorch/fairseq/blob/master/examples/bahasa_model/README.md

Pemodelan bahasa permutasi Berbasis - XLNet

Nama	Link	Dilatih	Skenario pelatihan
XLnet	https://github.com/zihangdai/xlnet/#released-models	booksCorpus + English Wikipedia + Giga5 + ClueWeb 2012-B + Common Crawl	https://github.com/zihangdai/xlnet/

Berbasis Pemodelan Bahasa Bertopeng - Bert

Nama	Link	Dilatih	Skenario pelatihan
RoBERTa	https://github.com/pytorch/fairseq/tree/master/examples/roberta#pre-trained-models	booksCorpus+CC-N EWS+OpenWebText+CommonCrawl-Stories	https://github.com/huggingface/transformers
BERT	https://github.com/google-research/bert/	booksCorpus+Wikipedia Bahasa Inggris	https://github.com/huggingface/transformers
MT-DNN	https://mrc.blob.core.windows.net/mt-dnn-model/mt_dnn_base.pt (https://github.com/namisan/mt-dnn/blob/master/download.sh)	lem	https://github.com/namisan/mt-dnn

Terjemahan Mesin

Nama	Link	Dilatih	Skenario pelatihan
BukaNMT	http://opennmt.net/Models-py/ (pytorch) http://opennmt.net/Models-tf/ (tensorflow)	Inggris-Jerman	https://github.com/OpenNMT/OpenNMT-py
Fairseq (beberapa model)	https://github.com/pytorch/fairseq/blob/master/examples/translation/README.md#pre-trained-models	WMT14 Inggris-Prancis, WMT16 Inggris-Jerman	https://github.com/pytorch/fairseq/blob/master/examples/translation/README.md

Sentimen

Nama	Link	Dilatih	Skenario pelatihan
Penemuan sentimen Nvidia	https://github.com/NVIDIA/sentiment-discovery#pretrained-models	SST, imdb, Semeval-2018-tweet-emosi	https://github.com/NVIDIA/sentiment-discovery
Sentimen MT-DNN	https://drive.google.com/open?id=1-ld8_WpdQVDjPeYhb3AK8XYLGlZEbs-l	SST	https://github.com/namisan/mt-dnn

Pemahaman Membaca

SKUAT 1.1

Pangkat	Nama	Link	Skenario pelatihan
49	BiDaf	https://s3-us-west-2.amazonaws.com/allennlp/models/bidaf-model-2017.09.15-charpad.tar.gz	https://github.com/allenai/allennlp

Peringkasan

Model untuk ringkasan bahasa Inggris

Nama	Link	Dilatih	Skenario pelatihan
BukaNMT	http://opennmt.net/Models-py/	Standar gigaword	https://github.com/OpenNMT/OpenNMT-py

Pidato ke Teks

Nama	Link	Dilatih	Skenario pelatihan
NeMo-kuarsa bersih	https://ngc.nvidia.com/catalog/models/nvidia:quartznet15x5	lirispeech, mozilla-common-voice	https://github.com/NVIDIA/NeMo
OpenSeq2Seq-Jasper	https://nvidia.github.io/OpenSeq2Seq/html/speech-recognition.html#models	pidato perpustakaan	https://github.com/NVIDIA/OpenSeq2Seq
Esnet	https://github.com/espnet/espnet#asr-results	lirispeech,Aishell,HKUST,TEDLIUM2	https://github.com/espnet/espnet
wav2surat++	https://talonvoice.com/research/	pidato perpustakaan	https://github.com/facebookresearch/wav2letter
Deepspeech2 pytorch	SeanNaren/deepspeech.pytorch#299 (komentar)	pidato perpustakaan	https://github.com/SeanNaren/deepspeech.pytorch
Pidato mendalam	https://github.com/mozilla/DeepSpeech#getting-the-pre-trained-model	mozilla-common-voice, librispeech, fisher, switchboard	https://github.com/mozilla/DeepSpeech
gelombang ucapan-ke-teks	https://github.com/buriburisuri/speech-to-text-wavenet#pre-trained-models	vctk	https://github.com/buriburisuri/speech-to-text-wavenet
pada 16k	https://github.com/at16k/at16k#download-models	TIDAK	TIDAK

Kumpulan data

Kumpulan data yang direferensikan dalam dokumen ini

Data Model Bahasa

Perayapan umum

http://commoncrawl.org/

enwik8

Dump data Wikipedia (Patokan kompresi teks besar) http://mattmahoney.net/dc/textdata.html

teks8

Teks yang dibersihkan Wikipedia (Patokan kompresi teks besar) http://mattmahoney.net/dc/textdata.html

lm1b

Tolok Ukur Model Bahasa Kata 1 Miliar https://www.statmt.org/lm-benchmark/

wt103

Teks Wiki 103 https://blog.einstein.ai/the-wikitext-long-term-dependency-lingual-modeling-dataset/

teks web

Kumpulan data asli tidak dirilis oleh penulis. Koleksi sumber terbuka tersedia di https://skylion007.github.io/OpenWebTextCorpus/

Wikipedia bahasa Inggris

https://en.wikipedia.org/wiki/Wikipedia:Database_download#Bahasa-Inggris_Wikipedia

Buku Corpus

https://yknzhu.wixsite.com/mbweb https://github.com/soskek/bookcorpus

Sentimen

SST

Bank pohon sentimen Stanford https://nlp.stanford.edu/sentiment/index.html. Salah satu tugas Lem.

IMDB

Kumpulan data ulasan film IMDB digunakan untuk klasifikasi sentimen http://ai.stanford.edu/~amaas/data/sentiment

Semval 2018te

Kumpulan data emosi tweet Semeval 2018 https://competitions.codalab.org/competitions/17751

Lem

Glue adalah kumpulan sumber daya untuk membandingkan sistem bahasa alami. https://gluebenchmark.com/ Berisi kumpulan data tentang inferensi bahasa alami, klasifikasi sentimen, deteksi parafrase, pencocokan kesamaan, dan penerimaan bahasa.

Data ucapan ke teks

nelayan

https://pdfs.semanticscholar.org/a723/97679079439b075de815553c7b687ccfa886.pdf

pidato perpustakaan

www.danielpovey.com/files/2015_icassp_librispeech.pdf

papan tombol

https://ieeexplore.ieee.org/document/225858/

Suara umum Mozilla

https://github.com/mozilla/voice-web

vctk

https://datashare.is.ed.ac.uk/handle/10283/2651

Aula Malu

Penelitian berkualitas tinggi yang tidak menyertakan model dan/atau kode terlatih untuk kepentingan umum.

• KERMIT https://arxiv.org/abs/1906.01604 Pemodelan Berbasis Penyisipan Generatif untuk Urutan. Tidak ada kode.

Bukan Bahasa Inggris

Koleksi Lainnya

Allen NLP

Dibangun di atas pytorch, allen nlp telah memproduksi model SOTA dan menjadikannya sumber terbuka. https://github.com/allenai/allennlp/blob/master/MODELS.md

Mereka memiliki demo interaktif yang rapi tentang berbagai tugas di https://demo.allennlp.org/

GluonNLP

Berdasarkan MXNet, perpustakaan ini memiliki daftar lengkap model terlatih pada berbagai tugas di NLP. http://gluon-nlp.mxnet.io/master/index.html#model-zoo