gpt 2

Status: Arsip (kode disediakan apa adanya, tidak ada pembaruan yang diharapkan)

gpt-2

Kode dan model dari makalah "Model Bahasa adalah Pembelajar Multitask Tanpa Pengawasan".

Anda dapat membaca tentang GPT-2 dan rilis bertahapnya di postingan blog asli kami, postingan tindak lanjut 6 bulan, dan postingan terakhir.

Kami juga telah merilis kumpulan data bagi para peneliti untuk mempelajari perilaku mereka.

^* Perhatikan bahwa jumlah parameter asli kami salah karena kesalahan (dalam postingan blog dan makalah kami sebelumnya). Jadi, Anda mungkin pernah melihat yang kecil disebut 117M dan sedang disebut 345M.

Penggunaan

Repositori ini dimaksudkan sebagai titik awal bagi para peneliti dan insinyur untuk bereksperimen dengan GPT-2.

Untuk informasi dasar, lihat kartu model kami.

Beberapa peringatan

• Ketahanan dan perilaku terburuk model GPT-2 belum dipahami dengan baik. Seperti halnya model pembelajaran mesin lainnya, evaluasi GPT-2 dengan cermat untuk kasus penggunaan Anda, terutama jika digunakan tanpa penyesuaian atau dalam aplikasi yang mengutamakan keselamatan yang mengutamakan keandalan.
• Kumpulan data tempat model GPT-2 kami dilatih berisi banyak teks yang mengandung bias dan ketidakakuratan faktual, sehingga model GPT-2 juga cenderung bias dan tidak akurat.
• Untuk menghindari kesalahan sampel sebagai hasil tulisan manusia, kami menyarankan untuk memberi label yang jelas pada sampel sebagai sampel sintetis sebelum disebarluaskan secara luas. Model kita sering kali tidak koheren atau tidak akurat dalam beberapa hal, sehingga memerlukan lebih dari sekadar membaca sekilas agar manusia bisa menyadarinya.

Bekerja dengan kami

Harap beri tahu kami jika Anda sedang melakukan penelitian menarik atau mengerjakan aplikasi GPT-2! Kami khususnya tertarik untuk mendengar dan berpotensi bekerja dengan mereka yang sedang belajar

• Potensi kasus penggunaan berbahaya dan pertahanan terhadapnya (misalnya teks sintetis dapat dideteksi)
• Sejauh mana konten bermasalah (misalnya bias) dimasukkan ke dalam model dan mitigasi yang efektif

Perkembangan

Lihat DEVELOPER.md

Kontributor

Lihat KONTRIBUTOR.md

Kutipan

Silakan gunakan entri bibtex berikut:

 @article{radford2019language,
  title={Language Models are Unsupervised Multitask Learners},
  author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
  year={2019}
}

Pekerjaan masa depan

Kami mungkin merilis kode untuk mengevaluasi model pada berbagai tolok ukur.

Kami masih mempertimbangkan peluncuran model yang lebih besar.

Lisensi

MIT yang dimodifikasi