JustJoking.ai

JustJoking.ai

Dalam proyek ini saya telah melatih model transformator untuk menghasilkan lelucon pendek. Kemudian dengan sedikit modifikasi pada metode inferensi saya dapat menggunakan model yang sama sehingga dengan memberikan string awal sebagai masukan, model mencoba menyelesaikannya dengan cara yang lucu.

Ada dua buku catatan yang keduanya melakukan tugas yang sama.

• Di Joke Generation.ipynb saya telah menggunakan model GPT2-LM perpustakaan HuggingFace yang telah dilatih sebelumnya dan kami hanya menyempurnakan model ini pada kumpulan data lelucon. Karena kami menggunakan pembelajaran transfer dan menyempurnakan bobot, hanya diperlukan sekitar 4 periode untuk mendapatkan hasil yang baik.

Hasil generasi lelucon

Hasil penyelesaian kalimat

• Di Joke_Completion_Pure_TF2_Implementation.ipynb saya telah membuat model transformator lengkap dari awal. Karena dimulai dengan bobot awal acak, dibutuhkan sekitar 10 epoch untuk mendapatkan hasil yang layak dari model ini.

Hasil

Data

Untuk tugas kita, kita akan menggunakan dataset yang disediakan di Kaggle. Ini adalah csv yang berisi lebih dari 200.000 Lelucon Singkat yang diambil dari Reddit.

Catatan : Karena kumpulan data tersebut dihapus begitu saja dari berbagai subreddit, sejumlah besar lelucon dalam kumpulan data tersebut cukup rasis dan seksis. Karena AI mana pun mengasumsikan data pelatihannya sebagai sumber pengetahuan tunggal, terkadang model kami akan menghasilkan lelucon serupa.

Pra-Pemrosesan:

Setelah kami memberi token pada string lelucon kami, kami menambahkan start_token dan end_token di akhir daftar yang diberi token. Selain itu, karena string lelucon kami bisa memiliki panjang yang berbeda, kami juga menerapkan padding di semua string ke max_length yang ditentukan sehingga semua tensor memiliki bentuk yang sama di kumpulan kami.

JustJoking.ai - Menggunakan model Kepala GPT2-LM

Kode untuk ini dapat ditemukan di notebook Joke Generation.ipynb . Dalam hal ini kita akan mengimpor Model GPT2Tokenizer dan TFGPT2LMHead dari perpustakaan HuggingFace. Kode ini ditulis dalam Tensorflow2. Buku catatan tersebut memiliki komentar yang memberikan penjelasan tentang kode tersebut di tempat yang sesuai. Selain itu, Dokumen HuggingFace menyediakan dokumentasi yang baik tentang parameter masukan dan nilai kembalian model. Untuk implementasi berbasis PyTorch, lihat repo Humour.ai Tanul Singh

JustJoking.ai - Membangun dari awal menggunakan TF2 API

Kode untuk ini dapat ditemukan di notebook Joke_Completion_Pure_TF2_Implementation.ipynb . Mengambil proyek ini selangkah lebih jauh untuk memahami lebih dalam tentang cara kerjanya, saya mencoba membangun transformator tanpa perpustakaan eksternal. Saya telah mengacu pada tutorial Transformers yang disediakan oleh Tensorflow dan telah meletakkan beberapa penjelasan yang disebutkan dalam tutorialnya di buku catatan saya dengan penjelasan lebih lanjut sehingga mudah untuk memahami apa yang sedang terjadi.

Saya pertama kali membuat tokenizer untuk kumpulan data kami dan memberi token pada string yang menggunakannya. Kemudian, buat lapisan untuk Positional Encodings dan MultiHeadAttention . Selain itu, saya menggunakan Lambda layer untuk membuat masker yang sesuai untuk data kita.

Kemudian saya membuat decoder layer tunggal untuk dekoder kami. Berikut ini adalah arsitektur lapisan dekoder tunggal.

Setelah kita memiliki fungsi yang menyediakan `lapisan dekoder`, saya membuat fungsi `dekoder` yang menerima token masukan dan topeng sebagai masukan, bersama dengan parameter jumlah lapisan dekoder yang kita perlukan dan mengembalikan model yang sama. Untuk tugas kita, kita akan menggunakan decoder bahasa dengan 8 lapisan decoder. Berikut ini adalah arsitektur decoder.

Untuk model transformer akhir, dibutuhkan token masukan, meneruskannya melalui lapisan lamda untuk mendapatkan masker dan meneruskan masker dan token ke Dekoder Bahasa yang keluarannya kemudian diteruskan melalui Lapisan Padat. Berikut adalah arsitektur model akhir kami.

Jika semua ini tampak menakutkan, Anda dapat membaca buku catatan untuk kejelasan lebih lanjut. Saya telah mencoba menjelaskan proses pembuatan trafo secara menyeluruh di buku catatan.