Homemade GPT

Homemade-GPT (Transformator Pra-Terlatih Generatif)

Repositori ini berisi implementasi Python dari bagian Decoder arsitektur Tranformer yang diperkenalkan di makalah penting - Hanya perhatian yang Anda perlukan. Gambar 1 menunjukkan arsitektur Transformer lengkap dengan blok Encoder di sebelah kiri dan blok Decoder di sebelah kanan.

Model ini disempurnakan pada kumpulan data instruksi Alpaca menggunakan gaya prompt Alpaca.