reweight gpt

Timbang ulang GPT

Sebuah alternatif terhadap mekanisme self-attetnion dalam arsitektur Tranformer. Ia menggunakan koneksi lateral yang dapat dipelajari untuk mempertimbangkan kembali masukan secara langsung, bukan mekanisme perhatian diri (seperti yang diilustrasikan di bawah). Untuk mempelajari lebih lanjut tentang metode ini, tonton video ini (mulai 41:26): https://youtu.be/l-CjXFmcVzY

File:

1. folder tutorial - Tutorial langkah demi langkah dari dasar hingga GPT.
2. reweight-gpt.py (Implementasi GPT multi-blok menggunakan pembobotan ulang langsung matriks perhatian).
3. reweight-gpt-nonlinear.py (Versi nonlinier dari metode pembobotan ulang langsung. Untuk memudahkan perbandingan antara kedua metode, saya mengadaptasi skrip ini langsung dari penerapan GPT Andrej Karpathy).

Ilustrasi: