picoGPT

PicoGPT

Entri blog yang menyertai: GPT dalam 60 Baris Numpy

---

Anda telah melihat openai/gpt-2.

Anda pernah melihat karpati/minGPT.

Anda bahkan pernah melihat karpathy/nanoGPT!

Tapi pernahkah Anda melihat picoGPT????

picoGPT adalah implementasi GPT-2 yang sangat kecil dan minimal di NumPy biasa. Seluruh kode forward pass adalah 40 baris kode.

fitur picoGPT:

• Cepat? Nah, picoGPT itu megaSLOW
• Kode pelatihan? Kesalahan, 4️⃣0️⃣4️⃣ tidak ditemukan
• Inferensi batch? picoGPT beradab, satu baris file, satu per satu saja
• pengambilan sampel top-p? atas-k? suhu? pengambilan sampel kategoris?! tamak? ✅
• Dapat dibaca? gpt2.py ✅ gpt2_pico.py
• smol??? ✅✅✅✅✅✅ YA!!! REMAJA KECIL sebenarnya?

Perincian singkat dari masing-masing file:

• encoder.py berisi kode untuk BPE Tokenizer OpenAI, yang diambil langsung dari repo gpt-2 mereka.
• utils.py berisi kode untuk mendownload dan memuat bobot model GPT-2, tokenizer, dan hyper-parameter.
• gpt2.py berisi model GPT aktual dan kode pembuatan yang dapat kita jalankan sebagai skrip python.
• gpt2_pico.py sama dengan gpt2.py , tetapi baris kodenya lebih sedikit. Mengapa? Karena kenapa tidak??.

Ketergantungan

pip install -r requirements.txt

Diuji pada Python 3.9.10 .

Penggunaan

python gpt2.py " Alan Turing theorized that computers would one day become "

Yang menghasilkan

 the most powerful machines on the planet.

The computer is a machine that can perform complex calculations, and it can perform these calculations in a way that is very similar to the human brain.

Anda juga dapat mengontrol jumlah token yang akan dihasilkan, ukuran model (salah satu dari ["124M", "355M", "774M", "1558M"] ), dan direktori untuk menyimpan model:

python gpt2.py 
    " Alan Turing theorized that computers would one day become " 
    --n_tokens_to_generate 40 
    --model_size " 124M " 
    --models_dir " models "