homemade gpt js

GPT buatan sendiri • JS

Implementasi ulang TensorFlow.js minimal dari minGPT (Generative Pre-trained Transformer) Karpathy.

Definisi lengkap model bahasa GPT "buatan sendiri" ini (semuanya) dapat ditemukan di file model.ts tunggal ini (kurang dari 300 baris kode).

Karena model.ts ditulis dalam TypeScript, Anda dapat menggunakan taman bermain GPT buatan sendiri untuk melatihnya, bereksperimen dengan parameter, dan menghasilkan prediksi langsung di browser menggunakan GPU.

Model dan taman bermain ditulis untuk tujuan pembelajaran , untuk memahami cara kerja GPT, dan untuk menggunakan WebGPU untuk pelatihan.

Untuk memahami apa yang terjadi di file model.ts, silakan lihat kuliah langsung Andrej Karpathy yang dijelaskan dengan baik, "Mari kita buat GPT: dari awal, dalam kode, dieja" (bisa dibilang salah satu penjelasan terbaik tentang GPT yang ada).

Folder GPT

Di dalam folder ./gpt/src/ Anda akan menemukan file berikut:

• model.ts - ini adalah file utama yang menarik, karena berisi definisi lengkap (namun minimalis) dari model decoder GPT, seperti yang dijelaskan dalam makalah Attention Is All You Need.
• model-easier.ts - ini adalah model GPT yang sama seperti pada file sebelumnya tetapi disederhanakan agar lebih mudah dipahami. Perbedaan utamanya adalah ia memproses semua Heads di dalam CausalSelfAttention secara berurutan (bukan secara paralel). Hasilnya, modelnya sedikit lebih lambat namun lebih mudah dibaca.
• config.ts - berisi kumpulan parameter model GPT yang telah dikonfigurasi sebelumnya: GPT-pico, GPT-nano, GPT-mini, GPT-2, dll.
• dataset.ts - Tidak ada yang khusus GPT di sini. Pembungkus pembantu di atas kumpulan data tingkat karakter berbasis file txt apa pun. Ini memuat file txt sewenang-wenang, memperlakukan setiap huruf sebagai token, membagi karakter menjadi kumpulan pelatihan dan pengujian, dan menyandikan/mendekode huruf ke indeks dan sebaliknya.
• trainer.ts - Tidak ada yang khusus GPT di sini juga. File ini menyediakan loop pelatihan sederhana yang dapat diterapkan pada jaringan neural mana pun.

Beberapa bobot model terlatih dipublikasikan di repositori bobot buatan sendiri-gpt-js. Anda dapat menerapkannya melalui taman bermain web (bagian "Generasi") atau melalui taman bermain Node.js ( model.setWeights() ).

Taman Bermain Web

Untuk bereksperimen dengan parameter model, pelatihan, dan pembuatan teks, Anda dapat menggunakan taman bermain GPT JS buatan sendiri.

Taman bermain GPT JS buatan sendiri

Anda juga dapat meluncurkan taman bermain secara lokal jika Anda ingin memodifikasi dan bereksperimen dengan kode model transformator itu sendiri.

Instal dependensi:

npm i

Luncurkan taman bermain web secara lokal:

npm run playground-web

Taman bermain akan dapat diakses di http://localhost:3000/homemade-gpt-js

Jalankan perintah ini dari root proyek. Anda harus memiliki Node.js ≥ 20.0.0.

Taman Bermain Node.js

Anda juga dapat bereksperimen dengan model di lingkungan Node.js.

Instal dependensi:

npm i

Luncurkan taman bermain Node.js:

npm run playground-node

File ./playground-node/src/index.ts berisi contoh dasar pelatihan dan pembuatan teks.

Jalankan perintah ini dari root proyek. Anda harus memiliki Node.js ≥ 20.0.0.