Unduhan microGPT - pengunduhan kode sumber microGPT

microGPT

Kode Sumber AI

1.0.0

Unduh

microGPT: Membangun GPT dari awal

microGPT adalah implementasi ringan dari model Generative Pre-trained Transformer (GPT) untuk tugas pemrosesan bahasa alami. Ini dirancang agar sederhana dan mudah digunakan, menjadikannya pilihan bagus untuk aplikasi skala kecil atau untuk belajar dan bereksperimen dengan model generatif.

Fitur

Implementasi model GPT yang ringan
Dilatih pada kumpulan data beragam berskala kecil (6 GB)
Dirancang untuk dilatih pada GPU konsumen (RTX 4060 8GB)
Sejumlah kecil parameter (82 Juta!)
Hyperparameter yang dapat disesuaikan untuk konfigurasi model
Mendukung pemfilteran Top K Top P dan penskalaan suhu
Ditulis dengan Python dengan PyTorch sebagai kerangka pembelajaran mendalam

300 ribu iterasi pelatihan

Instalasi

Kloning repo dan jalankan pip install -r requirements.txt

Penggunaan

Jalankan tokenizer/train_tokenizer.py untuk menghasilkan file tokenizer. Model akan memberi token pada teks berdasarkan model tersebut.
Jalankan datasets/prepare_dataset.py untuk menghasilkan file dataset.
Jalankan train.py untuk memulai pelatihan~

Ubah file yang disebutkan di atas jika Anda ingin mengubah parameternya.

Penggunaan (Inferensi)

Untuk mengedit parameter pembuatan model, buka inference.py ke bagian ini:

 # Parameters (Edit here):
n_tokens = 1000
temperature = 0.8
top_k = 0
top_p = 0.9
model_path = 'models/microGPT.pth'

# Edit input here
context = "The magical wonderland of"

Tertarik untuk diterapkan sebagai aplikasi web? Lihat penerapan microGPT!

Keuntungan mikroGPT:

Efisiensi Dari Awal: Dikembangkan dari awal, microGPT mewakili pendekatan sederhana terhadap model GPT yang terkemuka. Ini menunjukkan efisiensi yang luar biasa dengan tetap mempertahankan sedikit trade-off dalam kualitas.
Taman Bermain Pembelajaran: Dirancang bagi individu yang ingin mendalami dunia AI, arsitektur microGPT menawarkan peluang unik untuk memahami cara kerja model generatif. Ini adalah landasan untuk mengasah keterampilan Anda dan memperdalam pemahaman Anda.
Pembangkit Tenaga Listrik Skala Kecil: Selain pembelajaran dan eksperimen, microGPT adalah pilihan yang cocok untuk aplikasi skala kecil. Ini memberdayakan Anda untuk mengintegrasikan pembuatan bahasa yang didukung AI ke dalam proyek yang mengutamakan efisiensi dan kinerja.

Pemberdayaan Melalui Kemampuan Beradaptasi:

Kemampuan Penyesuaian: kemampuan beradaptasi microGPT memberdayakan Anda untuk memodifikasi dan menyempurnakan model agar sesuai dengan tujuan spesifik Anda, menawarkan landasan untuk menciptakan solusi AI yang disesuaikan dengan kebutuhan Anda.
Perjalanan Pembelajaran: Gunakan microGPT sebagai batu loncatan untuk memahami dasar-dasar model generatif. Desain dan dokumentasinya yang mudah diakses memberikan lingkungan ideal bagi mereka yang baru mengenal AI.
Lab Eksperimen: Terlibat dalam eksperimen dengan menyesuaikan dan menguji parameter microGPT. Kesederhanaan dan keserbagunaan model memberikan lahan subur bagi inovasi.

Kontribusi

Jika Anda ingin berkontribusi, silakan ikuti panduan berikut:

Cabangkan repositori dan buat cabang baru untuk kontribusi Anda.
Pastikan perubahan Anda selaras dengan tujuan dan tujuan repositori.
Jaga komitmen Anda tetap jelas dan deskriptif, mengikuti format Komit Konvensional.
Tulis kode yang jelas dan ringkas dengan komentar dan dokumentasi yang sesuai.
Uji perubahan Anda secara menyeluruh untuk memastikan perubahan tersebut tidak menimbulkan bug baru.
Kirimkan permintaan tarik (PR) dengan penjelasan rinci tentang perubahan Anda, bersama dengan informasi atau tangkapan layar yang relevan.

Dengan berkontribusi pada repositori ini, Anda setuju untuk mematuhi Kode Etik kami dan kontribusi Anda akan dilepaskan di bawah Lisensi yang sama dengan repositori.