kan gpt

KAN-GPT

Implementasi PyTorch dari Generative Pre-trained Transformers (GPTs) menggunakan Kolmogorov-Arnold Networks (KANs) untuk pemodelan bahasa

Instal dari PyPI

pip install kan_gpt

Kutipan

Jika Anda merasa karya kami bermanfaat, kutiplah kami!

 @misc{GANESH2024KANGPT,
  author       = {Aditya Nalgunda Ganesh},
  title        = {KAN-GPT: The PyTorch implementation of Generative Pre-trained Transformers (GPTs) using Kolmogorov-Arnold Networks (KANs) for language modeling},
  year         = {2024},
  month        = {May},
  note         = {Release 1.0.0, 9th May 2024},
  url          = {https://github.com/AdityaNG/kan-gpt/}
}

Penggunaan

Lihat KAN_GPT.ipynb dan kan_gpt/prompt.py untuk contoh penggunaan. Berikut ini adalah garis besar cara menggunakan model tersebut:

 from kan_gpt . model import GPT
from transformers import GPT2Tokenizer

model_config = GPT . get_default_config ()
model_config . model_type = "gpt2"
model_config . vocab_size = 50257
model_config . block_size = 1024
model = GPT ( model_config )

tokenizer = GPT2Tokenizer . from_pretrained ( 'gpt2' )

prompt = "Bangalore is often described as the "

prompt_encoded = tokenizer . encode (
  text = prompt , add_special_tokens = False
)

x = torch . tensor ( prompt_encoded ). unsqueeze ( 0 )

model . eval ()
y = model . generate ( x , 50 )  # sample 50 tokens

result = tokenizer . decode ( y [ 0 ])

print ( result )

# Bangalore is often described as the Silicon Valley of India.
# The city has witnessed rapid growth in the past two decades..... 

Persiapan untuk Pembangunan

 # Download Repo
git clone https://github.com/AdityaNG/kan-gpt
cd kan-gpt
git pull

# Download Dataset
python3 -m kan_gpt.download_dataset --dataset tinyshakespeare
python3 -m kan_gpt.download_dataset --dataset mnist
python3 -m kan_gpt.download_dataset --dataset webtext

# Install dependencies for development
pip install -r requirements.txt
pip install -e . 

Kereta

Gunakan skrip tiruan berikut untuk memastikan semuanya berfungsi seperti yang diharapkan

WANDB_MODE=offline CUDA_VISIBLE_DEVICE= " " python3 -m kan_gpt.train --architecture MLP --batch_size 1 --dummy_dataset --device cpu --max_iters 200
WANDB_MODE=offline CUDA_VISIBLE_DEVICE= " " python3 -m kan_gpt.train --architecture KAN --batch_size 1 --dummy_dataset --device cpu --max_iters 200

Kemudian manfaatkan skrip pelatihan

python -m kan_gpt.train

Mengingatkan

Anda dapat meminta model untuk menghasilkan teks sebagai berikut

python -m kan_gpt.prompt --prompt " Bangalore is often described as the " --model_path (checkpoint)

Hasil

Kami melatih dan membandingkan KAN-GPT dengan model MLP-GPT yang setara pada kumpulan data Tiny Shakespeare. Kami mengamati bahwa kinerja KAN-GPT sedikit lebih baik dibandingkan MLP-GPT. Kami sedang mencari eksperimen lebih lanjut untuk menyelami lebih dalam. Hasilnya ditunjukkan di bawah ini:

Metrik

TODO

• Integrasikan minGPT dan pykan
• Skrip pengunduhan kumpulan data untuk WebText
• Pengurai Kumpulan Data PyTorch untuk WebText
• Pengurai Kumpulan Data PyTorch untuk tinyshakespeare
• Pelatihan mini POC untuk KAN-GPT
  • Integrasikan logika pelatihan KAN dari KAN.train_kan
  • Latih kumpulan tiruan tanpa masalah memori apa pun
• POC pelatihan mini untuk MLP-GPT
• Latih MLP-GPT pada kumpulan data teks web sebagai garis dasar
• Latih KAN-GPT pada dataset webtext sebagai baseline
• Metrik yang membandingkan KAN-GPT dan MLP-GPT
• Simpan Otomatis pos pemeriksaan
• Simpan Otomatis pos pemeriksaan ke W&B
• Unduh otomatis bobot model dari git/huggingface
• Skrip sapuan hyperparam W&B
• Skrip untuk memuat pos pemeriksaan dalam mode interaktif
• Kurangi batasan requrements.txt
• Tentukan model pydantic untuk argumen pelatihan dan sapuan
• Memangkas paket, singkirkan kode yang tidak digunakan
• Skrip pelatihan untuk PyTorch Lighting
• Dokumentasi: mkdocs gh-deploy
• Integrasikan dengan efisien-kan
• Kasus Uji
  • KAN: Tes Maju-Mundur
  • GPT: Tes Maju-Mundur
  • KAN_GPT: Tes Maju-Mundur
  • EFFICIENT_KAN: Tes Maju-Mundur

Perkembangan

Baca file CONTRIBUTING.md.

Referensi

• minGPT
• pykan
• teks web
• tinyshakespeare