Реализация PyTorch генеративных предварительно обученных трансформаторов (GPT) с использованием сетей Колмогорова-Арнольда (KAN) для языкового моделирования.
pip install kan_gpt
Если вы найдете нашу работу полезной, цитируйте нас!
@misc{GANESH2024KANGPT,
author = {Aditya Nalgunda Ganesh},
title = {KAN-GPT: The PyTorch implementation of Generative Pre-trained Transformers (GPTs) using Kolmogorov-Arnold Networks (KANs) for language modeling},
year = {2024},
month = {May},
note = {Release 1.0.0, 9th May 2024},
url = {https://github.com/AdityaNG/kan-gpt/}
}
Примеры использования см. в файлах KAN_GPT.ipynb и kan_gpt/prompt.py. Ниже приводится схема использования модели:
from kan_gpt . model import GPT
from transformers import GPT2Tokenizer
model_config = GPT . get_default_config ()
model_config . model_type = "gpt2"
model_config . vocab_size = 50257
model_config . block_size = 1024
model = GPT ( model_config )
tokenizer = GPT2Tokenizer . from_pretrained ( 'gpt2' )
prompt = "Bangalore is often described as the "
prompt_encoded = tokenizer . encode (
text = prompt , add_special_tokens = False
)
x = torch . tensor ( prompt_encoded ). unsqueeze ( 0 )
model . eval ()
y = model . generate ( x , 50 ) # sample 50 tokens
result = tokenizer . decode ( y [ 0 ])
print ( result )
# Bangalore is often described as the Silicon Valley of India.
# The city has witnessed rapid growth in the past two decades.....
# Download Repo
git clone https://github.com/AdityaNG/kan-gpt
cd kan-gpt
git pull
# Download Dataset
python3 -m kan_gpt.download_dataset --dataset tinyshakespeare
python3 -m kan_gpt.download_dataset --dataset mnist
python3 -m kan_gpt.download_dataset --dataset webtext
# Install dependencies for development
pip install -r requirements.txt
pip install -e .
Используйте следующий фиктивный скрипт, чтобы убедиться, что все работает как положено.
WANDB_MODE=offline CUDA_VISIBLE_DEVICE= " " python3 -m kan_gpt.train --architecture MLP --batch_size 1 --dummy_dataset --device cpu --max_iters 200
WANDB_MODE=offline CUDA_VISIBLE_DEVICE= " " python3 -m kan_gpt.train --architecture KAN --batch_size 1 --dummy_dataset --device cpu --max_iters 200
Затем воспользуйтесь обучающим сценарием
python -m kan_gpt.train
Вы можете предложить модели создать текст следующим образом:
python -m kan_gpt.prompt --prompt " Bangalore is often described as the " --model_path (checkpoint)
Мы обучаем и сравниваем KAN-GPT с эквивалентной моделью MLP-GPT в наборе данных Tiny Shakespeare. Мы видим, что KAN-GPT работает немного лучше, чем MLP-GPT. Мы планируем дальнейшие эксперименты, чтобы погрузиться глубже. Результаты показаны ниже:
Метрики | ||
---|---|---|
KAN.train_kan
mkdocs gh-deploy
Прочтите файл CONTRIBUTING.md.