tinyrwkv
1.0.0
ขณะนี้กำลังถูกเขียนใหม่ในสาขา rewrite
พอร์ตของตระกูล RWKV-LM ของโมเดลภาษาขนาดใหญ่ไปจนถึงเฟรมเวิร์ก Tinygrad
ปัจจุบันต้องใช้ Tinygrad จาก git หรือเพียงแค่ใช้ nix flake
numpy
pydot (only for GRAPH=1)
tinygrad
tokenizers
torch (only for loading pytorch weights)
tqdm
wandb (optional during training)
rust (only for compiling)
clang (only for compiling)
graphviz (only for GRAPH=1)
รัน CLI ด้วย python -m cli
นอกจากนี้ยังสามารถใช้เป็นแพ็คเกจ Python เพื่อฝังในโปรเจ็กต์อื่นได้อีกด้วย นอกจากนี้ยังสามารถคอมไพล์โมเดลเป็นโค้ด C แบบพกพาแล้วฝังด้วยวิธีนั้นได้
usage: tinyrwkv-cli [-h] [--seed SEED] {pre,gen,cht,cmp,bch,ptr,gpt,tra,bpt,wkv,mus} ...
CLI for tinyrwkv
positional arguments:
{pre,gen,cht,cmp,bch,ptr,gpt,tra,bpt,wkv,mus}
pre preprocess either tinyrwkv trained weights or pytorch trained weights into RNN form
gen freeform generation using the RNN mode (requires a preprocessed model using `pre`)
cht chat with a model in RNN mode (requires a preprocessed model using `pre`)
cmp compile a RNN model into c source code and a compiled executable (need to run with CLANG=1)
bch benchmark the rnn mode
ptr preprocess pytorch weights weights into GPT form for training or inference
gpt freeform generation using the GPT mode (requires a preprocessed model using `ptr`)
tra pretrain or finetune a model (if finetuning the model needs to be preprocessed with `ptr`)
bpt benchmark the gpt mode
wkv benchmark/test each wkv module
mus music generation using the RNN mode (requires a preprocessed model using `pre`)
options:
-h, --help show this help message and exit
--seed SEED seed for random
ดูไฟล์ใบอนุญาตและประกาศ
