tinyrwkv

Actuellement en cours de réécriture dans la branche rewrite .

tinyrwkv : un portage plus petit de RWKV-LM

Un portage de la famille RWKV-LM de grands modèles de langage vers le framework tinygrad.

Feuille de route

• Implémentez le noyau WKV en tant que fonction personnalisée
• Implémentez l'envers du noyau WKV en tant que fonction personnalisée
• Ajouter la prise en charge du modèle mondial et du tokenizer
• Ajouter la prise en charge des modèles MIDI
• Ajouter la prise en charge initiale des modèles RWKV-5

Dépendances

Actuellement, nécessite tinygrad de git ou utilise simplement le flocon nix.

Python

 numpy
pydot (only for GRAPH=1)
tinygrad
tokenizers
torch (only for loading pytorch weights)
tqdm
wandb (optional during training)

Système

 rust (only for compiling)
clang (only for compiling)
graphviz (only for GRAPH=1)

Usage

Exécutez la CLI avec python -m cli .

Également utilisable comme package Python à intégrer dans d’autres projets. Il est également possible de compiler le modèle en code C portable et de l'intégrer de cette façon.

 usage: tinyrwkv-cli [-h] [--seed SEED] {pre,gen,cht,cmp,bch,ptr,gpt,tra,bpt,wkv,mus} ...

CLI for tinyrwkv

positional arguments:
  {pre,gen,cht,cmp,bch,ptr,gpt,tra,bpt,wkv,mus}
    pre                 preprocess either tinyrwkv trained weights or pytorch trained weights into RNN form
    gen                 freeform generation using the RNN mode (requires a preprocessed model using `pre`)
    cht                 chat with a model in RNN mode (requires a preprocessed model using `pre`)
    cmp                 compile a RNN model into c source code and a compiled executable (need to run with CLANG=1)
    bch                 benchmark the rnn mode
    ptr                 preprocess pytorch weights weights into GPT form for training or inference
    gpt                 freeform generation using the GPT mode (requires a preprocessed model using `ptr`)
    tra                 pretrain or finetune a model (if finetuning the model needs to be preprocessed with `ptr`)
    bpt                 benchmark the gpt mode
    wkv                 benchmark/test each wkv module
    mus                 music generation using the RNN mode (requires a preprocessed model using `pre`)

options:
  -h, --help            show this help message and exit
  --seed SEED           seed for random

Licence

Voir les fichiers LICENCE et AVIS.