tinyrwkv

В настоящее время переписывается в ветке rewrite .

tinyrwkv: уменьшенный порт RWKV-LM.

Порт семейства больших языковых моделей RWKV-LM на платформу tinygrad.

Дорожная карта

• Реализуйте ядро ​​WKV как пользовательскую функцию.
• Реализуйте обратную сторону ядра WKV как пользовательскую функцию.
• Добавить поддержку модели мира и токенизатора.
• Добавить поддержку MIDI-моделей.
• Добавлена ​​первоначальная поддержка моделей RWKV-5.

Зависимости

В настоящее время требуется tinygrad из git или просто используйте nix flake.

Питон

 numpy
pydot (only for GRAPH=1)
tinygrad
tokenizers
torch (only for loading pytorch weights)
tqdm
wandb (optional during training)

Система

 rust (only for compiling)
clang (only for compiling)
graphviz (only for GRAPH=1)

Использование

Запустите CLI с помощью python -m cli .

Кроме того, его можно использовать как пакет Python для встраивания в другие проекты. Также возможно скомпилировать модель в переносимый код C и встроить ее таким образом.

 usage: tinyrwkv-cli [-h] [--seed SEED] {pre,gen,cht,cmp,bch,ptr,gpt,tra,bpt,wkv,mus} ...

CLI for tinyrwkv

positional arguments:
  {pre,gen,cht,cmp,bch,ptr,gpt,tra,bpt,wkv,mus}
    pre                 preprocess either tinyrwkv trained weights or pytorch trained weights into RNN form
    gen                 freeform generation using the RNN mode (requires a preprocessed model using `pre`)
    cht                 chat with a model in RNN mode (requires a preprocessed model using `pre`)
    cmp                 compile a RNN model into c source code and a compiled executable (need to run with CLANG=1)
    bch                 benchmark the rnn mode
    ptr                 preprocess pytorch weights weights into GPT form for training or inference
    gpt                 freeform generation using the GPT mode (requires a preprocessed model using `ptr`)
    tra                 pretrain or finetune a model (if finetuning the model needs to be preprocessed with `ptr`)
    bpt                 benchmark the gpt mode
    wkv                 benchmark/test each wkv module
    mus                 music generation using the RNN mode (requires a preprocessed model using `pre`)

options:
  -h, --help            show this help message and exit
  --seed SEED           seed for random

Лицензия

См. файлы ЛИЦЕНЗИЯ и УВЕДОМЛЕНИЕ.