ChatRWKV

Ai源码

1.0.0

下载

ChatRWKV（发音为“RwaKuv”（国际音标中的 rʌkuv），来自 4 个主要参数：RWKV）

RWKV主页：https://www.rwkv.com

请先检查https://github.com/BlinkDL/ChatRWKV/blob/main/API_DEMO_CHAT.py

ChatRWKV 与 ChatGPT 类似，但由我的 RWKV（100% RNN）语言模型提供支持，这是迄今为止唯一可以在质量和扩展方面与 Transformer 相匹配的 RNN，同时速度更快并节省 VRAM。培训由 Stability EleutherAI 赞助:)

我们的最新版本是RWKV-6 https://arxiv.org/abs/2404.05892 （预览模型：https://huggingface.co/BlinkDL/temp ）

RWKV-6 3B演示：https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-1

RWKV-6 7B演示：https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-2

RWKV-v5-benchmark-1

RWKV-LM 主要仓库：https://github.com/BlinkDL/RWKV-LM（解释、微调、培训等）

面向开发人员的聊天演示：https://github.com/BlinkDL/ChatRWKV/blob/main/API_DEMO_CHAT.py

RWKV Discord：https://discord.gg/bDSBUMeFpc（7k+ 会员）

推特：https://twitter.com/BlinkDL_AI

主页：https://www.rwkv.com/

原始尖端 RWKV 权重： https://huggingface.co/BlinkDL

兼容 HF 的 RWKV 配重： https://huggingface.co/RWKV

使用 v2/convert_model.py 将模型转换为策略，以加快加载速度并节省 CPU RAM。

注意 RWKV_CUDA_ON 将构建 CUDA 内核（速度更快并节省 VRAM）。以下是构建它的方法（首先“pip install ninja”）：

 # How to build in Linux: set these and run v2/chat.py
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
# How to build in win:
Install VS2022 build tools (https://aka.ms/vs/17/release/vs_BuildTools.exe select Desktop C++). Reinstall CUDA 11.7 (install VC++ extensions). Run v2/chat.py in "x64 native tools command prompt".

RWKV pip 包：https://pypi.org/project/rwkv/ （请始终检查最新版本并升级）

https://github.com/cgisky1980/ai00_rwkv_server 使用 vulkan 的最快 GPU 推理 API（适用于 nvidia/amd/intel）

https://github.com/cryscan/web-rwkv ai00_rwkv_server 后端

https://github.com/saharNooby/rwkv.cpp 快速 CPU/cuBLAS/CLBlast 推理：int4/int8/fp16/fp32

https://github.com/JL-er/RWKV-PEFT lora/pissa/Qlora/Qpissa/state 调整

https://github.com/RWKV/RWKV-infctx-trainer Infctx 训练器

世界演示脚本： https://github.com/BlinkDL/ChatRWKV/blob/main/API_DEMO_WORLD.py

Raven 问答演示脚本： https://github.com/BlinkDL/ChatRWKV/blob/main/v2/benchmark_more.py

ChatRWKV-策略

RWKV 150 行（模型、推理、文本生成）：https://github.com/BlinkDL/ChatRWKV/blob/main/RWKV_in_150_lines.py

RWKV v5 250 行（也带有分词器）：https://github.com/BlinkDL/ChatRWKV/blob/main/RWKV_v5_demo.py

构建您自己的 RWKV 推理引擎：从 https://github.com/BlinkDL/ChatRWKV/blob/main/src/model_run.py 开始，它更容易理解（由 https://github.com/BlinkDL/ChatRWKV/ 使用） blob/main/chat.py）。

RWKV 预印本https://arxiv.org/abs/2305.13048

RWKV-纸

RWKV v6 图解：

RWKV-v6

酷社区 RWKV 项目：

https://github.com/saharNooby/rwkv.cpp 使用 ggml 进行快速 i4 i8 fp16 fp32 CPU 推理

https://github.com/harrisonvanderbyl/rwkv-cpp-cuda 快速 windows/linux 和 cuda/rocm/vulkan GPU 推理（不需要 python 和 pytorch）

https://github.com/Blealtan/RWKV-LM-LoRA LoRA 微调

https://github.com/josStorer/RWKV-Runner 酷炫 GUI

更多 RWKV 项目：https://github.com/search?o=desc&q=rwkv&s=updated&type=Repositories

ChatRWKV v2：具有“流”和“拆分”策略以及 INT8。 3G VRAM 足以运行 RWKV 14B :) https://github.com/BlinkDL/ChatRWKV/tree/main/v2

 os . environ [ "RWKV_JIT_ON" ] = '1'
os . environ [ "RWKV_CUDA_ON" ] = '0' # if '1' then use CUDA kernel for seq mode (much faster)
from rwkv . model import RWKV                         # pip install rwkv
model = RWKV ( model = '/fsx/BlinkDL/HF-MODEL/rwkv-4-pile-1b5/RWKV-4-Pile-1B5-20220903-8040' , strategy = 'cuda fp16' )

out , state = model . forward ([ 187 , 510 , 1563 , 310 , 247 ], None )   # use 20B_tokenizer.json
print ( out . detach (). cpu (). numpy ())                   # get logits
out , state = model . forward ([ 187 , 510 ], None )
out , state = model . forward ([ 1563 ], state )           # RNN has state (use deepcopy if you want to clone it)
out , state = model . forward ([ 310 , 247 ], state )
print ( out . detach (). cpu (). numpy ())                   # same result as above

RWKV-评估

这是 https://huggingface.co/BlinkDL/rwkv-4-raven/blob/main/RWKV-4-Raven-14B-v7-Eng-20230404-ctx4096.pth 的实际应用：聊天RWKV

当您构建 RWKV 聊天机器人时，请务必检查与状态相对应的文本，以防止出现错误。

切勿直接调用原始forward()。相反，将其放入一个将记录与状态相对应的文本的函数中。

（对于 v4-raven 模型，使用 Bob/Alice。对于 v4/v5/v6-world 模型，使用 User/Assistant）

最佳聊天格式（检查您的文本是否是这种格式）： Bob: xxxxxxxxxxxxxxxxxxnnAlice: xxxxxxxxxxxxxnnBob: xxxxxxxxxxxxxxxxnnAlice:

最后的“Alice:”之后不应有任何空格。生成结果开头会有一个空格，你可以简单地去掉它。
您可以在 xxxxx 中使用 n，但避免使用 nn。所以简单地做xxxxx = xxxxx.strip().replace('rn','n').replace('nn','n')

如果您正在构建自己的 RWKV 推理引擎，请从 https://github.com/BlinkDL/ChatRWKV/blob/main/src/model_run.py 开始，它更容易理解（由 https://github.com/BlinkDL 使用/ChatRWKV/blob/main/chat.py)

最新的“Raven”系列羊驼风格调校的RWKV 14B和7B模型非常好（几乎像ChatGPT一样，也擅长多轮聊天）。下载：https://huggingface.co/BlinkDL/rwkv-4-raven

以前的旧模型结果：聊天RWKV