Basic UI for GPT J 6B with low vram

具有低 vram 的 GPT-J-6B 的基本 UI

通过使用 ram、vram 和固定内存在低 vram 系统上运行 GPT-J-6B 的存储库。

驱动连杆中的配重似乎存在一些问题。似乎存在一些性能损失，很可能是因为 16 位转换不佳。

如何运行：

使用 - pip install git+https://github.com/finetuneanon/transformers@gpt-neo-localattention3
使用链接 - https://drive.google.com/file/d/1tboTvohQifN6f1JiSV8hnciyNKvj9pvm/view?usp=sharing 下载已按此处所述保存的模型 - https://github.com/arrmansa/ saving-and -加载大型模型-pytorch

计时（2000 个令牌上下文）

1

系统 -

16 GB DDR4 内存。 1070 8GB GPU。
ram 上有 23 个块 (ram_blocks = 23)，其中 18 个位于共享/固定内存上 (max_shared_ram_blocks = 18)。

计时-

模型（输入）的单次运行需要 6.5 秒。
35 秒在 2000 个上下文中生成 25 个令牌。 （1.4 秒/令牌）

2

系统 -

16 GB DDR4 内存。 1060 6GB GPU。
ram 上有 26 个块 (ram_blocks = 26)，其中 18 个位于共享/固定内存上 (max_shared_ram_blocks = 18)。

计时-

40 秒在 2000 个上下文中生成 25 个令牌。 （1.6 秒/令牌）