Basic UI for GPT J 6B with low vram

具有低 vram 的 GPT-J-6B 的基本 UI

透過使用 ram、vram 和固定內存在低 vram 系統上運行 GPT-J-6B 的儲存庫。

驅動連桿中的配重似乎存在一些問題。似乎存在一些效能損失，很可能是因為 16 位元轉換不佳。

如何運行：

使用 - pip install git+https://github.com/finetuneanon/transformers@gpt-neo-localattention3
使用連結 - https://drive.google.com/file/d/1tboTvohQifN6f1JiSV8hnciyNKvj9pvm/view?usp=sharing 下載已按此處所述保存的模型 - https://github.com/arrmansa/ saving-and -載入大型模型-pytorch

計時（2000 個令牌上下文）

1

系統 -

16 GB DDR4 記憶體。 1070 8GB GPU。
ram 上有 23 個區塊 (ram_blocks = 23)，其中 18 個位於共享/固定記憶體上 (max_shared_ram_blocks = 18)。

計時-

模型（輸入）的單次運行需要 6.5 秒。
35 秒在 2000 個上下文中產生 25 個令牌。 （1.4 秒/令牌）

2

系統 -

16 GB DDR4 記憶體。 1060 6GB GPU。
ram 上有 26 個區塊 (ram_blocks = 26)，其中 18 個位於共享/固定記憶體上 (max_shared_ram_blocks = 18)。

計時-

40 秒在 2000 個上下文中產生 25 個令牌。 （1.6 秒/令牌）