Basic UI for GPT Neo with low vram

Basic-UI-Gpt-Neo-low-vram

低 VRAM (最低 3 GB VRAM) で gpt neo 2.7B を実行するための基本 UI

3GB vram を搭載した PCIE-3 での予想速度は、トークンあたり 0.8 秒、または 25 トークンの場合は 20 秒です。
8GB VRAM を搭載した PCIE-3 での予想速度は、トークンあたり 0.4 秒、または 25 トークンの場合は 10 秒です
(2000トークン入力時)