Basic UI for GPT Neo with low vram

Basic-UI-Gpt-Neo-low-vram

Uma interface de usuário básica para executar gpt neo 2.7B em vram baixo (mínimo de 3 gb Vram)

A velocidade esperada no PCIe-3 com 3GB de vram é de 0,8s/token ou 20s para 25 tokens
A velocidade esperada no PCIe-3 com 8GB de vram é de 0,4s/token ou 10s para 25 tokens
(com uma entrada de 2.000 tokens)