Basic UI for GPT Neo with low vram
1.0.0
Una interfaz de usuario básica para ejecutar gpt neo 2.7B con poca vram (mínimo 3 gb de Vram)
La velocidad esperada en pcie-3 con 3 GB de vram es de 0,8 s/token o 20 s para 25 tokens
La velocidad esperada en pcie-3 con 8 GB de vram es de 0,4 s/token o 10 s para 25 tokens
(con una entrada de 2000 tokens)
