Basic UI for GPT Neo with low vram
1.0.0
Une interface utilisateur de base pour exécuter gpt neo 2.7B sur une faible Vram (3 Go de Vram minimum)
La vitesse attendue sur PCIe-3 avec 3 Go de VRAM est de 0,8 s/jeton ou 20 s pour 25 jetons
La vitesse attendue sur PCIe-3 avec 8 Go de VRAM est de 0,4 s/jeton ou 10 s pour 25 jetons
(avec une entrée de 2000 jetons)
