Basic UI for GPT Neo with low vram

Basic-UI-Gpt-Neo-low-vram

Eine grundlegende Benutzeroberfläche zum Ausführen von gpt neo 2.7B auf niedrigem VRAM (mindestens 3 GB VRAM)

Die erwartete Geschwindigkeit auf PCIe-3 mit 3 GB VRAM beträgt 0,8 Sekunden/Token oder 20 Sekunden für 25 Token
Die erwartete Geschwindigkeit auf PCIe-3 mit 8 GB VRAM beträgt 0,4 Sekunden/Token oder 10 Sekunden für 25 Token
(mit einer 2000-Token-Eingabe)