Basic UI for GPT Neo with low vram

Dasar-UI-Gpt-Neo-vram rendah

UI dasar untuk menjalankan gpt neo 2.7B pada vram rendah (minimal 3 gb Vram)

Kecepatan yang diharapkan pada pcie-3 dengan vram 3gb adalah 0,8 detik/token atau 20 detik untuk 25 token
Kecepatan yang diharapkan pada pcie-3 dengan vram 8gb adalah 0,4s/token atau 10s untuk 25 token
(dengan masukan token 2000)