Basic UI for GPT Neo with low vram

Basic-UI-Gpt-Neo-low-vram

UI พื้นฐานสำหรับการรัน gpt neo 2.7B บน vram ต่ำ (ขั้นต่ำ 3 gb Vram)

ความเร็วที่คาดหวังบน pcie-3 ที่มี 3gb vram คือ 0.8 วินาที/โทเค็น หรือ 20 วินาทีสำหรับ 25 โทเค็น
ความเร็วที่คาดหวังบน pcie-3 ที่มี 8gb vram คือ 0.4 วินาที/โทเค็น หรือ 10 วินาทีสำหรับ 25 โทเค็น
(พร้อมอินพุตโทเค็น 2,000)