Basic UI for GPT Neo with low vram

Basic-UI-Gpt-Neo-low-vram

Базовый пользовательский интерфейс для запуска gpt neo 2.7B с низким объемом видеопамяти (минимум 3 ГБ видеопамяти)

Ожидаемая скорость на pcie-3 с 3 ГБ видеопамяти составляет 0,8 с/токен или 20 с для 25 токенов.
Ожидаемая скорость на pcie-3 с 8 ГБ видеопамяти составляет 0,4 с/токен или 10 с для 25 токенов.
(при вводе 2000 токенов)