Basic UI for GPT Neo with low vram

기본-UI-Gpt-네오-로우-vram

낮은 vram(최소 3GB Vram)에서 gpt neo 2.7B를 실행하기 위한 기본 UI

3GB vram을 갖춘 pcie-3의 예상 속도는 토큰당 0.8초 또는 25개 토큰의 경우 20초입니다.
8GB vram을 갖춘 pcie-3의 예상 속도는 토큰당 0.4초 또는 25개 토큰의 경우 10초입니다.
(2000 토큰 입력)