Basic UI for GPT J 6B with low vram

Базовый пользовательский интерфейс для GPT-J-6B с низким объемом видеопамяти

Репозиторий для запуска GPT-J-6B в системах с низким объемом виртуальной памяти с использованием как оперативной, так и виртуальной и закрепленной памяти.

Кажется, есть некоторые проблемы с грузами в звене привода. Кажется, произошла некоторая потеря производительности, скорее всего, из-за плохого 16-битного преобразования.

Как запустить:

Используйте — pip install git+https://github.com/finetuneanon/transformers@gpt-neo-localattention3
Используйте ссылку — https://drive.google.com/file/d/1tboTvohQifN6f1JiSV8hnciyNKvj9pvm/view?usp=sharing, чтобы загрузить модель, сохраненную, как описано здесь — https://github.com/arrmansa/saving-and -загрузка-больших-моделей-pytorch

Сроки (контекст токена 2000 г.)

1

система -

Оперативной памяти 16 ГБ ддр4. Графический процессор 1070 8 ГБ.
23 блока в оперативной памяти (ram_blocks = 23), из которых 18 находятся в общей/закрепленной памяти (max_shared_ram_blocks = 18).

время -

одиночный запуск модели (входные данные) занимает 6,5 секунды.
35 секунд для генерации 25 токенов в контексте 2000. (1,4 секунды/токен)

2

система -

Оперативной памяти 16 ГБ ддр4. Графический процессор 1060 6 ГБ.
26 блоков в оперативной памяти (ram_blocks = 26), из которых 18 находятся в общей/закрепленной памяти (max_shared_ram_blocks = 18).

время -

40 секунд для генерации 25 токенов в контексте 2000. (1,6 секунды/токен)