Basic UI for GPT J 6B with low vram

UI-básica-para-GPT-J-6B-con-baja-vram

Un repositorio para ejecutar GPT-J-6B en sistemas con poca vram utilizando ram, vram y memoria fija.

Parece haber algunos problemas con los pesos en el enlace de transmisión. Parece haber cierta pérdida de rendimiento, probablemente debido a una mala conversión de 16 bits.

Cómo ejecutar:

Uso: pip install git+https://github.com/finetuneanon/transformers@gpt-neo-localattention3
Utilice el enlace: https://drive.google.com/file/d/1tboTvohQifN6f1JiSV8hnciyNKvj9pvm/view?usp=sharing para descargar el modelo que se ha guardado como se describe aquí: https://github.com/arrmansa/served-and -cargando-modelos-grandes-pytorch

Momento (contexto de 2000 tokens)

1

sistema -

16 gb de ram ddr4. GPU 1070 de 8gb.
23 bloques en RAM (ram_blocks = 23), de los cuales 18 están en memoria compartida/fijada (max_shared_ram_blocks = 18).

momento -

Una sola ejecución del modelo (entradas) tarda 6,5 ​​segundos.
35 segundos para generar 25 tokens en un contexto de 2000. (1,4 segundos/ficha)

2

sistema -

16 gb de ram ddr4. GPU 1060 de 6gb.
26 bloques en RAM (ram_blocks = 26), de los cuales 18 están en memoria compartida/fijada (max_shared_ram_blocks = 18).

momento -

40 segundos para generar 25 tokens en un contexto de 2000. (1,6 segundos/ficha)