Basic UI for GPT J 6B with low vram

UI básica para GPT-J-6B com baixo vram

Um repositório para executar GPT-J-6B em sistemas com baixo vram usando RAM, vram e memória fixada.

Parece haver alguns problemas com os pesos no link da unidade. Parece haver alguma perda de desempenho, provavelmente devido à má conversão de 16 bits.

Como correr:

Use - pip install git+https://github.com/finetuneanon/transformers@gpt-neo-localattention3
Use o link - https://drive.google.com/file/d/1tboTvohQifN6f1JiSV8hnciyNKvj9pvm/view?usp=sharing para baixar o modelo que foi salvo conforme descrito aqui - https://github.com/arrmansa/ saving-and -carregando modelos grandes-pytorch

Tempo (contexto de token de 2000)

1

sistema -

16GB de RAM DDR4. GPU 1070 8GB.
23 blocos na memória RAM (ram_blocks = 23), dos quais 18 estão na memória compartilhada/fixada (max_shared_ram_blocks = 18).

tempo -

a única execução do modelo (entradas) leva 6,5 ​​segundos.
35 segundos para gerar 25 tokens no contexto 2.000. (1,4 segundos/token)

2

sistema -

16GB de RAM DDR4. GPU 1060 6GB.
26 blocos na memória RAM (ram_blocks = 26), dos quais 18 estão na memória compartilhada/fixada (max_shared_ram_blocks = 18).

tempo -

40 segundos para gerar 25 tokens no contexto 2.000. (1,6 segundos/token)