Basic UI for GPT J 6B with low vram

UI-dasar-untuk-GPT-J-6B-dengan-vram-rendah

Repositori untuk menjalankan GPT-J-6B pada sistem vram rendah dengan menggunakan ram, vram, dan memori yang disematkan.

Tampaknya ada beberapa masalah dengan bobot di tautan drive. Tampaknya ada penurunan kinerja, kemungkinan besar karena konversi 16 bit yang buruk.

Cara menjalankannya :

Gunakan - pip install git+https://github.com/finetuneanon/transformers@gpt-neo-localattention3
Gunakan tautan - https://drive.google.com/file/d/1tboTvohQifN6f1JiSV8hnciyNKvj9pvm/view?usp=sharing untuk mengunduh model yang telah disimpan seperti yang dijelaskan di sini - https://github.com/arrmansa/ saving-and -memuat-model-besar-pytorch

Waktu (konteks token 2000)

1

sistem -

Ram 16gb ddr4. GPU 1070 8gb.
23 blok pada ram (ram_blocks = 23) dimana 18 di antaranya berada pada memori bersama/disematkan (max_shared_ram_blocks = 18).

waktu -

satu kali menjalankan model (input) membutuhkan waktu 6,5 detik.
35 detik untuk menghasilkan 25 token pada konteks tahun 2000. (1,4 detik/tanda)

2

sistem -

Ram 16gb ddr4. GPU 1060 6gb.
26 blok pada ram (ram_blocks = 26) dimana 18 di antaranya berada pada memori bersama/disematkan (max_shared_ram_blocks = 18).

waktu -

40 detik untuk menghasilkan 25 token pada konteks tahun 2000. (1,6 detik/tanda)