Basic UI for GPT J 6B with low vram

Basic-UI-for-GPT-J-6B-with-low-vram

พื้นที่เก็บข้อมูลเพื่อเรียกใช้ GPT-J-6B บนระบบ vram ต่ำโดยใช้ทั้ง ram, vram และหน่วยความจำที่ปักหมุด

ดูเหมือนจะมีปัญหาบางอย่างกับน้ำหนักในลิงค์ไดรฟ์ ดูเหมือนว่าจะสูญเสียประสิทธิภาพไปบ้าง น่าจะเป็นเพราะการแปลง 16 บิตไม่ดี

วิธีการวิ่ง :

ใช้ - pip ติดตั้ง git+https://github.com/finetuneanon/transformers@gpt-neo-localattention3
ใช้ลิงก์ - https://drive.google.com/file/d/1tboTvohQifN6f1JiSV8hnciyNKvj9pvm/view?usp=sharing เพื่อดาวน์โหลดโมเดลที่ได้รับการบันทึกไว้ตามที่อธิบายไว้ที่นี่ - https://github.com/arrmansa/saving-and - กำลังโหลดโมเดลขนาดใหญ่ - pytorch

ระยะเวลา (บริบทโทเค็น 2,000 รายการ)

1

ระบบ -

แรม 16gb ddr4. จีพียู 1070 8GB.
23 บล็อกบน ram (ram_blocks = 23) โดย 18 บล็อกอยู่ในหน่วยความจำที่แชร์/ปักหมุด (max_shared_ram_blocks = 18)

เวลา -

การรันโมเดลครั้งเดียว (อินพุต) ใช้เวลา 6.5 วินาที
35 วินาทีเพื่อสร้างโทเค็น 25 อันที่บริบท 2,000 รายการ (1.4 วินาที/โทเค็น)

2

ระบบ -

แรม 16gb ddr4. จีพียู 1060 6GB.
26 บล็อกบน ram (ram_blocks = 26) โดย 18 บล็อกอยู่ในหน่วยความจำที่แชร์/ปักหมุด (max_shared_ram_blocks = 18)

เวลา -

40 วินาทีเพื่อสร้างโทเค็น 25 อันที่บริบท 2,000 รายการ (1.6 วินาที/โทเค็น)