หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

ลอจิกประสาทเทียม

nnl เป็นเครื่องมืออนุมานสำหรับโมเดลขนาดใหญ่บนแพลตฟอร์ม GPU หน่วยความจำต่ำ

สารบัญ

  • การแนะนำ
  • สร้างห้องสมุด
  • ตัวอย่าง GPT2-XL
  • แผนการทำงาน
  • ใบอนุญาต
  • รับทราบ

การแนะนำ

โมเดลขนาดใหญ่มีขนาดใหญ่เกินกว่าจะใส่ลงในหน่วยความจำ GPU ได้ nnl แก้ไขปัญหานี้ด้วยการแลกเปลี่ยนระหว่างแบนด์วิธ PCIE และหน่วยความจำ

ไปป์ไลน์การอนุมานทั่วไปจะเป็นดังนี้:

  1. เขียนกราฟคำนวณโดยใช้แบบจำลองด้วย $n$ โหนด
  2. ทอพอโลยีเรียงลำดับแต่ละโหนดในกราฟการคำนวณเพื่อสร้างตารางการคำนวณ
  3. สำหรับฉัน ใน [1, 2, 3, ..., n]:
    • ดำเนินงานต่อไปนี้แบบอะซิงโครนัส
      • คำนวณเอาต์พุตของโหนด i
      • โหลดน้ำหนักไปยัง GPU สำหรับโหนด i+1
      • จัดสรรหน่วยความจำ GPU (เทนเซอร์เอาต์พุตและแคช) สำหรับโหนด i+1
      • ยกเลิกการจัดสรรหน่วยความจำ GPU (เทนเซอร์เอาต์พุต น้ำหนัก และแคช) สำหรับโหนด i-1

ด้วยพูลหน่วยความจำ GPU และการจัดเรียงข้อมูลหน่วยความจำ NNIL ทำให้สามารถอนุมานโมเดลขนาดใหญ่บนแพลตฟอร์ม GPU ระดับล่างได้

สร้างห้องสมุด

นี่เป็นเพียงโปรเจ็กต์งานอดิเรกที่เขียนขึ้นในอีกไม่กี่สัปดาห์ ปัจจุบันรองรับเฉพาะแบ็กเอนด์ CUDA เท่านั้น

ทดสอบกับ

  • gcc 13.2.1
  • คุดา 12.2
  • อัปเดต 8.9.2.26

สร้างไลบรารีแบบคงที่

nnl _cuda_kernels.a">
make lib nnl _cuda.a && make lib nnl _cuda_kernels.a

คำสั่งนี้จะสร้างไลบรารีแบบสแตติกสองไลบรารี: lib/lib nnl _cuda.a และ lib/lib nnl _cuda_kernels.a อันแรกคือไลบรารีหลักที่มีแบ็กเอนด์ CUDA ใน C++ และอันที่สองสำหรับเคอร์เนล CUDA

ตัวอย่าง GPT2-XL

โปรแกรมสาธิตของ GPT2-XL (1.6B) มีให้ที่นี่ โปรแกรมนี้สามารถคอมไพล์ได้ด้วยคำสั่งนี้: 

make gpt2_1558m

หลังจากดาวน์โหลดน้ำหนักทั้งหมดจากการเปิดตัว เราสามารถเรียกใช้คำสั่งต่อไปนี้บนแพลตฟอร์ม GPU ระดับล่าง เช่น GTX 1050 (หน่วยความจำ 2 GB): 

./bin/gpt2_1558m --max_len 20  " Hi. My name is Feng and I am a machine learning engineer "

และผลลัพธ์จะเป็นดังนี้:

ข้อจำกัดความรับผิดชอบ: นี่เป็นเพียงตัวอย่างที่สร้างโดย gpt2-xl ฉันไม่ได้ทำงานที่ Google และฉันไม่รู้จัก Randi

และคุณจะพบรูปแบบการเข้าถึงหน่วยความจำ GPU

แผนการทำงาน

  • การสนับสนุน int8
  • เลเยอร์มากขึ้น
  • ตัวอย่างการใช้งานเพิ่มเติม
  • ความคงทนของน้ำหนักในกรณีรุ่นเล็ก

ใบอนุญาต

สันติภาพ OSL

รับทราบ

  • วันโฟลว์
  • nlohmann_json
  • spdlog

ทำไม nnl ?

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด