mixtral offloading
1.0.0
โปรเจ็กต์นี้ใช้การอนุมานที่มีประสิทธิภาพของโมเดล Mixtral-8x7B
โดยสรุป เราบรรลุการอนุมานที่มีประสิทธิภาพของโมเดล Mixtral-8x7B ผ่านการผสมผสานเทคนิคต่างๆ:
สำหรับข้อมูลโดยละเอียดเพิ่มเติมเกี่ยวกับวิธีการและผลลัพธ์ของเรา โปรดดูที่รายงานเทคโนโลยีของเรา
หากต้องการลองสาธิตนี้ โปรดใช้สมุดบันทึกสาธิต: ./notebooks/demo.ipynb หรือ
ในตอนนี้ ยังไม่มีสคริปต์บรรทัดคำสั่งสำหรับการรันโมเดลในเครื่อง อย่างไรก็ตาม คุณสามารถสร้างสมุดบันทึกโดยใช้สมุดบันทึกสาธิตเป็นข้อมูลอ้างอิงได้ ที่ถูกกล่าวว่ายินดีต้อนรับการมีส่วนร่วม!
เทคนิคบางอย่างที่อธิบายไว้ในรายงานทางเทคนิคของเรายังไม่มีให้บริการใน repo นี้ อย่างไรก็ตาม เรากำลังดำเนินการเพิ่มการสนับสนุนสำหรับพวกเขาในอนาคตอันใกล้นี้
คุณสมบัติบางอย่างที่จะเกิดขึ้นคือ:
