ห้องปฏิบัติการ IPADS ของมหาวิทยาลัย Shanghai Jiao Tong ได้เปิดตัวเฟรมเวิร์ก PowerInfer ความสำเร็จที่ก้าวล้ำนี้ได้ปรับปรุงประสิทธิภาพการทำงานของโมเดลภาษาขนาดใหญ่บนฮาร์ดแวร์ระดับผู้บริโภคอย่างมีนัยสำคัญ เฟรมเวิร์ก PowerInfer สามารถเพิ่มความเร็วการอนุมานของ 80GA100 ได้ 11 เท่า โดยไม่ต้องมีการกำหนดปริมาณโมเดลและรักษาความแม่นยำของ FP16 ซึ่งหมายความว่าการใช้โมเดลภาษาขนาดใหญ่บนคอมพิวเตอร์ส่วนบุคคลจะไม่ใช่ความฝันอันไกลโพ้นอีกต่อไป โดยให้การสนับสนุนทางเทคนิคที่แข็งแกร่งสำหรับการเผยแพร่และการประยุกต์ใช้โมเดลขนาดใหญ่
ห้องปฏิบัติการ IPADS ของมหาวิทยาลัย Shanghai Jiao Tong ได้เปิดตัวเฟรมเวิร์ก PowerInfer ซึ่งเพิ่มความเร็วของการอนุมานแบบสด 80GA100 ได้ 11 เท่าโดยไม่จำเป็นต้องระบุปริมาณ การใช้ความแม่นยำของ FP16 เพื่อแก้ปัญหาคอขวดในการใช้งานโมเดลขนาดใหญ่บนคอมพิวเตอร์ส่วนบุคคล PowerInfer ได้รับการตอบรับอย่างอบอุ่นและมอบโซลูชันใหม่สำหรับการประยุกต์ใช้โมเดลขนาดใหญ่บนฮาร์ดแวร์ระดับผู้บริโภค
การเปิดตัวเฟรมเวิร์ก PowerInfer แก้ปัญหาความเร็วในการทำงานที่ช้าของโมเดลขนาดใหญ่บนคอมพิวเตอร์ส่วนบุคคล ซึ่งถือเป็นก้าวสู่ขั้นตอนที่สะดวกและกว้างขวางยิ่งขึ้นสำหรับการใช้งานโมเดลขนาดใหญ่ ประสิทธิภาพและความสะดวกสบายของมันจะส่งเสริมการประยุกต์ใช้และการพัฒนาเทคโนโลยีแบบจำลองขนาดใหญ่อย่างมาก โดยนำประสบการณ์ที่สมบูรณ์ยิ่งขึ้นและความเป็นไปได้ที่กว้างขึ้นมาสู่ผู้ใช้และนักพัฒนาแต่ละราย