Laboratorium iPads Universitas Shanghai Jiao Tong baru-baru ini merilis kerangka kerja PowerInfer. Pencapaian terobosan ini telah meningkatkan efisiensi pengoperasian model bahasa besar pada perangkat keras tingkat konsumen secara signifikan. Kerangka kerja PowerInfer dapat meningkatkan kecepatan inferensi 80GA100 sebanyak 11 kali lipat tanpa memerlukan kuantisasi model dan menjaga akurasi FP16. Artinya, menjalankan model bahasa berukuran besar di komputer pribadi bukan lagi sebuah impian belaka, karena memberikan dukungan teknis yang kuat untuk mempopulerkan dan menerapkan model berukuran besar.
Laboratorium IPADS Universitas Shanghai Jiao Tong merilis kerangka kerja PowerInfer, yang meningkatkan kecepatan inferensi langsung 80GA100 sebanyak 11 kali lipat tanpa memerlukan kuantifikasi. Menggunakan presisi FP16 untuk mengatasi hambatan dalam menjalankan model besar di komputer pribadi. PowerInfer disambut hangat dan memberikan solusi baru untuk penerapan model besar pada perangkat keras tingkat konsumen.
Peluncuran kerangka PowerInfer memecahkan masalah lambatnya kecepatan berjalan model besar di komputer pribadi, menandai langkah menuju tahap yang lebih nyaman dan luas untuk penerapan model besar. Efisiensi dan kenyamanannya akan sangat mendorong penerapan dan pengembangan teknologi model besar, menghadirkan pengalaman yang lebih kaya dan kemungkinan yang lebih luas bagi pengguna individu dan pengembang.