Le laboratoire IPADS de l'Université Jiao Tong de Shanghai a récemment publié le framework PowerInfer. Cette avancée révolutionnaire a considérablement amélioré l'efficacité opérationnelle des grands modèles de langage sur du matériel grand public. Le framework PowerInfer peut augmenter la vitesse d'inférence du 80GA100 de 11 fois sans nécessiter de quantification de modèle et sans maintenir la précision du FP16. Cela signifie que l'exécution de grands modèles linguistiques sur des ordinateurs personnels n'est plus un rêve lointain, car elle fournit un solide support technique pour la vulgarisation et l'application de grands modèles.
Le laboratoire IPADS de l'université Jiao Tong de Shanghai a publié le framework PowerInfer, qui multiplie par 11 la vitesse d'inférence en direct 80GA100 sans avoir besoin de quantification. Utiliser la précision FP16 pour résoudre le goulot d’étranglement lié à l’exécution de grands modèles sur des ordinateurs personnels. PowerInfer a été chaleureusement accueilli et fournit une nouvelle solution pour l'application de grands modèles sur du matériel grand public.
La sortie du framework PowerInfer résout le problème de la lenteur d'exécution des grands modèles sur les ordinateurs personnels, marquant une étape vers une étape plus pratique et plus étendue pour l'application de grands modèles. Son efficacité et sa commodité favoriseront grandement l'application et le développement de la technologie des grands modèles, apportant des expériences plus riches et des possibilités plus larges aux utilisateurs individuels et aux développeurs.