El Laboratorio IPADS de la Universidad Jiao Tong de Shanghai lanzó recientemente el marco PowerInfer. Este logro revolucionario ha mejorado significativamente la eficiencia operativa de modelos de lenguaje grandes en hardware de consumo. El marco PowerInfer puede aumentar la velocidad de inferencia de 80GA100 11 veces sin requerir cuantificación del modelo y manteniendo la precisión de FP16. Esto significa que ejecutar modelos de lenguaje grandes en computadoras personales ya no es un sueño lejano y brinda un sólido soporte técnico para la popularización y aplicación de modelos grandes.
El Laboratorio IPADS de la Universidad Jiao Tong de Shanghai lanzó el marco PowerInfer, que aumenta 11 veces la velocidad de la inferencia en vivo 80GA100 sin necesidad de cuantificación. Uso de la precisión del FP16 para resolver el cuello de botella que supone ejecutar modelos grandes en computadoras personales. PowerInfer ha tenido una calurosa bienvenida y proporciona una nueva solución para la aplicación de modelos grandes en hardware de consumo.
El lanzamiento del marco PowerInfer resuelve el problema de la baja velocidad de ejecución de modelos grandes en computadoras personales, marcando un paso hacia una etapa más conveniente y extensa para la aplicación de modelos grandes. Su eficiencia y conveniencia promoverán en gran medida la aplicación y el desarrollo de tecnología de modelos grandes, brindando experiencias más ricas y posibilidades más amplias a usuarios y desarrolladores individuales.