Meta Platforms ha lanzado una nueva versión optimizada del modelo Llama, Llama 3.21B y 3B, que permite el funcionamiento estable de modelos de lenguaje a gran escala en teléfonos inteligentes y tabletas comunes. El editor de Downcodes explicará en detalle este avance revolucionario y su importancia.
Meta Platforms lanzó hoy una nueva versión optimizada de su modelo Llama, que incluye los productos Llama3.21B y 3B, que por primera vez permitieron el funcionamiento estable de modelos de lenguaje a gran escala en teléfonos inteligentes y tabletas comunes. Al integrar de manera innovadora tecnología de entrenamiento cuantitativo y algoritmos de optimización, la nueva versión reduce el tamaño del archivo en un 56%, reduce los requisitos de memoria de ejecución en un 41% y aumenta la velocidad de procesamiento a 4 veces la de la versión original mientras mantiene la calidad de procesamiento continuo original. Texto de 8.000 caracteres.
Cuando se probaron en teléfonos Android, los modelos de IA comprimidos de Meta (SpinQuant y QLoRA) fueron significativamente más rápidos y eficientes que las versiones estándar. Los modelos más pequeños funcionan cuatro veces más rápido y utilizan menos memoria
En la prueba real del teléfono móvil OnePlus12, esta versión comprimida mostró un rendimiento comparable al de la versión estándar y, al mismo tiempo, mejoró enormemente la eficiencia operativa, resolviendo eficazmente el problema a largo plazo de la potencia informática insuficiente de los dispositivos móviles. Meta ha optado por adoptar una estrategia de mercado de cooperación abierta y llevar a cabo una cooperación profunda con los principales fabricantes de procesadores móviles como Qualcomm y MediaTek. La nueva versión se lanzará simultáneamente a través del sitio web oficial de Llama y la plataforma Hugging Face, brindando a los desarrolladores un acceso conveniente. canales.
Esta estrategia contrasta marcadamente con la de otros gigantes de la industria. Cuando Google y Apple optan por integrar profundamente nuevas tecnologías con sus sistemas operativos, la ruta abierta de Meta brinda a los desarrolladores un mayor espacio para la innovación. Este lanzamiento marca el cambio en los modelos de procesamiento de datos de servidores centralizados a terminales personales. Las soluciones de procesamiento local no solo pueden proteger mejor la privacidad del usuario, sino también brindar una experiencia de respuesta más rápida.
Este avance tecnológico puede desencadenar cambios importantes similares a los ocurridos durante la popularización de las computadoras personales, aunque todavía enfrenta desafíos como los requisitos de rendimiento del dispositivo y la selección de la plataforma del desarrollador. A medida que el rendimiento de los dispositivos móviles siga mejorando, las ventajas de las soluciones de procesamiento localizadas surgirán gradualmente. Meta espera promover el desarrollo de toda la industria en una dirección más eficiente y segura a través de la cooperación abierta y abrir nuevas formas para el desarrollo futuro de aplicaciones para dispositivos móviles.
La versión simplificada del modelo Llama ofrece nuevas posibilidades para las aplicaciones móviles de IA, y también vale la pena aprender de la industria su estrategia de cooperación abierta. En el futuro, a medida que la tecnología siga madurando y volviéndose más popular, el procesamiento de IA localizado se convertirá en una tendencia generalizada.