Informes del editor de Downcodes: Meta AI ha lanzado MobileLLM, un modelo de lenguaje nuevo y eficiente diseñado para dispositivos con recursos limitados, como los teléfonos inteligentes. Desafía la comprensión tradicional de la escala de los modelos de lenguaje grandes. Su número de parámetros es mucho menor que el de los modelos gigantes como GPT-4, pero funciona bien en las pruebas comparativas. El resultado de esta investigación, completado por los equipos de Meta Reality Labs, PyTorch y Meta AI Research, se publicó el 27 de junio de 2024, lo que proporciona una nueva dirección para el desarrollo ligero de modelos de IA.
Los investigadores de MetaAI han presentado MobileLLM, un nuevo enfoque para diseñar modelos de lenguaje eficientes para teléfonos inteligentes y otros dispositivos con recursos limitados. El estudio, publicado el 27 de junio de 2024, desafía las suposiciones sobre la escala necesaria de modelos de IA efectivos.
El equipo de investigación, compuesto por miembros de Meta Reality Labs, PyTorch y Meta AI Research (FAIR), se centra en optimizar modelos con menos de mil millones de parámetros. Esto es sólo una fracción de modelos como el GPT-4, que se estima que tienen más de un billón de parámetros.
Las innovaciones clave de MobileLLM incluyen:
Estas opciones de diseño permiten a MobileLLM superar a los modelos anteriores de tamaño similar entre un 2,7% y un 4,3% en tareas de referencia comunes. Si bien estas mejoras de un solo dígito pueden parecer pequeñas, representan un progreso significativo en el campo altamente competitivo del desarrollo de modelos lingüísticos.
En particular, en ciertas tareas de llamada API, la versión de 350 millones de parámetros de MobileLLM mostró una precisión comparable a la del modelo LLaMA-2 más grande de 7 mil millones de parámetros. Esto sugiere que, para algunas aplicaciones específicas, los modelos más compactos pueden proporcionar una funcionalidad similar utilizando menos recursos computacionales.
El desarrollo de MobileLLM coincide con el creciente interés en modelos de IA más eficientes. A medida que el progreso en modelos de lenguajes muy grandes muestra signos de desaceleración, los investigadores exploran cada vez más el potencial de diseños más compactos y especializados. A pesar del "LLM" en el nombre, el enfoque en la eficiencia y la implementación de dispositivos coloca a MobileLLM en la misma categoría que lo que algunos investigadores llaman modelos de lenguaje pequeño (SLM).
Si bien MobileLLM aún no está disponible para el público, Meta ha hecho que el código previo a la capacitación sea de código abierto, lo que permite a otros investigadores continuar con su trabajo. A medida que la tecnología se desarrolle, puede incorporar capacidades de IA más avanzadas a los dispositivos personales, aunque el cronograma y las capacidades específicas siguen siendo inciertos.
La aparición de MobileLLM indica que los modelos de IA ligeros y eficientes se convertirán en una tendencia importante en el desarrollo futuro, aportando capacidades de IA más potentes a más dispositivos. El editor de Downcodes seguirá atento a los avances posteriores de esta tecnología.