El fuerte rendimiento del chip M4 de Apple está impulsando la innovación en la informática de inteligencia artificial local. EXO Labs utilizaron inteligentemente múltiples dispositivos Mac equipados con chips M4 para construir un clúster de computación de IA local rentable, ejecutando con éxito múltiples modelos de lenguaje de código abierto (LLM), como LLAMA-3.1405B, Nemotron70b y Qwen2.5Coder- 32B. Este avance no solo reduce el costo de las aplicaciones de IA, sino que también mejora significativamente la privacidad y la seguridad de los datos, aportando una experiencia de IA más conveniente y segura a las personas y las empresas. Este artículo explorará las prácticas innovadoras de los laboratorios EXO y el importante papel de los chips M4 en el campo de la computación local de IA.
En el campo de la inteligencia artificial generativa, los esfuerzos de Apple parecen centrarse principalmente en dispositivos móviles, especialmente en los últimos sistemas iOS18. Sin embargo, los nuevos chips de Apple M4 muestran un fuerte rendimiento en los últimos lanzamientos de Mac Mini y MacBook Pro, lo que les permite ejecutar efectivamente los modelos de lenguaje de gran código abierto (LLM) más potentes, como Meta's Llama-3.1405b. Qwen2.5Coder-32b.
EXO Labs es una startup fundada en marzo de 2024 dedicada al "acceso de inteligencia artificial distribuido", y su cofundador Alex Cheema lo ha construido con éxito con múltiples dispositivos M4.
Conectó cuatro Mac Mini M4s ($ 599 cada uno) a un MacBook Pro M4Max ($ 1599) y ejecutó el Qwen2.5Coder-32B de Alibaba a través del software de código abierto de EXO. El costo de todo el clúster es de aproximadamente $ 5,000, lo que es extremadamente rentable en comparación con un NVIDIA H100GPU por valor de $ 25,000 a $ 30,000.
Los beneficios de usar grupos de cómputo locales en lugar de servicios de red son obvios. Al ejecutar modelos de IA en un dispositivo controlado por el usuario o empresa, puede reducir efectivamente los costos al tiempo que mejora la privacidad y la seguridad. Qima dijo que EXO Labs está mejorando constantemente su software de nivel empresarial, y que varias compañías están utilizando el software EXO para el razonamiento local de IA, y esta tendencia se expandirá gradualmente a las personas y las empresas en el futuro.
El reciente éxito de Exo Labs se debe al poderoso rendimiento del chip M4, que se conoce como el "núcleo de GPU más rápido del mundo".
Qima reveló que el clúster Mac Mini M4 de EXO Labs puede ejecutar Qwen2.5Coder32b a 18 marcadores por segundo y Nemotron-70B a 8 marcadores por segundo. Esto muestra que los usuarios pueden manejar eficientemente las tareas de capacitación y razonamiento de la IA sin depender de la infraestructura en la nube, lo que hace que los consumidores y empresas sensibles a la privacidad y los costos basados en la IA sean más accesibles.
Para apoyar aún más esta ola de innovación local de IA, EXO Labs planea lanzar un sitio web de evaluación comparativa gratuita para proporcionar comparaciones detalladas de configuración de hardware para ayudar a los usuarios a elegir la mejor solución de operación LLM en función de sus necesidades y presupuesto.
Entrada del proyecto: https://github.com/exo-explore/exo
Agujas:
EXO Labs ejecuta con éxito un poderoso modelo de IA de código abierto en grupos informáticos locales con chips Apple M4.
La ejecución de modelos de IA reduce localmente los costos, mejora la privacidad y la seguridad y evita la dependencia de los servicios en la nube.
EXO Labs lanzará un sitio web de evaluación comparativa para ayudar a los usuarios a elegir la configuración de hardware adecuada para tareas de IA.
Las historias de éxito de EXO Labs proporcionan una nueva dirección para el desarrollo de la informática local de IA, y también indican que las aplicaciones de IA se volverán más populares en el futuro, beneficiando a más individuos y empresas. El fuerte rendimiento del chip M4 y la conveniencia del software de código abierto EXO Labs han promovido conjuntamente la democratización de la tecnología de IA y merecen atención continua.