El sólido rendimiento del chip M4 de Apple está impulsando el rápido desarrollo de la inteligencia artificial local. Exo Labs utilizó inteligentemente varios dispositivos Mac equipados con chips M4 para construir un clúster informático de IA local de alto rendimiento y bajo costo y ejecutó con éxito múltiples modelos de lenguaje grandes (LLM), lo que brindó beneficios más económicos a individuos y empresas, más artificiales privados. Soluciones de inteligencia. El editor de Downcodes le brindará una comprensión profunda de este avance revolucionario.
En el campo de la inteligencia artificial generativa, los esfuerzos de Apple parecen centrarse principalmente en los dispositivos móviles, especialmente en el último sistema iOS18. Sin embargo, el nuevo chip Apple M4 ha demostrado un potente rendimiento en los recién lanzados Mac Mini y Macbook Pro, lo que le permite ejecutar de manera efectiva los modelos básicos de lenguaje grande (LLM) de código abierto más potentes disponibles actualmente, como Meta's Llama-3.1405B, Nvidia. Nemotron70B y Qwen2.5Coder-32B.
Exo Labs es una startup fundada en marzo de 2024 que se compromete a "democratizar el acceso a la inteligencia artificial". Su cofundador Alex Cheema ha construido con éxito un clúster informático local utilizando varios dispositivos M4.
Conectó cuatro Mac Mini M4 (cada uno con un precio de 599 dólares) a una Macbook Pro M4Max (con un precio de 1.599 dólares), ejecutando el Qwen2.5Coder-32B de Alibaba a través del software de código abierto de Exo. Todo el clúster cuesta aproximadamente 5.000 dólares, lo que es extremadamente rentable en comparación con una GPU Nvidia H100 que vale entre 25.000 y 30.000 dólares.
Los beneficios de utilizar un clúster informático local en lugar de un servicio de red son claros. Al ejecutar modelos de IA en dispositivos controlados por usuarios o empresas, se pueden reducir los costos de manera efectiva y al mismo tiempo mejorar la privacidad y la seguridad. Chima dijo que Exo Labs mejora constantemente su software a nivel empresarial. Actualmente, varias empresas utilizan el software Exo para el razonamiento de IA local. En el futuro, esta tendencia se expandirá gradualmente a individuos y empresas.
El reciente éxito de Exo Labs se debe al potente rendimiento del chip M4, que se anuncia como "el núcleo de GPU más rápido del mundo".
Qima reveló que el clúster Mac Mini M4 de Exo Labs es capaz de ejecutar Qwen2.5Coder32B a 18 marcas por segundo y Nemotron-70B a 8 marcas por segundo. Esto muestra que los usuarios pueden manejar de manera eficiente tareas de inferencia y entrenamiento de IA sin depender de la infraestructura de la nube, lo que hace que la IA sea más accesible para los consumidores y empresas que son sensibles a la privacidad y los costos.
Para respaldar aún más esta ola de innovación local en IA, Exo Labs planea lanzar un sitio web de evaluación comparativa gratuito para proporcionar comparaciones detalladas de configuración de hardware para ayudar a los usuarios a elegir la mejor solución de LLM en ejecución según sus necesidades y presupuesto.
Entrada del proyecto: https://github.com/exo-explore/exo
El caso exitoso de Exo Labs demuestra el enorme potencial del chip M4 de Apple en aplicaciones de IA locales y también indica que las personas y las empresas tendrán una experiencia de IA más conveniente, económica y privada en el futuro. Esto promoverá aún más la popularización y aplicación de la tecnología de inteligencia artificial y brindará más oportunidades de innovación a todos los ámbitos de la vida. ¡Esperamos más sorpresas de Exo Labs en el futuro!