La forte performance de la puce M4 d'Apple stimule l'innovation dans l'informatique locale de l'intelligence artificielle. EXO Labs a intelligemment utilisé plusieurs appareils MAC équipés de puces M4 pour construire un cluster informatique AI local rentable, exécutant avec succès plusieurs grands modèles de langues open source (LLM), tels que LLAMA-3.1405B, Nemotron70b et Qwen2.5coder- 32b. Cette percée réduit non seulement le coût des applications d'IA, mais améliore également considérablement la confidentialité et la sécurité des données, apportant une expérience d'IA plus pratique et sécurisée aux particuliers et aux entreprises. Cet article explorera les pratiques innovantes des laboratoires EXO et le rôle important des puces M4 dans le domaine de l'informatique locale d'IA.
Dans le domaine de l'intelligence artificielle générative, les efforts d'Apple semblent se concentrer principalement sur les appareils mobiles, en particulier les derniers systèmes iOS18. Cependant, les nouvelles puces Apple M4 montrent des performances solides dans les dernières versions de Mac Mini et MacBook Pro, leur permettant de gérer efficacement les modèles de base de base open source les plus puissants (LLMS), tels que Meta's LLAMA-3.1405B. Qwen2.5coder-32b.
EXO Labs est une startup fondée en mars 2024 dédiée à "l'accès à l'intelligence artificielle distribuée", et son cofondateur Alex Cheema l'a construit avec plusieurs appareils M4.
Il a connecté quatre Mac Mini M4S (599 $ chacun) à un MacBook Pro M4max (1599 $) et a exécuté QWEN2.5CODER-32B d'Alibaba via le logiciel open source d'EXO. Le coût de l'ensemble du cluster est d'environ 5 000 $, ce qui est extrêmement rentable par rapport à un NVIDIA H100GPU d'une valeur de 25 000 $ à 30 000 $.
Les avantages de l'utilisation de clusters de calcul locaux plutôt que des services de réseau sont évidents. En exécutant des modèles d'IA sur un dispositif contrôlé par l'utilisateur ou l'entreprise, il peut réduire efficacement les coûts tout en améliorant la confidentialité et la sécurité. Qima a déclaré que EXO Labs améliore constamment son logiciel de niveau d'entreprise, et que plusieurs sociétés utilisent actuellement des logiciels EXO pour le raisonnement d'IA local, et cette tendance s'étendra progressivement aux particuliers et aux entreprises à l'avenir.
Le succès récent d'Exo Labs est dû aux performances puissantes de la puce M4, qui est connue comme le «noyau GPU le plus rapide au monde».
Qima a révélé que le cluster Mac Mac M4 d'EXO Labs est capable d'exécuter QWEN2.5CODER32B à 18 marqueurs par seconde et Nemotron-70b à 8 marqueurs par seconde. Cela montre que les utilisateurs peuvent gérer efficacement les tâches de formation et de raisonnement d'IA sans s'appuyer sur les infrastructures cloud, ce qui rend les consommateurs et les entreprises sensibles à la confidentialité et aux coûts basés sur l'IA plus accessibles.
Pour soutenir davantage cette vague d'innovation d'IA locale, EXO Labs prévoit de lancer un site Web d'analyse comparative gratuite pour fournir des comparaisons de configuration matérielle détaillées pour aider les utilisateurs à choisir la meilleure solution d'opération LLM en fonction de leurs besoins et de leurs budgets.
Entrée du projet: https://github.com/exo-explore/exo
Points:
EXO Labs exécute avec succès un puissant modèle d'IA open source sur les clusters informatiques locaux à l'aide de puces Apple M4.
L'exécution des modèles d'IA réduit localement les coûts, améliore la confidentialité et la sécurité et évite la dépendance à l'égard des services cloud.
EXO Labs lancera un site Web d'analyse comparative pour aider les utilisateurs à choisir la bonne configuration matérielle pour les tâches IA.
Les histoires de réussite d'Exo Labs fournissent une nouvelle orientation pour le développement de l'informatique locale d'IA, et indiquent également que les applications de l'IA deviendront plus populaires à l'avenir, bénéficiant à plus d'individus et d'entreprises. Les performances solides de la puce M4 et la commodité des logiciels open source EXO Labs ont conjointement favorisé la démocratisation de la technologie de l'IA et méritent une attention continue.