Les solides performances de la puce M4 d'Apple stimulent le développement rapide de l'intelligence artificielle locale. Exo Labs a intelligemment utilisé plusieurs appareils Mac équipés de puces M4 pour créer un cluster informatique d'IA local à faible coût et hautes performances et a exécuté avec succès plusieurs grands modèles de langage (LLM), ce qui a apporté des avantages plus économiques aux particuliers et aux entreprises, plus artificiels privés. solutions de renseignement. L’éditeur de Downcodes vous fera comprendre en profondeur cette avancée révolutionnaire.
Dans le domaine de l’intelligence artificielle générative, les efforts d’Apple semblent se concentrer principalement sur les appareils mobiles, notamment le dernier système iOS18. Cependant, la nouvelle puce Apple M4 a démontré des performances puissantes dans les nouveaux Mac Mini et Macbook Pro, lui permettant d'exécuter efficacement les modèles de langage de base (LLM) open source les plus puissants actuellement disponibles, tels que le Llama-3.1405B de Meta, le Llama-3.1405B de Nvidia. Nemotron70B et Qwen2.5Coder-32B.
Exo Labs est une startup fondée en mars 2024 qui s'engage à « démocratiser l'accès à l'intelligence artificielle ». Son co-fondateur Alex Cheema a réussi à construire un cluster informatique local en utilisant plusieurs appareils M4.
Il a connecté quatre Mac Mini M4 (chacun au prix de 599 $) à un Macbook Pro M4Max (au prix de 1 599 $), exécutant le Qwen2.5Coder-32B d'Alibaba via le logiciel open source d'Exo. L'ensemble du cluster coûte environ 5 000 USD, ce qui est extrêmement rentable par rapport à un GPU Nvidia H100 d'une valeur de 25 000 à 30 000 USD.
Les avantages de l’utilisation d’un cluster informatique local plutôt que d’un service réseau sont évidents. En exécutant des modèles d'IA sur des appareils contrôlés par des utilisateurs ou des entreprises, les coûts peuvent être efficacement réduits tout en améliorant la confidentialité et la sécurité. Chima a déclaré qu'Exo Labs améliore constamment ses logiciels d'entreprise. Plusieurs entreprises utilisent actuellement le logiciel Exo pour le raisonnement de l'IA locale. À l'avenir, cette tendance s'étendra progressivement aux particuliers et aux entreprises.
Le récent succès d'Exo Labs est dû aux puissantes performances de la puce M4, présentée comme « le cœur GPU le plus rapide au monde ».
Qima a révélé que le cluster Mac Mini M4 d'Exo Labs est capable d'exécuter Qwen2.5Coder32B à 18 points par seconde et Nemotron-70B à 8 points par seconde. Cela montre que les utilisateurs peuvent gérer efficacement les tâches de formation et d'inférence de l'IA sans dépendre de l'infrastructure cloud, rendant l'IA plus accessible aux consommateurs et aux entreprises sensibles à la confidentialité et aux coûts.
Pour soutenir davantage cette vague d'innovation locale en matière d'IA, Exo Labs prévoit de lancer un site Web d'analyse comparative gratuit pour fournir des comparaisons détaillées de configuration matérielle afin d'aider les utilisateurs à choisir la meilleure solution d'exécution LLM en fonction de leurs besoins et de leur budget.
Entrée du projet : https://github.com/exo-explore/exo
Le cas réussi d'Exo Labs démontre l'énorme potentiel de la puce M4 d'Apple dans les applications locales d'IA, et indique également que les particuliers et les entreprises bénéficieront à l'avenir d'une expérience d'IA plus pratique, plus économique et plus privée. Cela favorisera davantage la vulgarisation et l’application de la technologie de l’intelligence artificielle et offrira davantage d’opportunités d’innovation à tous les horizons. Attendez-vous à d’autres surprises d’Exo Labs à l’avenir !