Die starke Leistung des M4-Chips von Apple treibt die rasante Entwicklung lokaler künstlicher Intelligenz voran. Exo Labs nutzte geschickt mehrere mit M4-Chips ausgestattete Mac-Geräte, um einen kostengünstigen, leistungsstarken lokalen KI-Computing-Cluster aufzubauen und mehrere große Sprachmodelle (LLMs) erfolgreich auszuführen, was Einzelpersonen und Unternehmen mehr wirtschaftliche Vorteile brachte, mehr private künstliche Intelligence-Lösungen. Der Herausgeber von Downcodes wird Ihnen einen detaillierten Einblick in diesen bahnbrechenden Fortschritt geben.
Im Bereich der generativen künstlichen Intelligenz scheinen sich die Bemühungen von Apple hauptsächlich auf mobile Geräte zu konzentrieren, insbesondere auf das neueste iOS18-System. Der neue Apple M4-Chip hat jedoch in den neu veröffentlichten Mac Mini und Macbook Pro eine starke Leistung gezeigt, sodass er die derzeit leistungsstärksten Open-Source-Basis-LLMs (Basic Large Language Models) wie Metas Llama-3.1405B und Nvidias effektiv ausführen kann Nemotron70B und Qwen2.5Coder-32B.
Exo Labs ist ein im März 2024 gegründetes Startup, das sich der „Demokratisierung des Zugangs zu künstlicher Intelligenz“ verschrieben hat. Sein Mitbegründer Alex Cheema hat mit mehreren M4-Geräten erfolgreich einen lokalen Computercluster aufgebaut.
Er schloss vier Mac Mini M4 (jeweils zum Preis von 599 US-Dollar) an ein Macbook Pro M4Max (zum Preis von 1.599 US-Dollar) an und betrieb Alibabas Qwen2.5Coder-32B über die Open-Source-Software von Exo. Der gesamte Cluster kostet etwa 5.000 US-Dollar, was im Vergleich zu einer Nvidia H100-GPU im Wert von 25.000 bis 30.000 US-Dollar äußerst kostengünstig ist.
Die Vorteile der Verwendung eines lokalen Computerclusters anstelle eines Netzwerkdienstes liegen auf der Hand. Durch die Ausführung von KI-Modellen auf Geräten, die von Benutzern oder Unternehmen kontrolliert werden, können die Kosten effektiv gesenkt und gleichzeitig der Datenschutz und die Sicherheit verbessert werden. Chima sagte, dass Exo Labs seine Software auf Unternehmensebene ständig verbessert. Derzeit wird sich dieser Trend schrittweise auf Einzelpersonen und Unternehmen ausweiten.
Der jüngste Erfolg von Exo Labs ist auf die starke Leistung des M4-Chips zurückzuführen, der als „schnellster GPU-Kern der Welt“ gilt.
Qima gab bekannt, dass der Mac Mini M4-Cluster von Exo Labs Qwen2.5Coder32B mit 18 Mark pro Sekunde und Nemotron-70B mit 8 Mark pro Sekunde ausführen kann. Dies zeigt, dass Benutzer KI-Schulungs- und Inferenzaufgaben effizient bewältigen können, ohne auf eine Cloud-Infrastruktur angewiesen zu sein, wodurch KI für Verbraucher und Unternehmen, die auf Datenschutz und Kosten achten, leichter zugänglich wird.
Um diese Welle lokaler KI-Innovationen weiter zu unterstützen, plant Exo Labs die Einführung einer kostenlosen Benchmarking-Website, die detaillierte Vergleiche der Hardwarekonfigurationen bietet und Benutzern dabei hilft, die beste LLM-Lauflösung basierend auf ihren Anforderungen und ihrem Budget auszuwählen.
Projekteingang: https://github.com/exo-explore/exo
Der erfolgreiche Fall von Exo Labs zeigt das enorme Potenzial des M4-Chips von Apple in lokalen KI-Anwendungen und zeigt auch, dass Einzelpersonen und Unternehmen in Zukunft ein bequemeres, wirtschaftlicheres und privateres KI-Erlebnis haben werden. Dies wird die Popularisierung und Anwendung der Technologie der künstlichen Intelligenz weiter vorantreiben und mehr Innovationsmöglichkeiten für alle Lebensbereiche eröffnen. Freuen Sie sich in Zukunft auf weitere Überraschungen von Exo Labs!