Die starke Leistung des M4 -Chips von Apple treibt die Innovation in der lokalen künstlichen Intelligenz -Computing vor. EXO Labs verwendeten geschickt mehrere Mac-Geräte, die mit M4-Chips ausgestattet waren, um einen kostengünstigen lokalen AI-Computing-Cluster zu erstellen und mehrere große Open-Source-Sprachmodelle (LLMs) wie LLAM-3.1405B, Nemotron70b und QWEN2.5Coder-32b erfolgreich auszuführen. Dieser Durchbruch senkt nicht nur die Kosten für KI -Anwendungen, sondern verbessert auch die Datenschutz und die Sicherheit von Daten erheblich, wodurch Einzelpersonen und Unternehmen eine bequemere und sichere KI -Erfahrung verleiht. In diesem Artikel werden die innovativen Praktiken von EXO -Labors und die wichtige Rolle von M4 -Chips im Bereich lokaler AI -Computing untersucht.
Im Bereich der generativen künstlichen Intelligenz scheinen sich die Bemühungen von Apple hauptsächlich auf mobile Geräte zu konzentrieren, insbesondere auf die neuesten iOS18 -Systeme. Die neuen Apple M4-Chips zeigen jedoch eine starke Leistung in den neuesten Veröffentlichungen von Mac Mini und MacBook Pro, sodass sie die leistungsstärksten Open-Source-Basic-Modelle (LLMs) wie die LLAMA-3,1405B von Meta effektiv durchführen können QWEN2.5CODER-32B.
EXO LABS ist ein Startup, das im März 2024 gegründet wurde, der sich dem "verteilten Zugang für künstliche Intelligenz" widmet, und der Mitbegründer Alex Cheema hat es erfolgreich mit mehreren M4-Geräten gebaut.
Er verband vier Mac Mini M4S (jeweils 599 US-Dollar) mit einem MacBook Pro M4max (1599 US-Dollar) und leitete die Open-Source-Software von EXO von Alibaba von QWEN2.5CODER-32B. Die Kosten für den gesamten Cluster betragen etwa 5.000 US-Dollar, was im Vergleich zu einer NVIDIA H100GPU im Wert von 25.000 bis 30.000 US-Dollar äußerst effektiv ist.
Die Vorteile der Verwendung lokaler Rechencluster und nicht der Netzwerkdienste sind offensichtlich. Durch das Ausführen von KI-Modellen auf einem Benutzer- oder Unternehmenskontrollierten kann es die Kosten effektiv senken und gleichzeitig die Privatsphäre und Sicherheit verbessern. Laut Qima verbessert EXO Labs die Software auf Unternehmensebene ständig, und mehrere Unternehmen verwenden derzeit EXO-Software für lokale KI-Argumentation, und dieser Trend wird in Zukunft schrittweise auf Einzelpersonen und Unternehmen ausdehnen.
Der jüngste Erfolg von Exo Labs ist auf die starke Leistung des M4 -Chips zurückzuführen, der als "weltbester GPU -Kern" bekannt ist.
Qima ergab, dass der Mac Mini M4-Cluster von EXO Labs QWEN2.5CODER32B mit 18 Markierungen pro Sekunde und Nemotron-70b bei 8 Marker pro Sekunde ausführen kann. Dies zeigt, dass Benutzer die KI-Schulungs- und Argumentationsaufgaben effizient abschätzen können, ohne sich auf die Cloud-Infrastruktur zu verlassen und KI-basierte Datenschutz- und Kostensensitive Verbraucher und Unternehmen zugänglicher zu machen.
Um diese Welle lokaler KI -Innovationen weiter zu unterstützen, plant EXO Labs, eine kostenlose Benchmarking -Website zu starten, um detaillierte Hardware -Konfigurationsvergleiche bereitzustellen, damit Benutzer die beste LLM -Betriebslösung basierend auf ihren Anforderungen und Budgets auswählen können.
Projekteingang: https://github.com/exo-explore/exo
Punkte:
EXO LABS führt mit Apple M4 -Chips erfolgreich ein leistungsstarkes Open -Source -KI -Modell für lokale Computercluster aus.
Durch das Ausführen von KI -Modellen reduziert lokal die Kosten, verbessert die Privatsphäre und Sicherheit und vermeidet die Abhängigkeit von Cloud -Diensten.
EXO LABS startet eine Benchmarking -Website, mit der Benutzer die richtige Hardwarekonfiguration für KI -Aufgaben auswählen können.
Die Erfolgsgeschichten von Exo Labs bieten eine neue Richtung für die Entwicklung des lokalen AI -Computing und zeigen auch, dass KI -Anwendungen in Zukunft populärer werden und mehr Einzelpersonen und Unternehmen zugute kommen. Die starke Leistung des M4 -Chips und die Bequemlichkeit der Open -Source -Software von EXO Labs hat gemeinsam die Demokratisierung der KI -Technologie gefördert und verdient kontinuierliche Aufmerksamkeit.