Apple の M4 チップの強力なパフォーマンスが、ローカル人工知能の急速な開発を推進しています。 Exo Labs は、M4 チップを搭載した複数の Mac デバイスを巧みに使用して、低コストで高性能のローカル AI コンピューティング クラスターを構築し、複数の大規模言語モデル (LLM) を実行することに成功しました。これにより、個人や企業に、よりプライベートな人工的でより経済的なメリットがもたらされました。インテリジェンスソリューション。 Downcodes のエディターは、この画期的な進歩についての深い理解を提供します。
生成人工知能の分野では、Apple の取り組みは主にモバイルデバイス、特に最新の iOS18 システムに焦点を当てているようです。ただし、新しい Apple M4 チップは、新しくリリースされた Mac Mini および Macbook Pro で強力なパフォーマンスを実証しており、Meta の Llama-3.1405B、Nvidia のNemotron70B と Qwen2.5Coder-32B。
Exo Labs は 2024 年 3 月に設立されたスタートアップで、「人工知能へのアクセスの民主化」に取り組んでおり、その共同創設者である Alex Cheema 氏は、複数の M4 デバイスを使用したローカル コンピューティング クラスターの構築に成功しました。
彼は 4 台の Mac Mini M4 (価格はそれぞれ 599 ドル) を Macbook Pro M4Max (価格は 1,599 ドル) に接続し、Exo のオープンソース ソフトウェアを通じて Alibaba の Qwen2.5Coder-32B を実行しました。クラスター全体の費用は約 5,000 米ドルで、25,000 〜 30,000 米ドル相当の Nvidia H100 GPU と比較すると、非常にコスト効率が高くなります。
ネットワーク サービスの代わりにローカル コンピューティング クラスターを使用する利点は明らかです。ユーザーまたは企業が制御するデバイス上で AI モデルを実行することで、プライバシーとセキュリティを向上させながらコストを効果的に削減できます。 Chima 氏は、Exo Labs はエンタープライズ レベルのソフトウェアを継続的に改善しており、現在いくつかの企業がローカル AI 推論に Exo ソフトウェアを使用しており、将来的にはこの傾向が徐々に個人や企業にも拡大されるだろうと述べています。
Exo Labs の最近の成功は、「世界最速の GPU コア」と宣伝されている M4 チップの強力なパフォーマンスによるものです。
Qima は、Exo Labs の Mac Mini M4 クラスターが Qwen2.5Coder32B を 1 秒あたり 18 マーク、Nemotron-70B を 8 マーク/秒で実行できることを明らかにしました。これは、ユーザーがクラウド インフラストラクチャに依存せずに AI のトレーニングと推論タスクを効率的に処理できることを示しており、プライバシーとコストに敏感な消費者や企業にとって AI がより利用しやすくなります。
このローカル AI イノベーションの波をさらにサポートするために、Exo Labs は、ユーザーがニーズと予算に基づいて最適な LLM 実行ソリューションを選択できるように、ハードウェア構成の詳細な比較を提供する無料のベンチマーク Web サイトを立ち上げる予定です。
プロジェクト入口: https://github.com/exo-explore/exo
Exo Labs の成功事例は、ローカル AI アプリケーションにおける Apple の M4 チップの大きな可能性を実証するとともに、個人や企業が将来、より便利で経済的なプライベート AI エクスペリエンスを得ることができることを示しています。 これにより、人工知能技術の普及と応用がさらに促進され、あらゆる階層にさらなるイノベーションの機会がもたらされるでしょう。 今後もExo Labsからのさらなるサプライズにご期待ください!