AppleのM4チップの強力なパフォーマンスは、地元の人工知能コンピューティングの革新を促進しています。 EXO Labsは、M4チップを装備した複数のMACデバイスを巧みに使用して、費用対効果の高いローカルAIコンピューティングクラスターを構築し、LLAMA-3.1405B、Nemotron70B、QWEN2.5CODER-32Bなど、複数の大規模なオープンソース言語モデル（LLMS）を正常に実行しました。このブレークスルーは、AIアプリケーションのコストを削減するだけでなく、データのプライバシーとセキュリティを大幅に改善し、より便利で安全なAIエクスペリエンスを個人や企業にもたらします。この記事では、EXOラボの革新的な慣行と、ローカルAIコンピューティングの分野におけるM4チップの重要な役割について説明します。
生成的人工知能の分野では、Appleの取り組みは主にモバイルデバイス、特に最新のiOS18システムに焦点を当てているようです。ただし、新しいApple M4チップは、Mac MiniおよびMacBook Proの最新リリースで強力なパフォーマンスを示しており、MetaのLlama-3.1405bなどの最も強力なオープンソースの基本的な大手言語モデル（LLM）を効果的に実行できますQWEN2.5CODER-32B。
EXO Labsは、「分散型人工知能アクセス」に捧げられた2024年3月に設立されたスタートアップであり、その共同設立者であるAlex Cheemaは、ローカルコンピューティングクラスターで成功裏に構築されています。
彼は、4つのMac Mini M4（各$ 599）を1つのMacBook Pro M4Max（1599ドル）に接続し、EXOのオープンソースソフトウェアを通じてAlibabaのQWEN2.5Coder-32Bを実行しました。クラスター全体のコストは約5,000ドルです。これは、25,000〜30,000ドル相当のNVIDIA H100GPUと比較して非常に費用対効果が高いです。
ネットワークサービスではなくローカルコンピューティングクラスターを使用することの利点は明らかです。ユーザーまたはエンタープライズ制御のデバイスでAIモデルを実行することにより、プライバシーとセキュリティを改善しながら、コストを効果的に削減できます。 Qima氏によると、EXO Labsは企業レベルのソフトウェアを常に改善しており、いくつかの企業は現在、地元のAI推論にEXOソフトウェアを使用しており、この傾向は将来的には個人や企業に徐々に拡大すると述べました。
EXO Labsの最近の成功は、「世界最速のGPUコア」として知られているM4チップの強力なパフォーマンスによるものです。
Qimaは、EXO LabsのMac Mini M4 Clusterが秒18マーカーでQWEN2.5Coder32Bを、秒あたり8マーカーでNemotron-70Bを実行できることを明らかにしました。これは、ユーザーがクラウドインフラストラクチャに依存することなくAIトレーニングと推論タスクを効率的に処理できることを示しており、AIベースのプライバシーおよびコストに敏感な消費者と企業をよりアクセスしやすくします。
この地元のAIイノベーションの波をさらにサポートするために、EXO Labsは無料のベンチマークWebサイトを立ち上げて、詳細なハードウェア構成の比較を提供して、ユーザーがニーズと予算に基づいて最適なLLM操作ソリューションを選択できるようにします。
プロジェクトの入り口：https：//github.com/exo-explore/exo
ポイント：
EXO Labsは、Apple M4チップを使用してローカルコンピューティングクラスターで強力なオープンソースAIモデルを正常に実行します。
AIモデルを実行すると、コストが削減され、プライバシーとセキュリティが向上し、クラウドサービスへの依存が回避されます。
EXO Labsは、ベンチマークWebサイトを起動して、ユーザーがAIタスクに適したハードウェア構成を選択できるようにします。
EXO Labsのサクセスストーリーは、ローカルAIコンピューティングの開発のための新しい方向性を提供し、AIアプリケーションが将来より人気になり、より多くの個人や企業に利益をもたらすことを示しています。 M4チップの強力なパフォーマンスとEXO Labsオープンソースソフトウェアの利便性は、AIテクノロジーの民主化を共同で促進し、継続的な注目に値します。