蘋果M4晶片的強勁性能正在推動本地人工智慧的快速發展。 Exo Labs公司巧妙地利用多台搭載M4晶片的Mac設備建構了一個低成本、高效能的本地AI運算集群，成功運行了多個大型語言模型（LLMs），這為個人和企業帶來了更經濟、更私密的人工智慧解決方案。 Downcodes小編將帶你深入了解這項突破性進展。
在生成式人工智慧領域，蘋果的努力似乎主要集中在行動裝置上，尤其是最新的iOS18系統。然而，新的Apple M4晶片在最新發布的Mac Mini 和Macbook Pro 中展現出強大的性能，使其能夠有效運行目前最強大的開源基礎大語言模型（LLMs），如Meta 的Llama-3.1405B、 Nvidia 的Nemotron70B 和Qwen2.5Coder-32B。
Exo Labs 是一家成立於2024年3月的新創公司，致力於“民主化人工智慧的訪問”，其聯合創始人亞歷克斯・奇馬（Alex Cheema）已經成功地利用多台M4設備搭建了一個本地計算集群。
他將四台Mac Mini M4（每台售價599美元）與一台Macbook Pro M4Max(售價1599美元)相連，透過Exo 的開源軟體運行了阿里巴巴的Qwen2.5Coder-32B。整個集群的成本約為5000美元，相較於一台價值25000到30000美元的Nvidia H100GPU 來說，性價比極高。
使用本地運算叢集而非網路服務的好處顯而易見。透過在使用者或企業控制的裝置上運行AI 模型，可以有效降低成本，同時提升隱私和安全性。奇馬錶示，Exo Labs 正在不斷完善其企業級軟體，目前已有幾家公司在使用Exo 軟體進行本地AI 推理，未來這一趨勢將逐步向個人和企業擴展。
Exo Labs 近期的成功得益於M4晶片的強大性能，該晶片被稱為「全球最快的GPU 核心」。
奇馬透露，Exo Labs 的Mac Mini M4集群能夠以每秒18個標記的速度運行Qwen2.5Coder32B，並以每秒8個標記的速度運行Nemotron-70B。這表明，使用者無需依賴雲端基礎設施就能高效處理AI 訓練和推理任務，使AI 對隱私和成本敏感的消費者和企業變得更加可及。
為了進一步支持這一本地AI 創新的浪潮，Exo Labs 計劃推出一個免費的基準測試網站，以提供詳細的硬體配置比較，幫助用戶根據需求和預算選擇最佳的LLM 運行解決方案。
專案入口:https://github.com/exo-explore/exo
Exo Labs 的成功案例展示了蘋果M4晶片在本地AI應用中的巨大潛力，也預示著未來個人和企業將擁有更便利、更經濟、更私密的AI體驗。 這將進一步推動人工智慧技術的普及和應用，為各行各業帶來更多創新機會。 期待Exo Labs未來帶來更多驚喜！