苹果M4芯片的强劲性能正在推动本地人工智能的快速发展。Exo Labs公司巧妙地利用多台搭载M4芯片的Mac设备构建了一个低成本、高性能的本地AI计算集群，成功运行了多个大型语言模型（LLMs），这为个人和企业带来了更经济、更私密的人工智能解决方案。Downcodes小编将带你深入了解这一突破性进展。
在生成式人工智能领域，苹果的努力似乎主要集中在移动设备上，尤其是最新的 iOS18系统。然而，新的 Apple M4芯片在最新发布的 Mac Mini 和 Macbook Pro 中展现出强大的性能，使其能够有效运行目前最强大的开源基础大语言模型（LLMs），如 Meta 的 Llama-3.1405B、Nvidia 的 Nemotron70B 和 Qwen2.5Coder-32B。
Exo Labs 是一家成立于2024年3月的初创公司，致力于 “民主化人工智能的访问”，其联合创始人亚历克斯・奇马（Alex Cheema）已经成功地利用多台 M4设备搭建了一个本地计算集群。
他将四台 Mac Mini M4（每台售价599美元）与一台 Macbook Pro M4Max(售价1599美元)相连，通过 Exo 的开源软件运行了阿里巴巴的 Qwen2.5Coder-32B。整个集群的成本大约为5000美元，相较于一台价值25000到30000美元的 Nvidia H100GPU 来说，性价比极高。
使用本地计算集群而非网络服务的好处显而易见。通过在用户或企业控制的设备上运行 AI 模型，可以有效降低成本，同时提升隐私和安全性。奇马表示，Exo Labs 正在不断完善其企业级软件，目前已有几家公司在使用 Exo 软件进行本地 AI 推理，未来这一趋势将逐步向个人和企业扩展。
Exo Labs 近期的成功得益于 M4芯片的强大性能，该芯片被称为 “全球最快的 GPU 核心”。
奇马透露，Exo Labs 的 Mac Mini M4集群能够以每秒18个标记的速度运行 Qwen2.5Coder32B，并以每秒8个标记的速度运行 Nemotron-70B。这表明，用户无需依赖云基础设施就能高效处理 AI 训练和推理任务，使 AI 对隐私和成本敏感的消费者和企业变得更加可及。
为了进一步支持这一本地 AI 创新的浪潮，Exo Labs 计划推出一个免费的基准测试网站，以提供详细的硬件配置比较，帮助用户根据需求和预算选择最佳的 LLM 运行解决方案。
项目入口:https://github.com/exo-explore/exo
Exo Labs 的成功案例展示了苹果M4芯片在本地AI应用中的巨大潜力，也预示着未来个人和企业将拥有更便捷、更经济、更私密的AI体验。 这将进一步推动人工智能技术的普及和应用，为各行各业带来更多创新机会。 期待Exo Labs未来带来更多惊喜！