O forte desempenho do chip M4 da Apple está impulsionando a inovação na computação local de inteligência artificial. O EXO Labs usou inteligentemente vários dispositivos Mac equipados com chips M4 para construir um cluster de computação local de IA local, executando com sucesso vários grandes modelos de linguagem de código aberto (LLMS), como LLAMA-3.1405B, Nemotron70B e Qwen2.5Coder- 32b. Esse avanço não apenas reduz o custo dos aplicativos de IA, mas também melhora significativamente a privacidade e a segurança de dados, trazendo uma experiência de IA mais conveniente e segura para indivíduos e empresas. Este artigo explorará as práticas inovadoras do EXO Labs e o importante papel dos chips M4 no campo da computação local de IA.
No campo da inteligência artificial generativa, os esforços da Apple parecem se concentrar principalmente em dispositivos móveis, especialmente nos mais recentes sistemas iOS18. No entanto, os novos chips da Apple M4 mostram um forte desempenho nos lançamentos mais recentes do MAC Mini e do MacBook Pro, permitindo que eles executem efetivamente os modelos de linguagem de grande porte (LLMS) de código aberto mais poderosos, como o LLAMA-3.1405B da Meta Qwen2.5Coder-32b.
O EXO Labs é uma startup fundada em março de 2024, dedicada ao "Acesso à Inteligência Artificial Distribuído", e seu co-fundador Alex Cheema o construiu com sucesso com vários dispositivos M4.
Ele conectou quatro Mac Mini M4S (US $ 599 cada) a um MacBook Pro M4Max (US $ 1599) e executou QWEN2.5Coder-32b da Alibaba através do software de código aberto da EXO. O custo de todo o cluster é de cerca de US $ 5.000, o que é extremamente econômico em comparação com uma NVIDIA H100GPU no valor de US $ 25.000 a US $ 30.000.
Os benefícios do uso de clusters de computação locais em vez de serviços de rede são óbvios. Ao executar modelos de IA em um dispositivo controlado pelo usuário ou empresa, ele pode efetivamente reduzir custos e melhorar a privacidade e a segurança. A QIMA disse que a EXO Labs está constantemente melhorando seu software de nível corporativo, e várias empresas estão atualmente usando o software EXO para o raciocínio local da IA, e essa tendência se expandirá gradualmente a indivíduos e empresas no futuro.
O sucesso recente do EXO Labs se deve ao desempenho poderoso do chip M4, conhecido como o "núcleo mais rápido da GPU do mundo".
A QIMA revelou que o cluster Mac Mini M4 da EXO Labs é capaz de executar QWEN2.5Coder32b a 18 marcadores por segundo e Nemotron-70B a 8 marcadores por segundo. Isso mostra que os usuários podem lidar com eficientemente tarefas de treinamento e raciocínio de IA sem confiar na infraestrutura da nuvem, tornando mais acessíveis os consumidores e empresas sensíveis à privacidade e custos baseados em IA.
Para suportar ainda mais essa onda de inovação local de IA, a EXO Labs planeja lançar um site de benchmarking gratuito para fornecer comparações detalhadas de configuração de hardware para ajudar os usuários a escolher a melhor solução de operação LLM com base em suas necessidades e orçamento.
Entrada do projeto: https://github.com/exo-explore/exo
Pontos:
O EXO Labs executa com sucesso um poderoso modelo de IA de código aberto em clusters de computação local usando chips Apple M4.
A execução dos modelos de IA reduz localmente os custos, melhora a privacidade e a segurança e evita a dependência de serviços em nuvem.
O EXO Labs lançará um site de benchmarking para ajudar os usuários a escolher a configuração certa de hardware para tarefas de IA.
As histórias de sucesso do EXO Labs fornecem uma nova direção para o desenvolvimento da computação local de IA e também indicam que os aplicativos de IA se tornarão mais populares no futuro, beneficiando mais indivíduos e empresas. O forte desempenho do chip M4 e a conveniência do software de código aberto EXO Labs promoveram em conjunto a democratização da tecnologia de IA e merecem atenção contínua.