O forte desempenho do chip M4 da Apple está impulsionando o rápido desenvolvimento da inteligência artificial local. Exo Labs usou inteligentemente vários dispositivos Mac equipados com chips M4 para construir um cluster de computação de IA local de baixo custo e alto desempenho e executou com sucesso vários modelos de linguagem grande (LLMs), que trouxeram benefícios mais econômicos para indivíduos e empresas, mais artificiais privados. soluções de inteligência. O editor de Downcodes lhe dará uma compreensão profunda desse progresso revolucionário.
No campo da inteligência artificial generativa, os esforços da Apple parecem centrar-se principalmente nos dispositivos móveis, especialmente no mais recente sistema iOS18. No entanto, o novo chip Apple M4 demonstrou desempenho poderoso nos recém-lançados Mac Mini e Macbook Pro, permitindo que ele execute com eficácia os modelos básicos de linguagem grande (LLMs) de código aberto mais poderosos atualmente disponíveis, como Llama-3.1405B da Meta, Nvidia Nemotron70B e Qwen2.5Coder-32B.
Exo Labs é uma startup fundada em março de 2024 que está comprometida em “democratizar o acesso à inteligência artificial”. Seu cofundador Alex Cheema construiu com sucesso um cluster de computação local usando vários dispositivos M4.
Ele conectou quatro Mac Mini M4s (cada um com preço de US$ 599) a um Macbook Pro M4Max (com preço de US$ 1.599), executando o Qwen2.5Coder-32B do Alibaba por meio do software de código aberto da Exo. O cluster inteiro custa aproximadamente US$ 5.000, o que é extremamente econômico em comparação com uma GPU Nvidia H100 no valor de US$ 25.000 a US$ 30.000.
Os benefícios de usar um cluster de computação local em vez de um serviço de rede são claros. Ao executar modelos de IA em dispositivos controlados por usuários ou empresas, os custos podem ser efetivamente reduzidos e, ao mesmo tempo, melhorar a privacidade e a segurança. Chima disse que o Exo Labs está constantemente melhorando seu software de nível empresarial. Várias empresas estão atualmente usando o software Exo para raciocínio de IA local. No futuro, essa tendência se expandirá gradualmente para indivíduos e empresas.
O sucesso recente do Exo Labs se deve ao poderoso desempenho do chip M4, que é considerado “o núcleo de GPU mais rápido do mundo”.
Qima revelou que o cluster Mac Mini M4 da Exo Labs é capaz de executar Qwen2.5Coder32B a 18 marcos por segundo e Nemotron-70B a 8 marcos por segundo. Isso mostra que os usuários podem lidar com eficiência com tarefas de treinamento e inferência de IA sem depender da infraestrutura em nuvem, tornando a IA mais acessível para consumidores e empresas que são sensíveis à privacidade e aos custos.
Para apoiar ainda mais esta onda de inovação local em IA, a Exo Labs planeja lançar um site de benchmarking gratuito para fornecer comparações detalhadas de configurações de hardware para ajudar os usuários a escolher a melhor solução de execução LLM com base em suas necessidades e orçamento.
Entrada do projeto: https://github.com/exo-explore/exo
O caso de sucesso do Exo Labs demonstra o enorme potencial do chip M4 da Apple em aplicações locais de IA e também indica que indivíduos e empresas terão uma experiência de IA mais conveniente, econômica e privada no futuro. Isto promoverá ainda mais a popularização e aplicação da tecnologia de inteligência artificial e trará mais oportunidades de inovação para todas as esferas da vida. Espere por mais surpresas do Exo Labs no futuro!