Сильная производительность чипа Apple M4 способствует инновациям в местных вычислениях искусственного интеллекта. Exo Labs умело использовали несколько устройств Mac, оснащенных чипами M4 для создания экономически эффективного локального кластера ИИ, успешно запуская несколько крупных моделей с открытым исходным кодом (LLMS), таких как Llama-3.1405b, Nemotron70b и Qwen2.5coder-32b. Этот прорыв не только снижает стоимость приложений искусственного интеллекта, но и значительно улучшает конфиденциальность и безопасность данных, принося более удобный и безопасный опыт ИИ для отдельных лиц и предприятий. В этой статье будут изучены инновационные практики лабораторий EXO и важную роль чипов M4 в области локальных вычислений искусственного интеллекта.
В области генеративного искусственного интеллекта усилия Apple, похоже, фокусируются в первую очередь на мобильных устройствах, особенно на последних системах iOS18. Тем не менее, новые чипы Apple M4 показывают сильную производительность в последних выпусках Mac Mini и MacBook Pro, что позволяет им эффективно запускать самые мощные базовые крупные языковые модели с открытым исходным кодом (LLMS), такие как Meta Llama-3.1405b Qwen2.5coder-32b.
Exo Labs-это стартап, основанный в марте 2024 года, посвященный «распределенному доступу к искусственному интеллекту», а его соучредитель Алекс Чима успешно создал его с несколькими устройствами M4.
Он подключил Four Mac Mini M4S (599 долларов каждый) с одним MacBook Pro M4Max (1599 долларов) и запустил QWEN2.5Coder-32B от Alibaba через программное обеспечение EXO с открытым исходным кодом. Стоимость всего кластера составляет около 5000 долларов, что чрезвычайно экономически эффективно по сравнению с NVIDIA H100GPU на сумму от 25 000 до 30 000 долларов.
Преимущества использования локальных вычислительных кластеров, а не сетевых услуг очевидны. Запустив модели искусственного интеллекта на устройстве, контролируемое пользователем или предприятием, он может эффективно снизить затраты при повышении конфиденциальности и безопасности. Qima сказал, что Exo Labs постоянно улучшает свое программное обеспечение на уровне предприятия, и в настоящее время несколько компаний используют программное обеспечение EXO для локальных рассуждений с искусственным интеллектом, и эта тенденция будет постепенно расширяться для отдельных лиц и предприятий в будущем.
Недавний успех Exo Labs связан с мощным результатом чипа M4, который известен как «самое быстрое в мире ядро графического процессора».
QIMA показал, что Mac Mini M4 Cluster 'Exo Labs может запускать QWEN2.5Coder32B в 18 маркерах в секунду и Nemotron-70B в 8 маркерах в секунду. Это показывает, что пользователи могут эффективно выполнять обучение ИИ и рассуждать задачи, не полагаясь на облачную инфраструктуру, делая более доступные потребителей и предприятий, чувствительных к конфиденциальности, на основе искусственного интеллекта.
Для дальнейшей поддержки этой волны локальных инноваций в области искусственного интеллекта Exo Labs планирует запустить бесплатный веб -сайт для сравнения для предоставления подробных сравнений конфигурации оборудования, чтобы помочь пользователям выбрать лучшее решение для работы LLM на основе их потребностей и бюджета.
Вход в проект: https://github.com/exo-explore/exo
Очки:
Exo Labs успешно запускает мощную модель ИИ с открытым исходным кодом на локальных компьютерных кластерах с использованием чипов Apple M4.
Запуск моделей ИИ локально снижает затраты, повышает конфиденциальность и безопасность и избегает зависимости от облачных сервисов.
Exo Labs запустит сравнительный веб -сайт, чтобы помочь пользователям выбрать правильную конфигурацию оборудования для задач искусственного интеллекта.
Истории успеха Exo Labs обеспечивают новое направление для разработки местных компьютерных компьютеров, а также указывают на то, что приложения ИИ станут более популярными в будущем, принося пользу большему количеству людей и предприятия. Сильная производительность чипа M4 и удобство программного обеспечения Exo Labs с открытым исходным кодом совместно способствуют демократизации технологии ИИ и заслуживают постоянного внимания.