Высокая производительность чипа Apple M4 способствует быстрому развитию местного искусственного интеллекта. Exo Labs умело использовала несколько устройств Mac, оснащенных чипами M4, для создания недорогого и высокопроизводительного локального вычислительного кластера искусственного интеллекта и успешно запустила несколько больших языковых моделей (LLM), что принесло больше экономических выгод частным лицам и предприятиям, а также больше частных искусственных ресурсов. интеллектуальные решения. Редактор Downcodes даст вам более глубокое понимание этого революционного прогресса.
В области генеративного искусственного интеллекта усилия Apple, похоже, в основном сосредоточены на мобильных устройствах, особенно на новейшей системе iOS18. Тем не менее, новый чип Apple M4 продемонстрировал высокую производительность в недавно выпущенных Mac Mini и Macbook Pro, позволяя ему эффективно запускать самые мощные базовые модели больших языков (LLM) с открытым исходным кодом, доступные в настоящее время, такие как Llama-3.1405B от Meta, Nvidia. Nemotron70B и Qwen2.5Coder-32B.
Exo Labs — это стартап, основанный в марте 2024 года, целью которого является «демократизация доступа к искусственному интеллекту». Его соучредитель Алекс Чима успешно создал локальный вычислительный кластер с использованием нескольких устройств M4.
Он подключил четыре Mac Mini M4 (каждый по цене 599 долларов США) к Macbook Pro M4Max (по цене 1599 долларов США), запустив Qwen2.5Coder-32B от Alibaba через программное обеспечение с открытым исходным кодом Exo. Весь кластер стоит примерно 5000 долларов США, что чрезвычайно рентабельно по сравнению с графическим процессором Nvidia H100 стоимостью от 25 000 до 30 000 долларов США.
Преимущества использования локального вычислительного кластера вместо сетевой службы очевидны. Запуская модели искусственного интеллекта на устройствах, контролируемых пользователями или предприятиями, можно эффективно снизить затраты, одновременно улучшая конфиденциальность и безопасность. Чима сказал, что Exo Labs постоянно совершенствует свое программное обеспечение корпоративного уровня. Несколько компаний в настоящее время используют программное обеспечение Exo для локального анализа ИИ. В будущем эта тенденция постепенно распространится на частных лиц и предприятия.
Недавний успех Exo Labs обусловлен высокой производительностью чипа M4, который позиционируется как «самое быстрое графическое ядро в мире».
Qima сообщил, что кластер Mac Mini M4 от Exo Labs способен работать с Qwen2.5Coder32B со скоростью 18 знаков в секунду и Nemotron-70B со скоростью 8 знаков в секунду. Это показывает, что пользователи могут эффективно решать задачи обучения и вывода ИИ, не полагаясь на облачную инфраструктуру, что делает ИИ более доступным для потребителей и предприятий, которые чувствительны к конфиденциальности и затратам.
Для дальнейшей поддержки этой волны местных инноваций в области искусственного интеллекта Exo Labs планирует запустить бесплатный веб-сайт сравнительного анализа, на котором будет предоставляться подробное сравнение конфигураций оборудования, чтобы помочь пользователям выбрать лучшее решение для работы LLM в соответствии с их потребностями и бюджетом.
Вход в проект: https://github.com/exo-explore/exo
Успешный пример Exo Labs демонстрирует огромный потенциал чипа Apple M4 в локальных приложениях искусственного интеллекта, а также указывает на то, что в будущем частные лица и предприятия получат более удобный, экономичный и конфиденциальный опыт работы с искусственным интеллектом. Это будет способствовать дальнейшему популяризации и применению технологий искусственного интеллекта и предоставит больше возможностей для инноваций во всех сферах жизни. С нетерпением ждем новых сюрпризов от Exo Labs в будущем!