Apple의 M4 Chip의 강력한 성능은 지역 인공 지능 컴퓨팅의 혁신을 주도하고 있습니다. Exo Labs는 M4 칩이 장착 된 여러 Mac 장치를 사용하여 비용 효율적인 로컬 AI 컴퓨팅 클러스터를 구축하고 LLAMA-3.1405B, Nemotron70B 및 QWEN2.5Coder-32B와 같은 여러 대형 오픈 소스 언어 모델 (LLM)을 성공적으로 실행했습니다. 이러한 돌파구는 AI 애플리케이션의 비용을 줄일뿐만 아니라 데이터 개인 정보 및 보안을 크게 향상시켜 개인과 기업에보다 편리하고 안전한 AI 경험을 제공합니다. 이 기사는 EXO Labs의 혁신적인 관행과 로컬 AI 컴퓨팅 분야에서 M4 칩의 중요한 역할을 탐구 할 것입니다.
생성 인공 지능 분야에서 Apple의 노력은 주로 모바일 장치, 특히 최신 iOS18 시스템에 초점을 맞추는 것으로 보입니다. 그러나 새로운 Apple M4 Chips는 Mac Mini 및 MacBook Pro의 최신 릴리스에서 강력한 성능을 보여 주어 Meta의 LLAMA-3.1405B와 같은 가장 강력한 오픈 소스 기본 대형 언어 모델 (LLM)을 효과적으로 실행할 수 있습니다 Qwen2.5coder-32b.
Exo Labs는 2024 년 3 월에 "분산 인공 지능 액세스"에 전념 한 스타트 업이며, 공동 창립자 인 Alex Cheema는 여러 M4 장치로 성공적으로 구축했습니다.
그는 4 개의 Mac Mini M4 (각각 $ 599)를 MacBook Pro M4max 1 개 (1599 달러)에 연결하고 EXO의 오픈 소스 소프트웨어를 통해 Alibaba의 QWEN2.5CODER-32B를 실행했습니다. 전체 클러스터의 비용은 약 $ 5,000이며, 이는 25,000 달러에서 30,000 달러의 NVIDIA H100GPU에 비해 매우 비용 효율적입니다.
네트워크 서비스 대신 로컬 컴퓨팅 클러스터를 사용하면 이점이 분명합니다. 사용자 또는 엔터프라이즈 제어 장치에서 AI 모델을 실행하면 개인 정보 및 보안을 개선하면서 비용을 효과적으로 줄일 수 있습니다. QIMA는 EXO Labs가 지속적으로 엔터프라이즈 수준의 소프트웨어를 개선하고 있으며 일부 회사는 현재 지역 AI 추론을 위해 EXO 소프트웨어를 사용하고 있으며 이러한 추세는 향후 개인 및 기업으로 점차 확장 될 것이라고 말했다.
Exo Labs의 최근 성공은 "세계에서 가장 빠른 GPU 코어"라고 알려진 M4 Chip의 강력한 성능 때문입니다.
QIMA는 Exo Labs의 MAC MINI M4 클러스터가 초당 18 마커로 QWEN2.5Coder32B를, 초당 8 마커로 Nemotron-70B를 실행할 수 있음을 밝혀 냈습니다. 이는 사용자가 클라우드 인프라에 의존하지 않고 AI 교육 및 추론 작업을 효율적으로 처리하여 AI 기반 개인 정보 보호 및 비용에 민감한 소비자 및 비즈니스에 더 액세스 할 수 있음을 보여줍니다.
이 지역 AI 혁신의 물결을 더욱 지원하기 위해 EXO Labs는 무료 하드웨어 구성 비교를 제공하여 사용자가 요구 사항과 예산에 따라 최고의 LLM 운영 솔루션을 선택할 수 있도록 무료 하드웨어 구성 비교를 제공 할 계획입니다.
프로젝트 입구 : https://github.com/exo-explore/exo
전철기:
EXO Labs는 Apple M4 칩을 사용하여 로컬 컴퓨팅 클러스터에서 강력한 오픈 소스 AI 모델을 성공적으로 실행합니다.
AI 모델을 실행하면 로컬로 비용이 줄어들고 개인 정보 및 보안을 향상 시키며 클라우드 서비스에 대한 의존성을 피합니다.
EXO Labs는 사용자가 AI 작업에 적합한 하드웨어 구성을 선택할 수 있도록 벤치마킹 웹 사이트를 시작합니다.
Exo Labs의 성공 사례는 로컬 AI 컴퓨팅 개발을위한 새로운 방향을 제공하며 AI 응용 프로그램이 미래에 더 인기를 얻어 더 많은 개인과 기업에 도움이 될 것임을 나타냅니다. M4 Chip의 강력한 성능과 Exo Labs 오픈 소스 소프트웨어의 편의성은 AI 기술의 민주화를 공동으로 홍보하고 지속적인 관심을받을 자격이 있습니다.