Apple의 M4 칩의 강력한 성능은 로컬 인공 지능의 급속한 발전을 주도하고 있습니다. Exo Labs는 M4 칩이 장착된 여러 Mac 장치를 교묘하게 사용하여 저비용, 고성능 로컬 AI 컴퓨팅 클러스터를 구축하고 여러 LLM(대형 언어 모델)을 성공적으로 실행하여 개인과 기업에 더 경제적인 이점을 제공했습니다. 지능 솔루션. Downcodes의 편집자는 이 획기적인 진행 상황에 대한 심층적인 이해를 제공할 것입니다.
생성 인공지능 분야에서 애플의 노력은 주로 모바일 기기, 특히 최신 iOS18 시스템에 집중되어 있는 것으로 보인다. 그러나 새로운 Apple M4 칩은 새로 출시된 Mac Mini 및 Macbook Pro에서 강력한 성능을 입증하여 Meta의 Llama-3.1405B, Nvidia의 Nemotron70B 및 Qwen2.5Coder-32B.
엑소랩스는 2024년 3월 설립된 스타트업으로 '인공지능에 대한 접근 민주화'를 목표로 하고 있다. 공동 창업자인 알렉스 치마(Alex Cheema)는 여러 M4 기기를 사용해 로컬 컴퓨팅 클러스터를 성공적으로 구축했다.
그는 4개의 Mac Mini M4(각각 599달러)를 Macbook Pro M4Max(1,599달러)에 연결하고 Exo의 오픈 소스 소프트웨어를 통해 Alibaba의 Qwen2.5Coder-32B를 실행했습니다. 전체 클러스터 비용은 약 US$5,000이며, 이는 US$25,000~US$30,000 상당의 Nvidia H100 GPU에 비해 매우 비용 효율적입니다.
네트워크 서비스 대신 로컬 컴퓨팅 클러스터를 사용하면 얻을 수 있는 이점은 분명합니다. 사용자나 기업이 제어하는 장치에서 AI 모델을 실행하면 개인 정보 보호와 보안을 향상시키면서 비용을 효과적으로 줄일 수 있습니다. Chima는 Exo Labs가 지속적으로 기업 수준의 소프트웨어를 개선하고 있다고 말했습니다. 현재 여러 회사에서 로컬 AI 추론을 위해 Exo 소프트웨어를 사용하고 있으며 이러한 추세는 점차 개인과 기업으로 확대될 것입니다.
엑소랩스의 최근 성공은 '세계에서 가장 빠른 GPU 코어'라 불리는 M4 칩의 강력한 성능 덕분이다.
Qima는 Exo Labs의 Mac Mini M4 클러스터가 Qwen2.5Coder32B를 초당 18마크로, Nemotron-70B를 초당 8마크로 실행할 수 있다고 밝혔습니다. 이는 사용자가 클라우드 인프라에 의존하지 않고도 AI 훈련 및 추론 작업을 효율적으로 처리할 수 있어 개인 정보 보호 및 비용에 민감한 소비자와 기업이 AI에 더 쉽게 접근할 수 있음을 보여줍니다.
이러한 로컬 AI 혁신의 물결을 더욱 지원하기 위해 Exo Labs는 사용자가 필요와 예산에 따라 최고의 LLM 실행 솔루션을 선택할 수 있도록 자세한 하드웨어 구성 비교를 제공하는 무료 벤치마킹 웹사이트를 시작할 계획입니다.
프로젝트 입구: https://github.com/exo-explore/exo
Exo Labs의 성공적인 사례는 로컬 AI 애플리케이션에서 Apple M4 칩의 엄청난 잠재력을 보여주며, 또한 개인과 기업이 앞으로 더욱 편리하고 경제적이며 프라이빗한 AI 경험을 갖게 될 것임을 나타냅니다. 이는 인공지능 기술의 대중화와 적용을 더욱 촉진하고 각계각층에 더 많은 혁신 기회를 가져올 것입니다. 앞으로도 Exo Labs에서 더 많은 놀라움을 기대해주세요!