Kinerja yang kuat dari chip M4 Apple adalah mendorong inovasi dalam komputasi kecerdasan buatan lokal. Exo Labs secara cerdik menggunakan beberapa perangkat MAC yang dilengkapi dengan chip M4 untuk membangun kluster komputasi AI lokal yang hemat biaya, berhasil menjalankan beberapa model bahasa open source besar (LLM), seperti LLAMA-3.1405B, NEMOTRON70B dan QWEN2.5CODER- 32B. Terobosan ini tidak hanya mengurangi biaya aplikasi AI, tetapi juga secara signifikan meningkatkan privasi dan keamanan data, membawa pengalaman AI yang lebih nyaman dan aman bagi individu dan perusahaan. Artikel ini akan mengeksplorasi praktik inovatif EXO Labs dan peran penting chip M4 di bidang komputasi AI lokal.
Di bidang kecerdasan buatan generatif, upaya Apple tampaknya terutama berfokus pada perangkat seluler, terutama sistem iOS18 terbaru. Namun, chip Apple M4 yang baru menunjukkan kinerja yang kuat dalam rilis terbaru Mac Mini dan MacBook Pro, memungkinkan mereka untuk secara efektif menjalankan model bahasa besar open source basic (LLM) yang paling kuat, seperti Meta Llama-3.1405b Qwen2.5coder-32b.
Exo Labs adalah startup yang didirikan pada Maret 2024 yang didedikasikan untuk "akses kecerdasan buatan yang didistribusikan", dan salah satu pendiri Alex Cheema telah berhasil membangunnya dengan beberapa perangkat M4.
Dia menghubungkan empat Mac Mini M4s (masing-masing $ 599) dengan satu MacBook Pro M4max ($ 1599) dan menjalankan Qwen2.5coder-32b dari Alibaba dari Alibaba melalui perangkat lunak open source EXO. Biaya seluruh cluster adalah sekitar $ 5.000, yang sangat hemat biaya dibandingkan dengan NVIDIA H100GPU senilai $ 25.000 hingga $ 30.000.
Manfaat menggunakan kelompok komputasi lokal daripada layanan jaringan jelas. Dengan menjalankan model AI pada perangkat yang dikendalikan oleh pengguna atau perusahaan, ini dapat secara efektif mengurangi biaya sambil meningkatkan privasi dan keamanan. QIMA mengatakan EXO Labs terus-menerus meningkatkan perangkat lunak tingkat perusahaan, dan beberapa perusahaan saat ini menggunakan perangkat lunak EXO untuk penalaran AI lokal, dan tren ini secara bertahap akan berkembang ke individu dan perusahaan di masa depan.
Keberhasilan baru -baru ini Exo Labs adalah karena kinerja yang kuat dari chip M4, yang dikenal sebagai "inti GPU tercepat di dunia."
QIMA mengungkapkan bahwa cluster EXO Labs 'Mac Mini M4 dapat menjalankan QWEN2.5Coder32b pada 18 penanda per detik dan Nemotron-70b pada 8 penanda per detik. Ini menunjukkan bahwa pengguna dapat secara efisien menangani tugas pelatihan dan penalaran AI tanpa mengandalkan infrastruktur cloud, membuat konsumen dan bisnis privasi dan peka terhadap biaya lebih mudah diakses.
Untuk lebih mendukung gelombang inovasi AI lokal ini, EXO Labs berencana untuk meluncurkan situs web pembandingan gratis untuk memberikan perbandingan konfigurasi perangkat keras terperinci untuk membantu pengguna memilih solusi operasi LLM terbaik berdasarkan kebutuhan dan anggaran mereka.
Pintu masuk proyek: https://github.com/exo-explore/exo
Poin:
Exo Labs berhasil menjalankan model AI open source yang kuat pada kelompok komputasi lokal menggunakan chip Apple M4.
Menjalankan model AI secara lokal mengurangi biaya, meningkatkan privasi dan keamanan, dan menghindari ketergantungan pada layanan cloud.
EXO Labs akan meluncurkan situs web benchmarking untuk membantu pengguna memilih konfigurasi perangkat keras yang tepat untuk tugas AI.
Kisah sukses Exo Labs memberikan arahan baru untuk pengembangan komputasi AI lokal, dan juga menunjukkan bahwa aplikasi AI akan menjadi lebih populer di masa depan, menguntungkan lebih banyak individu dan perusahaan. Kinerja yang kuat dari chip M4 dan kenyamanan perangkat lunak open source Exo telah bersama -sama mempromosikan demokratisasi teknologi AI dan pantas mendapat perhatian terus menerus.