Performa kuat chip M4 Apple mendorong pesatnya perkembangan kecerdasan buatan lokal. Exo Labs dengan cerdik menggunakan beberapa perangkat Mac yang dilengkapi dengan chip M4 untuk membangun cluster komputasi AI lokal berbiaya rendah dan berkinerja tinggi dan berhasil menjalankan beberapa model bahasa besar (LLM), yang memberikan manfaat lebih ekonomis bagi individu dan perusahaan solusi intelijen. Editor Downcodes akan memberi Anda pemahaman mendalam tentang kemajuan terobosan ini.
Di bidang kecerdasan buatan generatif, upaya Apple tampaknya terutama terfokus pada perangkat seluler, khususnya sistem iOS18 terbaru. Namun, chip Apple M4 baru telah menunjukkan kinerja yang kuat di Mac Mini dan Macbook Pro yang baru dirilis, memungkinkannya untuk secara efektif menjalankan model bahasa besar dasar (LLM) open source paling kuat yang tersedia saat ini, seperti Meta's Llama-3.1405B, Nvidia's Nemotron70B dan Qwen2.5Coder-32B.
Exo Labs adalah startup yang didirikan pada Maret 2024 yang berkomitmen untuk “mendemokratisasikan akses terhadap kecerdasan buatan.” Salah satu pendirinya, Alex Cheema, telah berhasil membangun cluster komputasi lokal menggunakan beberapa perangkat M4.
Dia menghubungkan empat Mac Mini M4 (masing-masing seharga $599) ke Macbook Pro M4Max (dengan harga $1,599), menjalankan Qwen2.5Coder-32B Alibaba melalui perangkat lunak sumber terbuka Exo. Seluruh cluster berharga sekitar US$5.000, yang sangat hemat biaya dibandingkan dengan GPU Nvidia H100 yang bernilai US$25.000 hingga US$30.000.
Manfaat menggunakan cluster komputasi lokal dibandingkan layanan jaringan sudah jelas. Dengan menjalankan model AI pada perangkat yang dikendalikan oleh pengguna atau perusahaan, biaya dapat dikurangi secara efektif sekaligus meningkatkan privasi dan keamanan. Chima mengatakan bahwa Exo Labs terus meningkatkan perangkat lunak tingkat perusahaannya. Beberapa perusahaan saat ini menggunakan perangkat lunak Exo untuk pertimbangan AI lokal, dan tren ini secara bertahap akan meluas ke individu dan perusahaan.
Kesuksesan Exo Labs baru-baru ini disebabkan oleh kinerja bertenaga dari chip M4, yang disebut-sebut sebagai "inti GPU tercepat di dunia".
Qima mengungkapkan bahwa cluster Mac Mini M4 Exo Labs mampu menjalankan Qwen2.5Coder32B pada 18 tanda per detik dan Nemotron-70B pada 8 tanda per detik. Hal ini menunjukkan bahwa pengguna dapat menangani pelatihan AI dan tugas inferensi secara efisien tanpa bergantung pada infrastruktur cloud, sehingga menjadikan AI lebih mudah diakses oleh konsumen dan perusahaan yang sensitif terhadap privasi dan biaya.
Untuk lebih mendukung gelombang inovasi AI lokal ini, Exo Labs berencana meluncurkan situs web benchmarking gratis untuk memberikan perbandingan konfigurasi perangkat keras terperinci guna membantu pengguna memilih solusi pengoperasian LLM terbaik berdasarkan kebutuhan dan anggaran mereka.
Pintu masuk proyek: https://github.com/exo-explore/exo
Keberhasilan Exo Labs menunjukkan potensi besar chip M4 Apple dalam aplikasi AI lokal, dan juga menunjukkan bahwa individu dan perusahaan akan memiliki pengalaman AI yang lebih nyaman, ekonomis, dan pribadi di masa depan. Hal ini akan semakin mendorong pemasyarakatan dan penerapan teknologi kecerdasan buatan serta menghadirkan lebih banyak peluang inovasi bagi semua lapisan masyarakat. Nantikan kejutan lainnya dari Exo Labs di masa mendatang!