ประสิทธิภาพอันแข็งแกร่งของชิป M4 ของ Apple กำลังขับเคลื่อนการพัฒนาปัญญาประดิษฐ์ในท้องถิ่นอย่างรวดเร็ว Exo Labs ใช้อุปกรณ์ Mac หลายตัวที่ติดตั้งชิป M4 อย่างชาญฉลาดเพื่อสร้างคลัสเตอร์การประมวลผล AI ในพื้นที่ที่มีต้นทุนต่ำและมีประสิทธิภาพสูง และประสบความสำเร็จในการใช้งานโมเดลภาษาขนาดใหญ่ (LLM) หลายภาษา ซึ่งให้ประโยชน์เชิงเศรษฐกิจแก่บุคคลและองค์กรมากขึ้น และเป็นการประดิษฐ์ที่เป็นส่วนตัวมากขึ้น โซลูชั่นอัจฉริยะ เครื่องมือแก้ไข Downcodes จะทำให้คุณมีความเข้าใจเชิงลึกเกี่ยวกับความก้าวหน้าที่ก้าวล้ำนี้
ในด้านปัญญาประดิษฐ์เจเนอเรชั่น ความพยายามของ Apple ดูเหมือนจะมุ่งเน้นไปที่อุปกรณ์พกพาเป็นหลัก โดยเฉพาะระบบ iOS18 ใหม่ล่าสุด อย่างไรก็ตาม ชิป Apple M4 ใหม่ได้แสดงให้เห็นถึงประสิทธิภาพอันทรงพลังใน Mac Mini และ Macbook Pro ที่เพิ่งเปิดตัวใหม่ ทำให้สามารถรันโมเดลภาษาขนาดใหญ่พื้นฐานโอเพ่นซอร์สที่ทรงพลังที่สุด (LLM) ที่มีอยู่ในปัจจุบัน เช่น Meta's Llama-3.1405B, Nvidia's Nemotron70B และ Qwen2.5Coder-32B
Exo Labs เป็นสตาร์ทอัพที่ก่อตั้งขึ้นในเดือนมีนาคม 2024 โดยมุ่งมั่นที่จะ "ทำให้การเข้าถึงปัญญาประดิษฐ์เป็นประชาธิปไตย" ผู้ร่วมก่อตั้ง Alex Cheema ได้สร้างคลัสเตอร์คอมพิวเตอร์ท้องถิ่นโดยใช้อุปกรณ์ M4 หลายตัว
เขาเชื่อมต่อ Mac Mini M4 สี่เครื่อง (ราคาเครื่องละ 599 ดอลลาร์) เข้ากับ Macbook Pro M4Max (ราคา 1,599 ดอลลาร์) โดยใช้ Qwen2.5Coder-32B ของ Alibaba ผ่านทางซอฟต์แวร์โอเพ่นซอร์สของ Exo คลัสเตอร์ทั้งหมดมีราคาประมาณ 5,000 เหรียญสหรัฐ ซึ่งคุ้มค่ามากเมื่อเทียบกับ GPU Nvidia H100 ที่มีมูลค่า 25,000 ถึง 30,000 เหรียญสหรัฐ
ประโยชน์ของการใช้คลัสเตอร์คอมพิวเตอร์ในเครื่องแทนบริการเครือข่ายนั้นชัดเจน ด้วยการรันโมเดล AI บนอุปกรณ์ที่ควบคุมโดยผู้ใช้หรือองค์กร ต้นทุนจะลดลงอย่างมีประสิทธิภาพพร้อมทั้งปรับปรุงความเป็นส่วนตัวและความปลอดภัย Chima กล่าวว่า Exo Labs กำลังปรับปรุงซอฟต์แวร์ระดับองค์กรอย่างต่อเนื่อง ปัจจุบันบริษัทหลายแห่งใช้ซอฟต์แวร์ Exo เพื่อการให้เหตุผลด้าน AI ในท้องถิ่น ในอนาคต แนวโน้มนี้จะค่อยๆ ขยายไปสู่บุคคลและองค์กร
ความสำเร็จล่าสุดของ Exo Labs เนื่องมาจากประสิทธิภาพอันทรงพลังของชิป M4 ซึ่งได้รับการขนานนามว่าเป็น "แกน GPU ที่เร็วที่สุดในโลก"
Qima เปิดเผยว่าคลัสเตอร์ Mac Mini M4 ของ Exo Labs สามารถรัน Qwen2.5Coder32B ที่ 18 มาร์คต่อวินาที และ Nemotron-70B ที่ 8 มาร์คต่อวินาที สิ่งนี้แสดงให้เห็นว่าผู้ใช้สามารถจัดการการฝึกอบรม AI และงานอนุมานได้อย่างมีประสิทธิภาพโดยไม่ต้องพึ่งพาโครงสร้างพื้นฐานคลาวด์ ทำให้ผู้บริโภคและองค์กรต่างๆ สามารถเข้าถึง AI ได้ง่ายขึ้นโดยคำนึงถึงความเป็นส่วนตัวและต้นทุน
เพื่อสนับสนุนนวัตกรรม AI ในท้องถิ่นนี้ต่อไป Exo Labs วางแผนที่จะเปิดตัวเว็บไซต์เปรียบเทียบประสิทธิภาพฟรีเพื่อให้การเปรียบเทียบการกำหนดค่าฮาร์ดแวร์โดยละเอียด เพื่อช่วยให้ผู้ใช้เลือกโซลูชันที่ทำงาน LLM ที่ดีที่สุดตามความต้องการและงบประมาณของพวกเขา
ทางเข้าโครงการ: https://github.com/exo-explore/exo
กรณีที่ประสบความสำเร็จของ Exo Labs แสดงให้เห็นถึงศักยภาพมหาศาลของชิป M4 ของ Apple ในแอปพลิเคชัน AI ในท้องถิ่น และยังบ่งชี้ว่าบุคคลและองค์กรจะมีประสบการณ์ AI ที่สะดวก ประหยัด และเป็นส่วนตัวมากขึ้นในอนาคต สิ่งนี้จะช่วยส่งเสริมความนิยมและการประยุกต์ใช้เทคโนโลยีปัญญาประดิษฐ์ และนำโอกาสทางนวัตกรรมมาสู่ทุกสาขาอาชีพมากขึ้น รอพบกับความประหลาดใจเพิ่มเติมจาก Exo Labs ในอนาคต!