ประสิทธิภาพที่แข็งแกร่งของชิป M4 ของ Apple กำลังผลักดันนวัตกรรมในการคำนวณปัญญาประดิษฐ์ในท้องถิ่น EXO Labs ใช้อุปกรณ์ MAC หลายเครื่องอย่างชาญฉลาดที่ติดตั้งชิป M4 เพื่อสร้างคลัสเตอร์การคำนวณ AI ในท้องถิ่นที่ประหยัดต้นทุนได้อย่างประสบความสำเร็จในการใช้งานโมเดลภาษาโอเพนซอร์สขนาดใหญ่หลายรุ่น (LLMS) เช่น LLAMA-3.1405B, NEMOTRON70B และ QWEN2.5CODER- 32B การพัฒนานี้ไม่เพียง แต่ช่วยลดค่าใช้จ่ายของแอปพลิเคชัน AI เท่านั้น แต่ยังช่วยปรับปรุงความเป็นส่วนตัวของข้อมูลและความปลอดภัยอย่างมีนัยสำคัญซึ่งนำประสบการณ์ AI ที่สะดวกและปลอดภัยยิ่งขึ้นให้กับบุคคลและองค์กร บทความนี้จะสำรวจการปฏิบัติที่เป็นนวัตกรรมของ EXO Labs และบทบาทสำคัญของชิป M4 ในด้านการคำนวณ AI ในท้องถิ่น
ในด้านปัญญาประดิษฐ์กำเนิดความพยายามของ Apple ดูเหมือนจะมุ่งเน้นไปที่อุปกรณ์มือถือเป็นหลักโดยเฉพาะอย่างยิ่งระบบ iOS18 ล่าสุด อย่างไรก็ตามชิป Apple M4 ใหม่แสดงประสิทธิภาพที่แข็งแกร่งในรุ่นล่าสุดของ Mac Mini และ MacBook Pro ทำให้พวกเขาสามารถเรียกใช้โมเดลภาษาโอเพ่นซอร์สที่ทรงพลังที่สุด (LLMS) ได้อย่างมีประสิทธิภาพเช่น LLAMA-3.1405B ของ Meta QWEN2.5CODER-32B
EXO Labs เป็น บริษัท เริ่มต้นในเดือนมีนาคม 2567 ที่อุทิศตนเพื่อ "การเข้าถึงปัญญาประดิษฐ์" และผู้ร่วมก่อตั้ง Alex Cheema ได้สร้างมันขึ้นมาด้วยอุปกรณ์ M4 หลายเครื่อง
เขาเชื่อมต่อสี่ Mac Mini M4S ($ 599 ต่อคน) กับหนึ่ง MacBook Pro M4MAX ($ 1599) และ RUN QWEN2.5COD-32B ของ Alibaba ผ่านซอฟต์แวร์โอเพ่นซอร์สของ EXO ค่าใช้จ่ายของคลัสเตอร์ทั้งหมดอยู่ที่ประมาณ $ 5,000 ซึ่งคุ้มค่าอย่างมากเมื่อเทียบกับ Nvidia H100GPU มูลค่า $ 25,000 ถึง $ 30,000
ประโยชน์ของการใช้กลุ่มการคำนวณในท้องถิ่นมากกว่าบริการเครือข่ายนั้นชัดเจน ด้วยการใช้งานโมเดล AI บนอุปกรณ์ที่ผู้ใช้หรือองค์กรควบคุมสามารถลดต้นทุนได้อย่างมีประสิทธิภาพในขณะที่ปรับปรุงความเป็นส่วนตัวและความปลอดภัย QIMA กล่าวว่า EXO Labs กำลังปรับปรุงซอฟต์แวร์ระดับองค์กรอย่างต่อเนื่องและปัจจุบันมีหลาย บริษัท ที่ใช้ซอฟต์แวร์ EXO สำหรับการให้เหตุผล AI ในท้องถิ่นและแนวโน้มนี้จะค่อยๆขยายไปยังบุคคลและองค์กรในอนาคต
ความสำเร็จล่าสุดของ EXO Labs เกิดจากประสิทธิภาพที่ทรงพลังของชิป M4 ซึ่งเป็นที่รู้จักกันในชื่อ "แกน GPU ที่เร็วที่สุดในโลก"
QIMA เปิดเผยว่าคลัสเตอร์ Mac Mini M4 ของ EXO Labs สามารถเรียกใช้ Qwen2.5Coder32b ที่ 18 เครื่องหมายต่อวินาทีและ Nemotron-70b ที่ 8 เครื่องหมายต่อวินาที สิ่งนี้แสดงให้เห็นว่าผู้ใช้สามารถจัดการการฝึกอบรม AI และการให้เหตุผลได้อย่างมีประสิทธิภาพโดยไม่ต้องพึ่งพาโครงสร้างพื้นฐานคลาวด์ทำให้ผู้บริโภคและธุรกิจที่มีความอ่อนไหวต่อต้นทุนและธุรกิจที่มีความอ่อนไหวต่อต้นทุนนั้นสามารถเข้าถึงได้ง่ายขึ้น
เพื่อสนับสนุนคลื่นของนวัตกรรม AI ในท้องถิ่นนี้ EXO Labs วางแผนที่จะเปิดตัวเว็บไซต์เปรียบเทียบฟรีเพื่อให้การเปรียบเทียบการกำหนดค่าฮาร์ดแวร์โดยละเอียดเพื่อช่วยให้ผู้ใช้เลือกโซลูชันการทำงาน LLM ที่ดีที่สุดตามความต้องการและงบประมาณของพวกเขา
ทางเข้าโครงการ: https://github.com/exo-plore/exo
คะแนน:
EXO Labs ประสบความสำเร็จในการเรียกใช้โมเดลโอเพนซอร์ส AI ที่ทรงพลังบนกลุ่มคอมพิวเตอร์ในท้องถิ่นโดยใช้ชิป Apple M4
การใช้งานโมเดล AI ช่วยลดค่าใช้จ่ายในท้องถิ่นปรับปรุงความเป็นส่วนตัวและความปลอดภัยและหลีกเลี่ยงการพึ่งพาบริการคลาวด์
EXO Labs จะเปิดตัวเว็บไซต์การเปรียบเทียบเพื่อช่วยให้ผู้ใช้เลือกการกำหนดค่าฮาร์ดแวร์ที่เหมาะสมสำหรับงาน AI
เรื่องราวความสำเร็จของ EXO Labs ให้ทิศทางใหม่สำหรับการพัฒนาคอมพิวเตอร์ AI ในท้องถิ่นและยังระบุว่าแอปพลิเคชัน AI จะกลายเป็นที่นิยมมากขึ้นในอนาคตซึ่งเป็นประโยชน์ต่อบุคคลและองค์กรมากขึ้น ประสิทธิภาพที่แข็งแกร่งของชิป M4 และความสะดวกสบายของซอฟต์แวร์โอเพ่นซอร์ส EXO Labs ได้ส่งเสริมการทำให้เป็นประชาธิปไตยของเทคโนโลยี AI และสมควรได้รับความสนใจอย่างต่อเนื่อง