Meta เพิ่งประกาศว่าจะสร้างซูเปอร์คลัสเตอร์สองคลัสเตอร์ที่มี GPU H100 จำนวน 24,000 GPU สำหรับการฝึกอบรมโมเดลภาษาขนาดใหญ่รุ่นต่อไป Llama-3 โครงการนี้ใช้เครือข่าย RoCEv2 ขั้นสูงและโซลูชันการจัดเก็บข้อมูลเครือข่าย NFS/FUSE ของ Tectonic/Hammerspace เพื่อปรับปรุงประสิทธิภาพการฝึกอบรมและความเร็วในการเข้าถึงข้อมูล Llama-3 คาดว่าจะออนไลน์ในช่วงปลายเดือนเมษายนหรือกลางเดือนพฤษภาคม และอาจเป็นโมเดลหลายรูปแบบ นอกจากนี้ Meta ยังวางแผนที่จะเปิดโมเดลโอเพ่นซอร์สต่อไป การเคลื่อนไหวครั้งนี้เน้นย้ำถึงความมุ่งมั่นและความแข็งแกร่งของ Meta ที่จะลงทุนในด้านโมเดลขนาดใหญ่ของ AI ต่อไป และการพัฒนาในอนาคตก็สมควรได้รับความสนใจ
Meta เปิดตัวคลัสเตอร์ 24K H100GPU สองคลัสเตอร์บนเว็บไซต์อย่างเป็นทางการ ซึ่งออกแบบมาเป็นพิเศษสำหรับการฝึก Llama-3 รุ่นใหญ่ Llama-3 ใช้เครือข่าย RoCEv2 และพื้นที่เก็บข้อมูลเครือข่าย NFS/FUSE ของ Tectonic/Hammerspace คาดว่าจะออนไลน์ในช่วงปลายเดือนเมษายนหรือกลางเดือนพฤษภาคม อาจเป็นแบบจำลองหลายรูปแบบและยังคงเป็นโอเพ่นซอร์สต่อไป Meta วางแผนที่จะมีพลังการประมวลผล 600,000 H100 ภายในสิ้นปี 2567การลงทุนด้านพลังการประมวลผลขนาดใหญ่ของ Meta ถือเป็นการประกาศถึงการพัฒนาโมเดลการฝึกอบรม AI ต่อไปในอนาคต และการเปิดตัว Llama-3 ก็คุ้มค่าที่จะรอคอยเช่นกัน สนาม. แผน 600,000 H100 อันทะเยอทะยานของ Meta แสดงให้เห็นถึงความแข็งแกร่งและทิศทางการพัฒนาในอนาคตในด้านปัญญาประดิษฐ์