Meta เพิ่งประกาศว่าพลังการประมวลผลที่จำเป็นสำหรับการฝึกอบรมโมเดลภาษาขนาดใหญ่จะเพิ่มขึ้นแบบทวีคูณในอนาคต Zuckerberg ซีอีโอของ Meta เปิดเผยระหว่างการเรียกรายได้ว่าปริมาณการคำนวณการฝึกอบรมของ Llama 4 จะเป็นสิบเท่าของ Llama 3 ข่าวนี้เน้นย้ำถึงค่าใช้จ่ายสูงและความท้าทายทางเทคนิคของการฝึกอบรมโมเดลภาษาขนาดใหญ่ และยังสะท้อนถึงการแข่งขันที่ดุเดือดอย่างต่อเนื่องระหว่างยักษ์ใหญ่ด้านเทคโนโลยีในสาขา AI Meta กำลังลงทุนอย่างแข็งขันในการสร้างความสามารถในการประมวลผลที่สอดคล้องกันเพื่อตอบสนองความต้องการการฝึกอบรมโมเดลในอนาคต
Meta ในฐานะผู้พัฒนา Llama โมเดลภาษาพื้นฐานโอเพ่นซอร์สขนาดใหญ่ เชื่อว่าพลังการประมวลผลที่จำเป็นในการฝึกโมเดลจะเพิ่มขึ้นอย่างมากในอนาคต เมื่อวันอังคาร ระหว่างการเรียกรายได้ของ Meta ในไตรมาสที่สอง Mark Zuckerberg เปิดเผยว่าการฝึกอบรม Llama4 จะต้องใช้พลังการประมวลผลมากกว่าการฝึกอบรม Llama3 ถึง 10 เท่า เขาย้ำว่าถึงอย่างนั้น Meta ก็ต้องสร้างความสามารถในการฝึกโมเดลเพื่อไม่ให้ตามหลังคู่แข่ง
“การฝึกอบรม Llama4 อาจต้องใช้การคำนวณเกือบ 10 เท่าในการฝึก Llama3 และโมเดลในอนาคตจะยังคงต้องมีการคำนวณมากขึ้น” ซักเคอร์เบิร์กกล่าวด้วยว่าเป็นการยากที่จะคาดการณ์แนวโน้มการพัฒนาของโมเดลหลายรุ่นในอนาคต แต่ในขณะนี้ การสร้างความสามารถที่จำเป็นไว้ล่วงหน้าก็ยังดีกว่าที่จะสายเกินไป ท้ายที่สุดแล้ว การเริ่มต้นโครงการอนุมานใหม่ต้องใช้เวลาในการเตรียมการที่ยาวนาน
ในเดือนเมษายนปีนี้ Meta เปิดตัว Llama3 พร้อมพารามิเตอร์ 80 พันล้าน เมื่อสัปดาห์ที่แล้ว บริษัทได้เปิดตัว Llama3.1405B เวอร์ชันอัปเกรด โดยมีพารามิเตอร์สูงถึง 405 พันล้าน กลายเป็นโมเดลโอเพ่นซอร์สที่ใหญ่ที่สุดของ Meta
Susan Lee CFO ของ Meta ยังกล่าวอีกว่าบริษัทกำลังพิจารณาโครงการศูนย์ข้อมูลต่างๆ และสร้างความสามารถในการฝึกอบรมโมเดล AI ในอนาคต Meta คาดว่าการลงทุนจะเพิ่มการใช้จ่ายด้านทุนในปี 2568 เธอกล่าว
คุณรู้ไหมว่าการฝึกอบรมโมเดลภาษาขนาดใหญ่เป็นธุรกิจที่มีค่าใช้จ่ายสูง ในไตรมาสที่สองของปี 2024 รายจ่ายฝ่ายทุนของ Meta เพิ่มขึ้นเกือบ 33% เป็น 8.5 พันล้านดอลลาร์จาก 6.4 พันล้านดอลลาร์ในปีที่แล้ว โดยได้แรงหนุนจากการลงทุนในเซิร์ฟเวอร์ ศูนย์ข้อมูล และโครงสร้างพื้นฐานเครือข่าย
ไฮไลท์:
?Meta พลังการประมวลผลที่จำเป็นในการฝึก Llama4 นั้นประมาณ 10 เท่าของพลังในการฝึก Llama3
?Meta คาดว่าการลงทุนในการสร้างกำลังการผลิตจะเพิ่มรายจ่ายฝ่ายทุนในปี 2568
?การฝึกอบรมโมเดลภาษาขนาดใหญ่มีราคาแพง และรายจ่ายฝ่ายทุนของ Meta เพิ่มขึ้นอย่างมากในไตรมาสที่สอง
โดยรวมแล้ว การลงทุนมหาศาลของ Meta ในการฝึกอบรมโมเดล AI ในอนาคต แสดงให้เห็นถึงความทะเยอทะยานในด้านปัญญาประดิษฐ์ แต่ยังเป็นการประกาศถึงการแข่งขันที่รุนแรงมากขึ้นในอุตสาหกรรม AI และความก้าวหน้าอย่างรวดเร็วของการพัฒนาเทคโนโลยี สิ่งนี้จะมีผลกระทบอย่างลึกซึ้งต่ออุตสาหกรรมเทคโนโลยีทั้งหมด