ทีมงาน Doubao Big Model ของ Bytedance ได้สร้างความก้าวหน้าครั้งสำคัญเมื่อเร็ว ๆ นี้และได้พัฒนา Ultramem สถาปัตยกรรมแบบเบาบางใหม่ให้ประสบความสำเร็จ สถาปัตยกรรมนี้นวัตกรรมแก้ปัญหาการเข้าถึงหน่วยความจำที่มีมูลค่าสูงในการอนุมานแบบจำลอง MOE ปรับปรุงความเร็วและประสิทธิภาพการอนุมานอย่างมีนัยสำคัญและลดต้นทุนการอนุมาน ในขณะที่สร้างความมั่นใจว่าเอฟเฟกต์แบบจำลอง Ultramem ได้เพิ่มความเร็วในการอนุมาน 2-6 เท่าเมื่อเทียบกับ MOE และต้นทุนการอนุมานสามารถลดลงได้มากถึง 83%ซึ่งเป็นโซลูชันใหม่สำหรับการอนุมานที่มีประสิทธิภาพของแบบจำลองขนาดใหญ่และวางรากฐานสำหรับการสร้าง โมเดลขนาดใหญ่
Bytedance Doubao Big Model Team ประกาศในวันนี้ว่าได้พัฒนา Ultramem สถาปัตยกรรมแบบผสมผสานแบบใหม่ได้สำเร็จ กว่านั้นใน Moe ความคืบหน้าการพัฒนานี้เปิดขึ้นเส้นทางใหม่สำหรับการอนุมานอย่างมีประสิทธิภาพของรุ่นใหญ่
ในสถานที่ตั้งของการสร้างความมั่นใจว่าเอฟเฟกต์แบบจำลองสถาปัตยกรรมอัลตร้าม์ได้แก้ไขคอขวดการเข้าถึงหน่วยความจำได้สำเร็จในการอนุมานสถาปัตยกรรม MOE ผลการทดลองแสดงให้เห็นว่าภายใต้พารามิเตอร์และเงื่อนไขการเปิดใช้งานเดียวกัน Ultramem ไม่เพียง แต่มีเอฟเฟกต์แบบจำลองที่ดีกว่า MOE แต่ยังเพิ่มความเร็วในการอนุมาน 2-6 ครั้ง นอกจากนี้ภายใต้มาตราส่วนขนาดแบทช์ทั่วไปค่าใช้จ่ายการเข้าถึงหน่วยความจำของอัลตร้าม์เกือบเทียบเท่ากับโมเดลหนาแน่นที่มีปริมาณการคำนวณเท่ากันลดต้นทุนการอนุมานอย่างมีนัยสำคัญ
ทีมวิจัยได้ฝึกอบรมแบบจำลอง Ultramem ด้วยค่า 20 ล้านค่า ผลลัพธ์นี้จะตรวจสอบลักษณะการปรับขนาดที่ยอดเยี่ยมของสถาปัตยกรรมอัลตร้าเมมและวางรากฐานทางเทคนิคสำหรับการสร้างมูลค่าหลายพันล้านหรือแบบจำลองผู้เชี่ยวชาญ
เมื่อขนาดของแบบจำลองขนาดใหญ่ยังคงขยายตัวต้นทุนการอนุมานและความเร็วได้กลายเป็นปัจจัยสำคัญที่ จำกัด แอปพลิเคชันของพวกเขา แม้ว่าสถาปัตยกรรม MOE ได้ดำเนินการ decoupling การคำนวณจากพารามิเตอร์ แต่ความต้องการดึงข้อมูลหน่วยความจำสูงในระหว่างการอนุมานส่งผลให้เกิดความล่าช้าที่เพิ่มขึ้น ข้อเสนอของ Ultramem Architecture แก้ปัญหานี้ได้อย่างมีประสิทธิภาพและให้ตัวเลือกทางเทคนิคใหม่สำหรับการใช้งานขนาดใหญ่ของรุ่นขนาดใหญ่
การพัฒนาที่ประสบความสำเร็จของสถาปัตยกรรม Ultramem ถือเป็นความก้าวหน้าที่สำคัญในเทคโนโลยีการอนุมานแบบจำลองขนาดใหญ่ให้การสนับสนุนทางเทคนิคที่แข็งแกร่งสำหรับการประยุกต์ใช้รุ่นใหญ่ในอนาคตและยังบ่งชี้ว่ายุคโมเดลขนาดใหญ่กำลังจะมาถึง ประสิทธิภาพที่ยอดเยี่ยมและความคุ้มค่าจะช่วยผลักดันแอปพลิเคชันและการพัฒนารุ่นขนาดใหญ่ในสาขาที่มากขึ้น