Tim model besar Doubao Bytedance telah membuat terobosan besar baru -baru ini dan telah berhasil mengembangkan arsitektur model baru yang jarang. Arsitektur ini secara inovatif memecahkan masalah akses memori bernilai tinggi dalam inferensi model MOE, secara signifikan meningkatkan kecepatan dan efisiensi inferensi, dan mengurangi biaya inferensi. Saat memastikan efek model, ultramem telah meningkatkan kecepatan inferensi 2-6 kali dibandingkan dengan MOE, dan biaya inferensi dapat dikurangi hingga 83%, memberikan solusi baru untuk inferensi yang efisien dari model besar dan meletakkan fondasi untuk membangun Model skala yang lebih besar.
Tim Model Besar Bytedance Doubao hari ini mengumumkan bahwa mereka telah berhasil mengembangkan arsitektur model jarang baru Ultramem. dari itu di MOE. Kemajuan terobosan ini membuka jalur baru untuk inferensi yang efisien dari model besar.
Pada premis memastikan efek model, arsitektur ultramem berhasil memecahkan bottleneck akses memori dalam inferensi arsitektur MOE. Hasil eksperimen menunjukkan bahwa di bawah parameter dan kondisi aktivasi yang sama, ultramem tidak hanya memiliki efek model lebih baik daripada MOE, tetapi juga meningkatkan kecepatan inferensi sebesar 2-6 kali. Selain itu, dalam skala ukuran batch umum, biaya akses memori ultramem hampir setara dengan model padat dengan volume komputasi yang sama, secara signifikan mengurangi biaya inferensi.
Tim peneliti melatih model ultramem dengan skala 20 juta nilai. Hasil ini memverifikasi karakteristik penskalaan yang sangat baik dari arsitektur ultramem dan meletakkan dasar teknis untuk membangun miliaran nilai atau model ahli.
Karena skala model besar terus berkembang, biaya dan kecepatan inferensi telah menjadi faktor kunci yang membatasi aplikasi mereka. Meskipun arsitektur MOE telah menerapkan decoupling komputasi dari parameter, permintaan memori yang tinggi selama inferensi menghasilkan peningkatan latensi. Proposal arsitektur ultramem secara efektif memecahkan masalah ini dan memberikan pilihan teknis baru untuk aplikasi skala besar dari model besar.
Keberhasilan pengembangan arsitektur ultramem menandai kemajuan yang signifikan dalam teknologi inferensi model besar, memberikan dukungan teknis yang kuat untuk aplikasi luas model besar di masa depan, dan juga menunjukkan bahwa era model besar akan tiba. Kinerja yang sangat baik dan efektivitas biaya akan mendorong aplikasi dan pengembangan model besar di lebih banyak bidang.