Desain arsitektur model bahasa besar (LLM) sedang mengalami perubahan besar, dan dominasi arsitektur Transformer menghadapi tantangan. Untuk mengatasi tantangan ini, Liquid AI, sebuah startup yang diinkubasi di MIT, meluncurkan kerangka kerja inovatif yang disebut STAR (Synthesis of Tailored Architectures), yang bertujuan untuk menghasilkan dan mengoptimalkan arsitektur model AI secara otomatis. Kerangka kerja STAR menggunakan algoritma evolusioner dan teknologi pengkodean hierarki untuk mensintesis dan mengoptimalkan arsitektur model berdasarkan kinerja spesifik dan persyaratan perangkat keras, menunjukkan keunggulan signifikan dalam efisiensi dan kinerja.
Kerangka kerja STAR menggunakan algoritma evolusioner dan sistem pengkodean numerik untuk mengotomatiskan pembuatan dan optimalisasi arsitektur model kecerdasan buatan. Tim peneliti Liquid AI mencatat bahwa pendekatan desain STAR berbeda dari desain arsitektur tradisional dengan menggunakan teknik pengkodean hierarki yang disebut “STAR Genome” untuk mengeksplorasi ruang desain luas dari arsitektur potensial. Melalui kombinasi dan mutasi genom, STAR mampu mensintesis dan mengoptimalkan arsitektur yang memenuhi persyaratan kinerja dan perangkat keras tertentu.
Dalam pengujian yang menargetkan pemodelan bahasa autoregresif, STAR menunjukkan kinerja yang lebih baik dibandingkan model Transformer++ dan hybrid tradisional yang dioptimalkan. Dalam hal kualitas optimasi dan ukuran cache, arsitektur STAR yang berevolusi mengurangi ukuran cache hingga 37% dibandingkan model hybrid, dan mencapai pengurangan 90% dibandingkan Transformer tradisional. Efisiensi ini tidak mengorbankan kinerja prediktif model, namun dalam beberapa kasus mengungguli pesaing.
Penelitian juga menunjukkan bahwa arsitektur STAR sangat dapat diskalakan, dengan model evolusioner STAR yang menskalakan dari 125 juta parameter menjadi 1 miliar parameter yang berkinerja pada tolok ukur standar serta atau lebih baik daripada model Transformer++ dan hybrid yang ada, sekaligus secara signifikan mengurangi Alasan tentang persyaratan caching.
Liquid AI mengatakan bahwa konsep desain STAR menggabungkan prinsip sistem dinamis, pemrosesan sinyal, dan aljabar linier numerik untuk membangun ruang pencarian unit komputasi yang fleksibel. Fitur unik STAR adalah desain modularnya, yang memungkinkannya mengkodekan dan mengoptimalkan arsitektur di berbagai tingkat, memberikan kesempatan kepada peneliti untuk mendapatkan wawasan tentang kombinasi komponen arsitektur yang efektif.
Liquid AI percaya bahwa kemampuan sintesis arsitektur STAR yang efisien akan diterapkan di berbagai bidang, terutama dalam skenario di mana kualitas dan efisiensi komputasi perlu diseimbangkan. Meskipun Liquid AI belum mengumumkan penerapan komersial spesifik atau rencana harga, hasil penelitiannya menandai kemajuan besar dalam bidang desain arsitektur otomatis. Seiring dengan terus berkembangnya bidang AI, kerangka kerja seperti STAR mungkin memainkan peran penting dalam membentuk sistem cerdas generasi berikutnya.
Blog resmi: https://www.liquid.ai/research/automated-architecture-synthesis-via-targeted-evolution
Secara keseluruhan, kerangka kerja STAR Liquid AI menyediakan metode otomatis baru untuk desain arsitektur model AI. Terobosannya dalam efisiensi dan kinerja sangat penting, dan memberikan kemungkinan baru untuk pengembangan sistem AI di masa depan. Desain modular dan skalabilitas kerangka kerja ini juga memberikan prospek penerapan yang luas di berbagai bidang.