يخضع التصميم المعماري لنماذج اللغات الكبيرة (LLM) لتغييرات عميقة، وتواجه هيمنة بنية المحولات تحديات. ولمواجهة هذا التحدي، أطلقت شركة Liquid AI، وهي شركة ناشئة محتضنة في معهد ماساتشوستس للتكنولوجيا، إطار عمل مبتكر يسمى STAR (توليف البنيات المخصصة)، والذي يهدف إلى إنشاء بنية نموذج الذكاء الاصطناعي وتحسينها تلقائيًا. يستخدم إطار عمل STAR خوارزميات تطورية وتقنية ترميز هرمي لتجميع وتحسين بنيات النماذج بناءً على أداء محدد ومتطلبات الأجهزة، مما يُظهر مزايا كبيرة في كل من الكفاءة والأداء.
يستخدم إطار عمل STAR الخوارزميات التطورية وأنظمة الترميز الرقمي لأتمتة إنشاء وتحسين بنيات نماذج الذكاء الاصطناعي. لاحظ فريق البحث في Liquid AI أن نهج تصميم STAR يختلف عن التصميم المعماري التقليدي من خلال استخدام تقنية ترميز هرمي تسمى "STAR Genome" لاستكشاف مساحة تصميم واسعة من البنى المحتملة. من خلال دمج الجينوم والطفرات، يستطيع STAR تجميع وتحسين البنى التي تلبي متطلبات الأداء والأجهزة المحددة.
في الاختبارات التي استهدفت نمذجة لغة الانحدار الذاتي، أظهر STAR أداءً متفوقًا على نماذج Transformer++ التقليدية المحسنة والنماذج الهجينة. فيما يتعلق بجودة التحسين وحجم ذاكرة التخزين المؤقت، تعمل بنية STAR المتطورة على تقليل حجم ذاكرة التخزين المؤقت بنسبة تصل إلى 37% مقارنة بالنموذج الهجين، وتحقق انخفاضًا بنسبة 90% مقارنة بالمحول التقليدي. ولا تضحي هذه الكفاءة بالأداء التنبؤي للنموذج، ولكنها تتفوق في بعض الحالات على المنافسين.
تُظهر الأبحاث أيضًا أن بنية STAR قابلة للتطوير بشكل كبير، مع نموذج STAR التطوري الذي يتدرج من 125 مليون معلمة إلى 1 مليار معلمة تعمل وفقًا للمعايير القياسية بالإضافة إلى أو أفضل من نماذج Transformer++ والنماذج الهجينة الحالية، مع تقليل التفكير بشأن متطلبات التخزين المؤقت بشكل كبير.
قال Liquid AI إن مفهوم تصميم STAR يتضمن مبادئ الأنظمة الديناميكية ومعالجة الإشارات والجبر الخطي الرقمي لبناء مساحة بحث مرنة لوحدة الحوسبة. الميزة الفريدة لـ STAR هي تصميمها المعياري، الذي يمكّنها من تشفير وتحسين البنيات على مستويات متعددة، مما يوفر للباحثين الفرصة لاكتساب نظرة ثاقبة على مجموعات فعالة من المكونات المعمارية.
تعتقد شركة Liquid AI أنه سيتم تطبيق قدرات التوليف الهيكلية الفعالة لـ STAR في مجالات مختلفة، خاصة في السيناريوهات التي تحتاج إلى تحقيق التوازن بين الجودة وكفاءة الحوسبة. على الرغم من أن Liquid AI لم تعلن عن خطط نشر أو تسعير تجارية محددة، إلا أن نتائج أبحاثها تمثل تقدمًا كبيرًا في مجال التصميم المعماري الآلي. مع استمرار تطور مجال الذكاء الاصطناعي، قد تلعب أطر مثل STAR دورًا مهمًا في تشكيل الجيل القادم من الأنظمة الذكية.
المدونة الرسمية: https://www.liquid.ai/research/automated-architecture-ynthesis-via-targeted-evolution
بشكل عام، يوفر إطار عمل STAR الخاص بـ Liquid AI طريقة آلية جديدة لتصميم بنية نموذج الذكاء الاصطناعي، وهي ذات أهمية كبيرة، وتوفر إمكانيات جديدة لتطوير أنظمة الذكاء الاصطناعي المستقبلية. كما أن التصميم المعياري وقابلية التوسع للإطار يمنحه أيضًا آفاق تطبيق واسعة في مجالات مختلفة.