أحدثت بنية نموذج "Titans" الأحدث التي أصدرتها Google Research ثورة في مجال الذكاء الاصطناعي من خلال طول سياقها المميز الذي يصل إلى 2 مليون رمز. يحاكي هذا التصميم المبتكر نظام الذاكرة البشرية، ويجمع بين الاستجابة السريعة للذاكرة قصيرة المدى ومتانة الذاكرة طويلة المدى، ويستخدم آلية الانتباه بذكاء لتحقيق معالجة فعالة للمعلومات. إنه يُظهر مزايا كبيرة في مهام معالجة التسلسل الطويل، بل ويتفوق على نماذج مثل GPT-4 بأرقام معلمات أعلى بكثير في بعض سيناريوهات التطبيق.
أصدرت Google Research مؤخرًا بنية نموذجية مبتكرة لسلسلة "Titans"، محققة اختراقًا يبلغ 2 مليون طول سياق رمزي من خلال التصميم الإلكتروني، وتخطط لفتح التقنيات ذات الصلة بالمصادر في المستقبل.
ويتمثل الابتكار الأساسي لهذه البنية في تقديم وحدة ذاكرة عصبية عميقة طويلة المدى، وتصميمها مستوحى من نظام الذاكرة البشرية. يجمع Titans بذكاء بين قدرة الاستجابة السريعة للذاكرة قصيرة المدى وخصائص الثبات للذاكرة طويلة المدى، مع استخدام آلية الانتباه لمعالجة السياق المباشر، وتشكيل نظام فعال لمعالجة المعلومات.
وفقًا لـ Google، يُظهر Titans مزايا كبيرة في مهام المعالجة المتسلسلة الطويلة. حققت هذه البنية تقدمًا كبيرًا في كل من نمذجة اللغة والتنبؤ بالسلاسل الزمنية. والأمر الأكثر جديرًا بالملاحظة هو أنه في بعض سيناريوهات التطبيق، يتفوق Titans على نماذج مثل GPT-4 بعشرات المرات من عدد المعلمات.
ومع التزام جوجل بالتقنيات ذات الصلة مفتوحة المصدر، فإن ظهور العمالقة قد يجلب اتجاهات تطوير جديدة لمعالجة النصوص الطويلة في مجال الذكاء الاصطناعي. يوضح هذا التصميم المبتكر، الذي يتضمن مبادئ الذكاء البيولوجي، إمكانية تقليل عدد معلمات النموذج مع تحسين كفاءة المعالجة.
ستقدم خطة المصدر المفتوح لبنية نموذج Titans مساهمات هائلة لمجتمع الذكاء الاصطناعي، وتعزز تطوير تكنولوجيا معالجة النصوص الطويلة، ومن المتوقع أن تنتج المزيد من التطبيقات المبتكرة. كما يوفر مفهوم التصميم الإلكتروني الخاص بها أفكارًا واتجاهات جديدة لتصميم نماذج الذكاء الاصطناعي المستقبلية.