أصدرت Caiyun Technology النموذج الكبير العام "Yun Jintianzhang" و Caiyun Xiaomeng V3.5 نسخة استنادًا إلى بنية DCFormer ، مما يمثل اختراقًا كبيرًا في كفاءة الهندسة المعمارية النموذجية في مجال الذكاء الاصطناعي. تعمل بنية DCFormer بشكل كبير على تحسين قدرات التعبير النموذجية من خلال آلية انتباه متعددة الرأس مجتمعة ، ويحل مشكلة عدم كفاءة هياكل المحولات التقليدية ، ويستجيب بشكل فعال لتحديات الطاقة التي تواجه تطوير الذكاء الاصطناعي. تم نشر هذا الابتكار في المؤتمر الدولي العليا ICML وحصل على الثناء الكبير.
في مجال الذكاء الاصطناعي ، كانت بنية المحولات دائمًا الدعم الفني الأساسي للنماذج الكبيرة السائدة مثل ChatGPT و Gemini. هذا العام ، تعد ورقة Caiyun Technology "تحسين المحولات مع الاهتمام المتعدد بالرؤوس القابلة للتكامل ديناميكيًا" المنشورة في المؤتمر الدولي العليا ICML ، أول من اقترح بنية DCFormer. تشير الاختبارات إلى أن نموذج DCPYTHIA-6.9B الذي تم تطويره استنادًا إلى هذه البنية يحقق تحسنًا كبيرًا من 1.7-2 مرات في الأداء لنموذج المحول التقليدي. فيما يتعلق بتحديات الطاقة التي تواجه تنمية الذكاء الاصطناعي ، أشار يوان Xingyuan ، الرئيس التنفيذي لشركة Caiyun Technology ، إلى أنه وفقًا للتوقعات ، قد يصل استهلاك الطاقة العالمي إلى 8 أضعاف قدرة توليد الطاقة الحالية بحلول عام 2050. قال الرئيس التنفيذي لشركة Nvidia Huang Renxun بشكل أكثر وضوحًا أنه في سرعة التطوير الحالية ، قد تكون هناك حاجة إلى "14 كواكب ، 3 مجرات ، و 4 شمس" في المستقبل لتوفير دعم الطاقة لمنظمة العفو الدولية. استجابة لهذه المعضلة ، اختارت Caiyun Technology البدء من تحسين العمارة الأساسية للنموذج. من خلال إدخال آلية انتباه متعددة الرأس (DCMHA) مجتمعة ، قام DCFormer بإزالة الربط الثابت لرؤوس الانتباه في وحدة الانتباه التقليدية متعددة الرأس (MHA) ، وتحقيق مجموعات ديناميكية أكثر مرونة ، وبالتالي تحسين قدرة التعبير النموذجية بشكل كبير. مكّن هذا الابتكار تقنية Caiyun من تسجيل ما متوسطه 7 درجات عالية في ثلاث أوراق في مؤتمر ICML ، وأصبحت واحدة من الشركتين الوحيدتين في الصين تتم دعوتهم لإلقاء خطاب في ICML2024 في فيينا. بصفته المنتج الأول للهندسة المعمارية DCFormer ، أظهر الإصدار الجديد من Caiyun Xiaomeng أداءً ممتازًا: يدعم 10،000 كلمة من إدخال النص الطويل ، يمكن أن يصل طول إعداد خلفية القصة إلى 10000 كلمة ، ويتم تحسين الطلاقة الكلية والتماسك بنسبة 20 ٪. هذا يعني أن الذكاء الاصطناعى يمكنه الحفاظ على تماسك المؤامرة بشكل أفضل ، والحفاظ على اتساق شخصيات الشخصيات ، ولديه القدرة على التفكير وتصحيح المخططات. كواحدة من أوائل الشركات في الصين التي تشارك في نماذج اللغة الكبيرة ، تمتلك Caiyun Technology حاليًا ثلاثة منتجات AI المربحة: Caiyun Weather و Caiyun Xiaomeng و Caiyun Xiaoyi. وقالت الشركة إنها ستواصل زيادة استثماراتها في البحث والتطوير في DCFormer ، وتلتزم بكسر النمط التقليدي "طبقة التكنولوجيا الأجنبية وطبقة التطبيق المحلي" وتعزيز تكنولوجيا الذكاء الاصطناعى المحلي لشغل موقعًا مفيدًا في المنافسة العالمية. من خلال هذا الاختراق التكنولوجي ، لا توضح تقنية Caiyun قوة الشركات الصينية فقط في ابتكار من الذكاء الاصطناعى المعماري الأساسي ، ولكنها توفر أيضًا أفكارًا جديدة لحل اختناقات الطاقة في تطوير الذكاء الاصطناعي ، والتي من المتوقع أن تسريع التنمية المستدامة لتكنولوجيا الذكاء الاصطناعي .
جلبت ابتكار Caiyun Technology أملًا جديدًا لتطوير الذكاء الاصطناعي.