يهدف Mooncake، وهو مشروع مفتوح المصدر تم إنشاؤه بالاشتراك بين شركة Dark Side of the Moon Technology Co., Ltd. ومختبر MADSys بجامعة تسينغهوا، إلى بناء بنية استدلال نموذجية كبيرة باستخدام KVCache باعتباره جوهرًا، كما يلتزم بتحسين كفاءة استدلال النماذج الكبيرة . ينبع المشروع من خطة تصميم نظام الاستدلال الأساسي لشركة Kimi التي تم إصدارها بشكل مشترك من قبل الطرفين. وقد أدت هذه الخطة إلى تحسين إنتاجية الاستدلال بشكل كبير من خلال فصل PD المبتكر وبنية تحويل التخزين إلى الودائع، والتي جذبت اهتمامًا واسع النطاق في الصناعة. يقوم مشروع Mooncake تدريجيا بفتح مصادر مكوناته الأساسية، ويسعى جاهدا لتوفير منصة فعالة ومتوافقة لاستدلال النماذج الكبيرة.
تم توسيع مشروع Mooncake من الورق، حيث تم التركيز على مجموعة ذاكرة التخزين المؤقت KVCache واسعة النطاق للغاية، وقلل من طاقة الحوسبة وتحسين إنتاجية الاستدلال من خلال المفهوم المبتكر للتخزين والتحويل. يعتمد المشروع نهجًا تدريجيًا مفتوح المصدر لفتح المصدر تدريجيًا لتنفيذ ذاكرة التخزين المؤقت متعددة المستويات KVCache عالية الأداء Mooncake Store، وهو متوافق مع محركات الاستدلال المختلفة وموارد التخزين/النقل الأساسية. حاليًا، أصبح جزء محرك النقل مفتوح المصدر عالميًا على GitHub.
قال Xu Xinran، نائب رئيس الهندسة في Dark Side of the Moon Kimi، إنه من خلال التعاون الوثيق مع مختبر MADSys بجامعة تسينغهوا، قاموا بشكل مشترك بإنشاء Mooncake، وهي بنية استدلالية منفصلة كبيرة الحجم، مما يحقق التحسين النهائي لموارد الاستدلال. لا يعمل Mooncake على تحسين تجربة مستخدم Kimi وتقليل التكاليف فحسب، بل يوفر أيضًا حلاً فعالاً لمعالجة النصوص الطويلة ومتطلبات التزامن العالية. تعتقد الشركة أنه من خلال التعاون مفتوح المصدر مع الصناعة والأوساط الأكاديمية والمؤسسات البحثية، يمكنها تعزيز تطوير الصناعة بأكملها نحو منصة استدلال أكثر كفاءة، وتدعو المزيد من الشركات والمؤسسات البحثية للانضمام إلى مشروع Mooncake لاستكشاف نظام أكثر كفاءة بشكل مشترك. وهندسة نظام الاستدلال النموذجي المتقدم يسمح الابتكار لمنتجات مثل مساعدي الذكاء الاصطناعي المستندة إلى تقنية النماذج الكبيرة بإفادة مجموعة واسعة من الأشخاص.
عنوان المشروع: https://github.com/kvcache-ai/Mooncake
يمثل المصدر المفتوح لمشروع Mooncake خطوة مهمة في ابتكار بنية استدلالية كبيرة الحجم. وسيعمل تصميمه المعماري الفعال ونموذج التعاون المفتوح على تعزيز تعميم وتطبيق تكنولوجيا النماذج الكبيرة بشكل كبير وضخ حيوية جديدة في تطوير الذكاء الاصطناعي. نحن نتطلع إلى انضمام المزيد من المطورين لبناء نظام بيئي أكثر قوة للذكاء الاصطناعي.