يعد تحسين كفاءة استدلال النماذج الكبيرة تحديًا رئيسيًا في مجال الذكاء الاصطناعي. إن حمل الاستدلال العالي والتكلفة العالية ووقت الاستجابة الطويل يقيد بشدة تطبيق النماذج الكبيرة. من أجل حل هذه المشكلات، تعاونت شركة Kimi مع مختبر MADSys بجامعة تسينغهوا لتطوير نظام استدلال Mooncake القائم على KVCache بشكل مشترك وسيتم إصداره رسميًا في يونيو 2024. يعتمد النظام على بنية فصل PD مبتكرة ومفهوم يركز على تحويل التخزين لتحسين إنتاجية التفكير بشكل كبير. من أجل تعزيز تطبيق وتعميم التكنولوجيا، أصبح مشروع Mooncake مفتوح المصدر رسميًا.
أطلقت شركة Kimi، بالتعاون مع مختبر MADSys بجامعة تسينغهوا، خطة تصميم نظام الاستدلال Mooncake استنادًا إلى KVCache، والتي سيتم إصدارها رسميًا في يونيو 2024.
لقد أدى نظام الاستدلال Mooncake إلى تحسين إنتاجية الاستدلال بشكل كبير من خلال بنية فصل PD المبتكرة والمفهوم الذي يركز على تحويل التخزين، مما جذب انتباه الصناعة على نطاق واسع. من أجل مواصلة تعزيز تطبيق وتعميم هذا الإطار الفني، تعاون مختبر MADSys التابع لجامعة كيمي وجامعة تسينغهوا مع عدد من الشركات، مثل 9#AISoft، وAlibaba Cloud، وHuawei Storage، وما إلى ذلك، لإطلاق مشروع مفتوح المصدر Mooncake. . في 28 نوفمبر، تم إطلاق الإطار الفني لـ Mooncake رسميًا على منصة GitHub.
يدور مشروع Mooncake مفتوح المصدر حول مجموعة ذاكرة التخزين المؤقت KVCache واسعة النطاق للغاية ويلتزم بفتح المصدر تدريجيًا لذاكرة التخزين المؤقت متعددة المستويات KVCache عالية الأداء Mooncake Store بطريقة تدريجية. وفي الوقت نفسه، سيكون المشروع متوافقًا مع مجموعة متنوعة من محركات الاستدلال وموارد التخزين والنقل الأساسية.
حاليًا، أصبح جزء محرك النقل مفتوح المصدر عالميًا على GitHub. الهدف النهائي لمشروع Mooncake هو بناء واجهة قياسية جديدة للتخزين الدلالي للذاكرة عالية الأداء لعصر النماذج الكبيرة وتوفير حلول التنفيذ المرجعية ذات الصلة.
قال Xu Xinran، نائب رئيس الهندسة في شركة Kimi: "من خلال التعاون الوثيق مع مختبر MADSys بجامعة تسينغهوا، قمنا بشكل مشترك بإنشاء Mooncake، وهو نموذج معماري كبير منفصل للاستدلال، لتحقيق التحسين النهائي لموارد الاستدلال.
لا يعمل Mooncake على تحسين تجربة المستخدم فحسب، بل يقلل أيضًا من التكاليف، مما يوفر حلاً فعالاً لمعالجة النصوص الطويلة ومتطلبات التزامن العالية. ويأمل أن تنضم المزيد من الشركات والمؤسسات البحثية إلى مشروع Mooncake لاستكشاف بنية نظام استدلال نموذجي أكثر كفاءة بشكل مشترك، بحيث يمكن للمنتجات القائمة على تكنولوجيا النماذج الكبيرة مثل مساعدي الذكاء الاصطناعي أن تفيد مجموعة واسعة من الأشخاص.
مدخل المشروع: https://github.com/kvcache-ai/Mooncake
تسليط الضوء على:
أصدر كيمي وجامعة تسينغهوا بشكل مشترك نظام التفكير Mooncake لتحسين كفاءة تفكير الذكاء الاصطناعي.
مشروع Mooncake مفتوح المصدر على GitHub ويهدف إلى بناء واجهة قياسية للتخزين الدلالي للذاكرة عالية الأداء.
ونحن نتطلع إلى مشاركة المزيد من الشركات والمؤسسات البحثية لتعزيز التقدم في تكنولوجيا الذكاء الاصطناعي بشكل مشترك.
يمثل إطلاق مشروع Mooncake مفتوح المصدر مرحلة جديدة في هندسة أنظمة الاستدلال النموذجية الكبيرة. وسيعمل أدائها الفعال ونموذج التعاون المفتوح على تعزيز التقدم وتطبيق تكنولوجيا الذكاء الاصطناعي بشكل فعال والمساهمة في بناء عالم أكثر ذكاءً.