LMOps

LMOps

LMOps هي مبادرة بحثية حول البحث والتكنولوجيا الأساسيين لبناء منتجات الذكاء الاصطناعي مع النماذج الأساسية، وخاصة فيما يتعلق بالتكنولوجيا العامة لتمكين قدرات الذكاء الاصطناعي مع ماجستير إدارة الأعمال ونماذج الذكاء الاصطناعي التوليدية.

• مطالبات أفضل: التحسين التلقائي للمطالبات، الموجهات، المطالبات القابلة للتوسيع، استرجاع المطالبات العالمي، مسترد LLM، تحديد العرض التوضيحي في السياق
• سياق أطول: مطالبة منظمة، ومحولات قابلة للاستقراء للطول
• محاذاة LLM: المحاذاة عبر ردود فعل LLM
• مسرع LLM (استدلال أسرع): تسريع بدون فقدان LLMs
• تخصيص LLM: تكييف LLM مع المجالات
• الأساسيات: فهم التعلم في السياق

روابط

• Microsoft/unilm: تدريب مسبق واسع النطاق يتم الإشراف عليه ذاتيًا عبر المهام واللغات والأساليب
• مايكروسوفت / torchscale: المحولات على نطاق (أي).

أخبار

• [إصدار ورقي] نوفمبر 2023: اختيار العرض التوضيحي في السياق مع اختلاف الإنتروبيا المتقاطعة (EMNLP 2023)
• [إصدار ورقي] أكتوبر 2023: التونا: ضبط التعليمات باستخدام التعليقات الواردة من نماذج اللغات الكبيرة (EMNLP 2023)
• [إصدار ورقي] أكتوبر 2023: التحسين الفوري التلقائي باستخدام "انحدار التدرج" وبحث الشعاع (EMNLP 2023)
• [إصدار ورقي] أكتوبر 2023: UPRISE: الاسترجاع السريع الشامل لتحسين تقييم الصفر (EMNLP 2023)
• [إصدار ورقي] يوليو 2023: تعلم كيفية استرداد الأمثلة داخل السياق لنماذج اللغات الكبيرة
• [إصدار ورقي] أبريل 2023: الاستدلال مع المرجع: التسريع بدون فقدان البيانات لنماذج اللغات الكبيرة
• [إصدار ورقي] ديسمبر 2022: لماذا يمكن لـ GPT التعلم في السياق؟ تقوم نماذج اللغة بإجراء الضبط الدقيق كمُحسِّنات Meta
• [إصدار ورقي ونموذجي وعرضي] ديسمبر 2022: تحسين المطالبات لإنشاء تحويل النص إلى صورة
• [إصدار الورقة والتعليمات البرمجية] ديسمبر 2022: المطالبة المنظمة: توسيع نطاق التعلم في السياق إلى 1000 مثال
• [إصدار ورقي] نوفمبر 2022: المطالبات القابلة للتوسيع لنماذج اللغة

الاستخبارات السريعة

التقنيات المتقدمة تسهل نماذج اللغة المطالبة.

موجه: التعلم المعزز للتحسين الفوري التلقائي

[ورقة] تحسين المطالبات لإنشاء تحويل النص إلى صورة

• تعمل نماذج اللغة كواجهة سريعة تعمل على تحسين إدخال المستخدم في المطالبات المفضلة للنموذج.

• تعلم نموذج لغة للتحسين الفوري التلقائي من خلال التعلم المعزز.

المطالبة المنظمة: استهلاك المطالبات ذات التسلسل الطويل بطريقة فعالة

[مقالة] الحث المنظم: توسيع نطاق التعلم في السياق إلى 1000 مثال

• أمثلة لحالات الاستخدام:

1. قم بإضافة المستندات (الطويلة) المستردة (الطويلة) مسبقًا كسياق في GPT.

2. توسيع نطاق التعلم في السياق للعديد من الأمثلة التوضيحية.

X-Prompt: مطالبات قابلة للتوسيع تتجاوز NL للحصول على تعليمات وصفية

[ورقة] المطالبات الموسعة لنماذج اللغة

• واجهة قابلة للتوسيع تتيح مطالبة طلاب ماجستير القانون بما يتجاوز اللغة الطبيعية للحصول على مواصفات دقيقة

• تعلم الكلمات التخيلية الموجهة بالسياق لسهولة الاستخدام العام

LLMA: مسرعات LLM

تسريع الاستدلال LLM مع المراجع

[ورقة] الاستدلال مع المرجع: التسريع غير المنقوص لنماذج اللغات الكبيرة

• غالبًا ما يكون لمخرجات ماجستير إدارة الأعمال تداخلات كبيرة مع بعض المراجع (مثل المستندات المستردة).

• تعمل LLMA على تسريع استنتاج LLMs دون فقدان البيانات عن طريق نسخ امتدادات النص والتحقق منها من المراجع إلى مدخلات LLM.

• ينطبق على سيناريوهات LLM المهمة مثل توليد الاسترجاع المعزز والمحادثات متعددة المنعطفات.

• يحقق سرعة 2 ~ 3 مرات بدون نماذج إضافية.

الفهم الأساسي للماجستير في القانون

فهم التعلم في السياق

[مقالة] لماذا يمكن لـ GPT التعلم في السياق؟ تقوم نماذج اللغة بإجراء الضبط الدقيق كمُحسِّنات Meta

• وفقًا للأمثلة التوضيحية، تنتج GPT تدرجات وصفية للتعلم داخل السياق (ICL) من خلال الحساب المتقدم. يعمل ICL من خلال تطبيق هذه التدرجات الوصفية على النموذج من خلال الانتباه.

• تشترك عملية التحسين التعريفي لـ ICL في رؤية مزدوجة مع الضبط الدقيق الذي يقوم بشكل صريح بتحديث معلمات النموذج بتدرجات منتشرة للخلف.

• يمكننا ترجمة خوارزميات التحسين (مثل SGD مع Momentum) إلى بنيات المحولات المقابلة لها.

التوظيف: aka.ms/generalAI

نحن نقوم بالتوظيف على جميع المستويات (بما في ذلك الباحثين والمتدربين FTE)! إذا كنت مهتمًا بالعمل معنا على النماذج الأساسية (المعروفة أيضًا باسم النماذج المدربة مسبقًا واسعة النطاق) وAGI وNLP وMT وSpeech وDocument AI وMultimodal AI، فيرجى إرسال سيرتك الذاتية إلى [email protected].

رخصة

تم ترخيص هذا المشروع بموجب الترخيص الموجود في ملف الترخيص في الدليل الجذر لهذه الشجرة المصدر.

قواعد سلوك مايكروسوفت مفتوحة المصدر

معلومات الاتصال

للحصول على مساعدة أو مشكلات في استخدام النماذج المدربة مسبقًا، يرجى إرسال مشكلة GitHub. للاتصالات الأخرى، يرجى الاتصال بـ Furu Wei ( [email protected] ).