step_into_llm
1.0.0
رابط التسجيل: https://xihe.mindspore.cn/course/foundation-model-v2/introduction
(ملاحظة: يجب عليك التسجيل للمشاركة في الدورة المجانية! قم بإضافة مجموعة QQ في نفس الوقت، وسيتم إعلامك بأمور الدورة اللاحقة في المجموعة!)
سيتم بث المرحلة الثانية من الدورة مباشرة في المحطة B من الساعة 14:00 إلى 15:00 كل يوم سبت اعتبارا من 14 أكتوبر.
سيتم تحميل ملف ppt والكود الخاص بكل دورة تدريجيًا إلى github جنبًا إلى جنب مع التدريس، وسيتم أرشفة سلسلة عمليات تشغيل الفيديو على المحطة ب. يمكنك الحصول على مراجعة لنقاط المعرفة لكل فصل ومعاينة الدورة التدريبية للفصل التالي يتلقى الفصل الدراسي على حساب MindSpore الرسمي مرحبًا بكم في الجميع سلسلة من المهام النموذجية الكبيرة من مجتمع MindSpore للتحدي.
نظرًا لأن دورة الدورة التدريبية طويلة، فقد يتم تعديل جدول الفصل قليلاً في منتصف الطريق. شكرًا لك على تفهمك.
نرحب ترحيبًا حارًا بالأصدقاء للمشاركة في بناء الدورة، ويمكن تقديم التطورات المثيرة للاهتمام المستندة إلى الدورة إلى منصة النماذج الكبيرة MindSpore.
إذا وجدت أي مشاكل في البرامج التعليمية والتعليمات البرمجية أثناء عملية التعلم، وتريد منا أن نشرح لك المحتوى الذي تريده، أو لديك أي اقتراحات للدورة التدريبية، فيمكنك إنشاء مشكلة مباشرة في هذا المستودع.
أصبحت تقنية Shengsi MindSpore المفتوحة الآن على قدم وساق وهي مفتوحة لجميع المطورين المهتمين بالنماذج الكبيرة. سنقودك إلى الجمع بين النظرية والوقت وتعميق تكنولوجيا النماذج الكبيرة تدريجيًا من المستوى الضحل إلى الأعمق.
في الدورة التدريبية الأولى المكتملة (المحاضرة 1-10)، بدأنا باستخدام Transformer، وقمنا بتحليل مسار تطور ChatGPT، وأرشدناك خطوة بخطوة لإنشاء نسخة بسيطة من "ChatGPT"
تمت ترقية المرحلة الثانية المستمرة من الدورة (المحاضرة 11-) بشكل شامل على أساس المرحلة الأولى، وهي تركز على ممارسة العملية الكاملة للنماذج الكبيرة بدءًا من التطوير وحتى التطبيق، مما يشرح المزيد من المعرفة المتطورة بالنماذج الكبيرة ويثري المزيد. المعرفة تشكيلة متنوعة من المحاضرين، نتطلع إلى انضمامكم!
| رقم الفصل | اسم الفصل | مقدمة الدورة | فيديو | الدورات التعليمية والكود | ملخص نقاط المعرفة |
|---|---|---|---|---|---|
| محاضرة 1 | محول | مبدأ الاهتمام الذاتي متعدد الرؤوس. طريقة معالجة الإخفاء للانتباه الذاتي المقنع. التدريب على مهام الترجمة الآلية القائمة على المحولات. | وصلة | وصلة | وصلة |
| محاضرة 2 | بيرت | تصميم نموذج BERT يعتمد على Transformer Encoder: مهام الامتيازات والرهون البحرية وNSP. نموذج بيرت لضبط المهام النهائية. | وصلة | وصلة | وصلة |
| محاضرة 3 | جي بي تي | تصميم نموذج GPT يعتمد على وحدة فك ترميز المحولات: التنبؤ بالرمز المميز التالي. نموذج الضبط الدقيق لمهمة GPT. | وصلة | وصلة | وصلة |
| محاضرة 4 | جي بي تي 2 | تتضمن الابتكارات الأساسية لـ GPT2 تكييف المهام والتعلم الصفري؛ وتعتمد تفاصيل تنفيذ النموذج على تغييرات GPT1. | وصلة | وصلة | وصلة |
| محاضرة 5 | يقوم MindSpore بالتوازي تلقائيًا | توازي البيانات، وتوازي النماذج، وتوازي خطوط الأنابيب، وتحسين الذاكرة وغيرها من التقنيات القائمة على خصائص التوازي الموزع في MindSpore. | وصلة | وصلة | وصلة |
| المحاضرة 6 | التدريب المسبق على الكود | تاريخ تطوير التدريب المسبق للكود. المعالجة المسبقة لبيانات الكود. يقوم كود CodeGeex بتدريب النماذج الكبيرة مسبقًا. | وصلة | وصلة | وصلة |
| المحاضرة 7 | ضبط سريع | التغيير من نموذج ما قبل التدريب الدقيق إلى نموذج الضبط الفوري. التقنيات ذات الصلة بالموجه الثابت والموجه الناعم. فقط قم بتغيير مطالبة نص الوصف. | وصلة | وصلة | وصلة |
| المحاضرة 8 | نموذج كبير متعدد الوسائط تم تدريبه مسبقًا | التصميم ومعالجة البيانات ومزايا النموذج الكبير متعدد الوسائط Zidong Taichu؛ النظرة النظرية وإطار النظام والوضع الحالي وتحديات التعرف على الكلام. | وصلة | / | / |
| المحاضرة 9 | إرشاد ضبط | الفكرة الأساسية لضبط التعليمات: تمكين النموذج من فهم وصف المهمة (التعليمات). قيود ضبط التعليمات: غير قادر على دعم المهام المبتكرة ذات المجال المفتوح، وغير قادر على مواءمة أهداف تدريب LM والاحتياجات البشرية. سلسلة الأفكار: من خلال تقديم أمثلة في المطالبات، يمكن للنموذج استخلاص الاستنتاجات. | وصلة | وصلة | وصلة |
| المحاضرة 10 | RLHF | الفكرة الأساسية لـ RLHF: مواءمة LLM مع السلوك البشري. انهيار تكنولوجيا RLHF: الضبط الدقيق لماجستير القانون، والتدريب على نموذج المكافأة بناءً على ردود الفعل البشرية، وضبط النموذج من خلال خوارزمية التعلم المعزز PPO. | وصلة | وصلة | تحديث |
| المحاضرة 11 | ChatGLM | هيكل نموذج GLM، التطور من GLM إلى ChatGLM، عرض رمز نشر استدلال ChatGLM | وصلة | وصلة | وصلة |
| المحاضرة 12 | النموذج الأساسي للاستشعار عن بعد المتعدد الوسائط والتفسير الذكي | في هذه الدورة، شرح السيد صن شيان، نائب مدير مختبر الباحثين بمعهد ابتكار معلومات الفضاء الجوي بالأكاديمية الصينية للعلوم، النموذج الأساسي لتفسير الاستشعار عن بعد متعدد الوسائط، وكشف عن تطور وتحديات تكنولوجيا الاستشعار عن بعد الذكية في عصر النماذج الكبيرة، والمسارات والحلول التقنية لنموذج الاستشعار عن بعد الأساسي وتطبيقات السيناريو النموذجي | وصلة | / | وصلة |
| المحاضرة 13 | ChatGLM2 | التحليل الفني لـ ChatGLM2، وعرض كود نشر استدلال ChatGLM2، ومقدمة ميزة ChatGLM3 | وصلة | وصلة | وصلة |
| المحاضرة 14 | مبادئ توليد النص وفك التشفير | أخذ MindNLP كمثال لشرح مبادئ وتطبيق تكنولوجيا البحث وأخذ العينات | وصلة | وصلة | وصلة |
| المحاضرة 15 | اللاما | خلفية LLaMA ومقدمة لعائلة الألبكة، وتحليل هيكل نموذج LLaMA، وعرض رمز نشر استدلال LLaMA | وصلة | وصلة | وصلة |
| المحاضرة 16 | لاما2 | تقديم هيكل نموذج LLAMA2، وقراءة الكود لتوضيح نشر دردشة LLAMA2 | وصلة | وصلة | وصلة |
| المحاضرة 17 | العقل بنغتشنغ | نموذج Pengcheng Brain 200B هو نموذج لغة انحدار ذاتي يحتوي على 200 مليار معلمة، وهو يعتمد على تقنية MindSpore المتوازية الموزعة متعددة الأبعاد للتطوير واسع النطاق على المدى الطويل على مجموعة الكيلوكارد لشبكة الحوسبة الصينية "Pengcheng Cloud Brain II". التدريب على النطاق. يركز النموذج على القدرات الأساسية للغة الصينية، مع الأخذ في الاعتبار اللغة الإنجليزية وبعض القدرات متعددة اللغات، وقد أكمل التدريب على رموز 1.8T. | وصلة | / | وصلة |
| المحاضرة 18 | CPM-النحلة | تقديم التدريب المسبق لـ CPM-Bee والاستدلال والضبط الدقيق والعرض المباشر للكود | وصلة | وصلة | وصلة |
| المحاضرة 19 | RWKV1-4 | تراجع RNN وصعود المحولات العالمية؟ مساوئ ممارسة RNN-RWKV الجديدة لمحولات الاهتمام الذاتي لنموذج RWKV المعتمد على MindNLP | وصلة | / | وصلة |
| المحاضرة 20 | وزارة التربية والتعليم | الحياة الماضية والحالية لوزارة التربية والتعليم أساس تنفيذ وزارة التربية والتعليم: اتصال AlltoAll؛ Mixtral 8x7b: أفضل نموذج كبير مفتوح المصدر لوزارة التربية والتعليم في الوقت الحاضر، وزارة التربية والتعليم والتعلم مدى الحياة، استنادًا إلى العرض الاستدلالي Mixtral 8x7b لـ Shengsi MindSpore. | وصلة | وصلة | وصلة |
| المحاضرة 21 | ضبط المعلمة بكفاءة | تقديم مبادئ Lora (P-Tuning) وتنفيذ التعليمات البرمجية | وصلة | وصلة | وصلة |
| المحاضرة 22 | الهندسة السريعة | الهندسة السريعة: 1. ما هي الهندسة السريعة؟ 2. كيف تحدد جودة المطالبة؟ 3. كيف تكتب رسالة مطالبة عالية الجودة؟ 4. كيفية إنتاج مطالبة عالية الجودة؟ 5. دعونا نتحدث بإيجاز عن بعض المشاكل التي واجهناها عند تنفيذ Prompt. | وصلة | / | وصلة |
| المحاضرة 23 | استراتيجية تحسين البحث التلقائي المتوازي متعدد الأبعاد | الموضوع 1 · نموذج فقدان الوقت والتقسيم المحسن متعدد الأبعاد / الموضوع 2 · تطبيق خوارزمية APSS | صعودا وهبوطا | وصلة | |
| المحاضرة 24 | الباحث العلمي Puyu نموذج كبير مفتوح المصدر لسلسلة أدوات كاملة وتجربة تطوير الوكيل الذكي | في هذه الدورة، يسعدنا أن ندعو السيد Wen Xing، المشغل الفني والمبشر التقني لمجتمع Shusheng.Puyu، والسيد Geng Li، المبشر الفني لـ MindSpore، لشرح أداة الارتباط الكامل مفتوحة المصدر لـ MindSpore بالتفصيل. سلسلة Shusheng.Puyu الكبيرة، توضح كيفية ضبط العملاء الأذكياء واستدلالهم وتطويرهم على Shusheng.Puyu. | وصلة | / | وصلة |
| المحاضرة 25 | خرقة | ||||
| المحاضرة 26 | تحليل وحدة LangChain | تحليل النماذج والموجهات والذاكرة والسلاسل والوكلاء والفهارس ووحدات الاسترجاعات وتحليل الحالة | |||
| المحاضرة 27 | RWKV5-6 | / | |||
| المحاضرة 28 | تحديد كمي | تقديم تقنية تكميم البتات المنخفضة وتقنيات تكميم النماذج الأخرى ذات الصلة |
 |  |  |
