step_into_llm
1.0.0
Tautan pendaftaran: https://xihe.mindspore.cn/course/foundation-model-v2/introduction
(Catatan: Anda harus mendaftar untuk berpartisipasi dalam kursus gratis! Tambahkan grup QQ secara bersamaan, dan materi kursus selanjutnya akan diberitahukan di grup!)
Kursus tahap kedua akan disiarkan langsung di Stasiun B mulai pukul 14:00-15:00 setiap hari Sabtu mulai tanggal 14 Oktober.
Ppt dan kode setiap kursus akan diunggah secara bertahap ke github bersamaan dengan pengajarannya, dan rangkaian pemutaran video akan diarsipkan di stasiun b. Anda bisa mendapatkan review poin pengetahuan setiap kelas dan pratinjau kursus untuk selanjutnya kelas di akun resmi MindSpore. Selamat datang di Semua orang menerima serangkaian tugas model besar dari komunitas MindSpore untuk ditantang.
Karena siklus kursusnya panjang, jadwal kelas mungkin sedikit disesuaikan di tengah jalan. Pemberitahuan terakhir akan berlaku. Terima kasih atas pengertian Anda!
Teman-teman dipersilakan dengan hangat untuk berpartisipasi dalam pembangunan kursus. Perkembangan menarik berdasarkan kursus dapat dikirimkan ke platform model besar MindSpore.
Jika Anda menemukan masalah apa pun dengan perangkat kursus dan kode selama proses pembelajaran, dan Anda ingin kami menjelaskan konten apa yang Anda inginkan, atau memiliki saran untuk kursus tersebut, Anda dapat membuat masalah langsung di repositori ini.
Kelas terbuka teknologi Shengsi MindSpore kini sedang berjalan lancar. Ini terbuka untuk semua pengembang yang tertarik dengan model besar. Kami akan mengarahkan Anda untuk menggabungkan teori dengan waktu dan secara bertahap memperdalam teknologi model besar dari yang dangkal ke yang lebih dalam.
Dalam kursus pertama yang telah diselesaikan (Kuliah 1-10), kami memulai dengan Transformer, menganalisis jalur evolusi ChatGPT, dan memandu Anda langkah demi langkah untuk membuat versi sederhana "ChatGPT"
Kursus fase kedua yang sedang berlangsung (Kuliah 11-) telah ditingkatkan secara komprehensif berdasarkan fase pertama. Kursus ini berfokus pada keseluruhan proses praktik model besar mulai dari pengembangan hingga penerapan, menjelaskan pengetahuan model besar yang lebih mutakhir dan memperkaya lebih banyak lagi pengetahuan. Jajaran dosen yang beragam, menantikan bergabungnya Anda!
| Nomor bab | Nama bab | Pengenalan Kursus | video | Peralatan kursus dan kode | Ringkasan poin pengetahuan |
|---|---|---|---|---|---|
| Kuliah 1 | Transformator | Prinsip perhatian diri multi-kepala. Metode pemrosesan masking dari perhatian diri yang disamarkan. Pelatihan tugas terjemahan mesin berbasis transformator. | link | link | link |
| Kuliah 2 | BERT | Desain model BERT berdasarkan Transformer Encoder: tugas MLM dan NSP. Paradigma BERT untuk menyempurnakan tugas-tugas hilir. | link | link | link |
| Kuliah 3 | GPT | Desain model GPT berdasarkan Transformer Decoder: Prediksi token berikutnya. Paradigma penyempurnaan tugas hilir GPT. | link | link | link |
| Kuliah 4 | GPT2 | Inovasi inti GPT2 meliputi Pengondisian Tugas dan pembelajaran Zero shot; detail penerapan model didasarkan pada perubahan GPT1. | link | link | link |
| Kuliah 5 | MindSpore secara otomatis memparalelkan | Paralelisme data, paralelisme model, paralelisme saluran pipa, optimalisasi memori, dan teknologi lainnya berdasarkan karakteristik paralelisme terdistribusi MindSpore. | link | link | link |
| Kuliah 6 | Kode pra-pelatihan | Sejarah perkembangan kode pra-pelatihan. Pemrosesan awal data kode. Kode CodeGeex melatih model besar terlebih dahulu. | link | link | link |
| Kuliah 7 | Penyetelan Cepat | Perubahan dari paradigma Pretrain-finetune ke paradigma tuning Prompt. Teknologi terkait Hard Prompt dan Soft Prompt. Ubah saja perintah teks deskripsi. | link | link | link |
| Kuliah 8 | Model besar multi-modal yang telah dilatih sebelumnya | Desain, pemrosesan data, dan keunggulan model besar multi-modal Zidong Taichu; gambaran teoritis, kerangka sistem, situasi saat ini dan tantangan pengenalan suara. | link | / | / |
| Kuliah 9 | Instruksikan Penyetelan | Ide inti penyetelan instruksi: memungkinkan model memahami deskripsi tugas (instruksi). Keterbatasan penyetelan instruksi: tidak dapat mendukung tugas-tugas inovatif domain terbuka, tidak dapat menyelaraskan tujuan pelatihan LM dan kebutuhan manusia. Rantai pemikiran: Dengan memberikan contoh dalam petunjuknya, model dapat menarik kesimpulan. | link | link | link |
| Kuliah 10 | RLHF | Ide inti RLHF: Menyelaraskan LLM dengan perilaku manusia. Rincian teknologi RLHF: Penyempurnaan LLM, pelatihan model penghargaan berdasarkan umpan balik manusia, dan penyempurnaan model melalui pembelajaran penguatan algoritma PPO. | link | link | Memperbarui |
| Kuliah 11 | ObrolanGLM | Struktur model GLM, evolusi dari GLM ke ChatGLM, demonstrasi kode penerapan inferensi ChatGLM | link | link | link |
| Kuliah 12 | Model dasar interpretasi cerdas penginderaan jauh multimodal | Dalam kursus ini, Bapak Sun Xian, wakil direktur laboratorium peneliti di Institute of Aerospace Information Innovation, Chinese Academy of Sciences, menjelaskan model dasar interpretasi penginderaan jauh multi-modal, mengungkap perkembangan dan tantangan teknologi penginderaan jauh yang cerdas. di era model besar, dan rute teknis serta solusi model penginderaan jauh dasar | link | / | link |
| Kuliah 13 | ObrolanGLM2 | Analisis teknis ChatGLM2, demonstrasi kode penerapan inferensi ChatGLM2, pengenalan fitur ChatGLM3 | link | link | link |
| Kuliah 14 | Prinsip pembuatan dan penguraian teks | Mengambil MindNLP sebagai contoh untuk menjelaskan prinsip dan implementasi teknologi pencarian dan pengambilan sampel | link | link | link |
| Kuliah 15 | LAMA | Latar belakang LLaMA dan pengenalan keluarga alpaka, analisis struktur model LLaMA, demonstrasi kode penerapan inferensi LLaMA | link | link | link |
| Kuliah 16 | LLAMA2 | Memperkenalkan struktur model LLAMA2, membaca kode untuk mendemonstrasikan penerapan obrolan LLAMA2 | link | link | link |
| Kuliah 17 | Pikiran Pengcheng | Model Pengcheng Brain 200B adalah model bahasa autoregresif dengan 200 miliar parameter. Model ini didasarkan pada teknologi paralel terdistribusi multi-dimensi MindSpore untuk pengembangan skala besar jangka panjang di cluster kilocard node hub China Computing Network 'Pengcheng Cloud Brain II'. Pelatihan skala. Model ini berfokus pada kemampuan inti bahasa Mandarin, dengan mempertimbangkan bahasa Inggris dan beberapa kemampuan multi-bahasa. Model ini telah menyelesaikan pelatihan pada token 1,8T. | link | / | link |
| Kuliah 18 | CPM-Lebah | Memperkenalkan pra-pelatihan, inferensi, penyesuaian, dan demonstrasi kode langsung CPM-Bee | link | link | link |
| Kuliah 19 | RWKV1-4 | Kemunduran RNN dan kebangkitan Transformers Universal? Kerugian dari Praktik RNN-RWKV Transformator "Pukulan" Perhatian Diri yang baru pada model RWKV berdasarkan MindNLP | link | / | link |
| Kuliah 20 | MOE | Kehidupan MoE di masa lalu dan sekarang Landasan implementasi MoE: Komunikasi AlltoAll; Mixtral 8x7b: Model besar MoE open source terbaik saat ini, MoE dan pembelajaran seumur hidup, berdasarkan demonstrasi inferensi Mixtral 8x7b dari Shengsi MindSpore. | link | link | link |
| Kuliah 21 | Penyempurnaan parameter yang efisien | Memperkenalkan Lora, (P-Tuning) prinsip dan implementasi kode | link | link | link |
| Kuliah 22 | Rekayasa Cepat | Rekayasa Prompt: 1. Apa itu Prompt? 2. Bagaimana cara menentukan kualitas sebuah Prompt? 3. Bagaimana cara menulis Prompt yang berkualitas tinggi? 4. Bagaimana cara menghasilkan prompt berkualitas tinggi? 5. Mari kita bahas secara singkat beberapa masalah yang kita temui saat menjalankan Prompt. | link | / | link |
| Kuliah 23 | Strategi optimasi pencarian otomatis paralel hybrid multi-dimensi | Topik 1·Model kehilangan waktu dan peningkatan dikotomi multidimensi/Topik 2·Aplikasi algoritma APSS | naik turun | link | |
| Kuliah 24 | Cendekiawan. Puyu model besar pengenalan rantai alat rantai penuh sumber terbuka dan pengalaman pengembangan agen cerdas | Dalam kursus ini, kami beruntung mengundang Bapak Wen Xing, operator teknis dan penginjil teknis komunitas Shusheng.Puyu, dan Bapak Geng Li, penginjil teknis MindSpore, untuk menjelaskan secara rinci alat tautan lengkap sumber terbuka Shusheng.Puyu model besar. Rantai, mendemonstrasikan cara menyempurnakan, menalar, dan mengembangkan agen cerdas di Shusheng.Puyu. | link | / | link |
| Kuliah 25 | LAP | ||||
| Kuliah 26 | Analisis modul LangChain | Analisis Model, Perintah, Memori, Rantai, Agen, Indeks, modul Panggilan Balik, dan analisis kasus | |||
| Kuliah 27 | RWKV5-6 | / | |||
| Kuliah 28 | Mengukur | Memperkenalkan kuantisasi bit rendah dan teknologi kuantisasi model terkait lainnya |
 |  |  |
