step_into_llm
1.0.0
Ссылка на регистрацию: https://xihe.mindspore.cn/course/foundation-model-v2/introduction
(Примечание: для участия в бесплатном курсе необходимо зарегистрироваться! Одновременно добавьте группу QQ, и последующие вопросы курса будут сообщаться в группе!)
Второй этап курса будет транслироваться в прямом эфире на станции B с 14:00 до 15:00 каждую субботу с 14 октября.
PPT и код каждого курса будут постепенно загружены на github вместе с преподаванием, а серия воспроизведений видео будет заархивирована на станции b. Вы можете получить обзор знаний каждого класса и предварительный просмотр следующего курса. Класс на официальном аккаунте MindSpore. Welcome toEvery получает серию крупных модельных задач от сообщества MindSpore.
Поскольку цикл курса длительный, расписание занятий может быть немного скорректировано в середине курса. Последнее уведомление имеет преимущественную силу. Благодарим за понимание.
Друзья приглашаются принять участие в построении курса. Интересные разработки на основе курса можно представить на платформе крупных моделей MindSpore.
Если в процессе обучения вы обнаружите какие-либо проблемы с учебным программным обеспечением и кодом и хотите, чтобы мы объяснили, какой контент вам нужен, или у вас есть какие-либо предложения по курсу, вы можете создать проблему непосредственно в этом репозитории.
Открытый класс по технологии Shengsi MindSpore сейчас в самом разгаре. Он открыт для всех разработчиков, интересующихся большими моделями. Мы поможем вам объединить теорию со временем и постепенно углублять технологию больших моделей от более мелких к более глубоким.
В пройденном первом курсе (лекции 1–10) мы начали с Transformer, проанализировали путь развития ChatGPT и шаг за шагом помогли вам создать простую версию ChatGPT.
Продолжающийся второй этап курса (Лекция 11-) был полностью усовершенствован на основе первого этапа. Он фокусируется на всей практике работы с большими моделями от разработки до применения, объясняя более передовые знания о больших моделях и обогащая их. знания. Разнообразный состав лекторов, с нетерпением ждем вашего присоединения!
| Номер главы | Название главы | Введение в курс | видео | Учебное обеспечение и код | Сводка очков знаний |
|---|---|---|---|---|---|
| Лекция 1 | Трансформатор | Принцип многоголового внимания к себе. Метод обработки маскировки замаскированного внимания к себе. Обучение задачам машинного перевода на основе трансформатора. | связь | связь | связь |
| Лекция 2 | БЕРТ | Разработка модели BERT на основе Transformer Encoder: задачи MLM и NSP. Парадигма BERT для точной настройки последующих задач. | связь | связь | связь |
| Лекция 3 | GPT | Разработка модели GPT на основе Transformer Decoder: предсказание следующего токена. Парадигма тонкой настройки последующих задач GPT. | связь | связь | связь |
| Лекция 4 | GPT2 | Основные нововведения GPT2 включают в себя согласование задач и обучение с нулевым выстрелом. Детали реализации модели основаны на изменениях GPT1. | связь | связь | связь |
| Лекция 5 | MindSpore автоматически распараллеливает | Параллелизм данных, параллелизм моделей, конвейерный параллелизм, оптимизация памяти и другие технологии, основанные на характеристиках распределенного параллелизма MindSpore. | связь | связь | связь |
| Лекция 6 | Предварительное обучение кода | История развития предварительного обучения кода. Предварительная обработка данных кода. Код CodeGeex предварительно обучает большие модели. | связь | связь | связь |
| Лекция 7 | Оперативная настройка | Переход от парадигмы Pretrain-finetune к парадигме быстрой настройки. Технологии, связанные с жесткими и мягкими подсказками. Просто измените подсказку текста описания. | связь | связь | связь |
| Лекция 8 | Мультимодальная предварительно обученная большая модель | Конструкция, обработка данных и преимущества мультимодальной большой модели Zidong Taichu: теоретический обзор, структура системы, текущая ситуация и проблемы распознавания речи; | связь | / | / |
| Лекция 9 | Поручить настройку | Основная идея настройки инструкций: дать возможность модели понять описание задачи (инструкцию). Ограничения настройки инструкций: невозможность поддержки инновационных задач в открытой области, невозможность согласовать цели обучения LM и потребности человека. Цепочка мыслей: предоставляя примеры в подсказках, модель может сделать выводы. | связь | связь | связь |
| Лекция 10 | РЛХФ | Основная идея RLHF: согласовать LLM с поведением человека. Структура технологии RLHF: точная настройка LLM, обучение модели вознаграждения на основе отзывов людей и точная настройка модели с помощью алгоритма PPO обучения с подкреплением. | связь | связь | Обновление |
| Лекция 11 | ЧатGLM | Структура модели GLM, эволюция от GLM к ChatGLM, демонстрация кода развертывания вывода ChatGLM | связь | связь | связь |
| Лекция 12 | Базовая модель мультимодального дистанционного зондирования с интеллектуальной интерпретацией | В ходе этого курса г-н Сунь Сянь, заместитель директора исследовательской лаборатории Института инноваций аэрокосмической информации Китайской академии наук, объяснил базовую модель мультимодальной интерпретации данных дистанционного зондирования, раскрыв развитие и проблемы интеллектуальных технологий дистанционного зондирования. в эпоху больших моделей, а также технические маршруты и решения базовой модели дистанционного зондирования. Типичные сценарии применения. | связь | / | связь |
| Лекция 13 | ЧатGLM2 | Технический анализ ChatGLM2, демонстрация кода развертывания вывода ChatGLM2, введение в функции ChatGLM3 | связь | связь | связь |
| Лекция 14 | Принципы генерации и декодирования текста | На примере MindNLP объясняем принципы и реализацию технологии поиска и выборки. | связь | связь | связь |
| Лекция 15 | ЛЛАМА | Предыстория LLaMA и знакомство с семейством альпака, анализ структуры модели LLaMA, демонстрация кода развертывания вывода LLaMA | связь | связь | связь |
| Лекция 16 | ЛЛАМА2 | Знакомство со структурой модели LLAMA2, чтение кода для демонстрации развертывания чата LLAMA2. | связь | связь | связь |
| Лекция 17 | Пэнчэн ум | Модель Pengcheng Brain 200B представляет собой авторегрессионную языковую модель с 200 миллиардами параметров. Она основана на многомерной распределенной параллельной технологии MindSpore для долгосрочного крупномасштабного развития на кластере килокарт узлового узла китайской вычислительной сети «Pengcheng Cloud Brain II». Масштабное обучение. Модель ориентирована на основные возможности китайского языка с учетом английского и некоторых многоязычных возможностей. Она прошла обучение на токенах 1.8T. | связь | / | связь |
| Лекция 18 | CPM-Пчела | Представляем предварительное обучение CPM-Bee, вывод, тонкую настройку и демонстрацию кода в реальном времени. | связь | связь | связь |
| Лекция 19 | РВКВ1-4 | Упадок РНН и рост Универсальных Трансформеров? Недостатки самовнимания «Удар» Новая RNN-RWKV Трансформатора Практика модели RWKV на основе MindNLP | связь | / | связь |
| Лекция 20 | МЧС | Прошлая и настоящая жизнь MoE. Основа реализации MoE: связь AlltoAll; Mixtral 8x7b: лучшая на сегодняшний день большая модель MoE с открытым исходным кодом, MoE и непрерывное обучение, основанная на демонстрации вывода Mixtral 8x7b Shengsi MindSpore. | связь | связь | связь |
| Лекция 21 | Эффективная точная настройка параметров | Знакомство с принципами Lora (P-Tuning) и реализацией кода. | связь | связь | связь |
| Лекция 22 | Оперативное проектирование | Оперативное проектирование: 1. Что такое Оперативное проектирование? 2. Как определить качество Подсказки 3. Как написать качественную Подсказку? 4. Как подготовить качественную подсказку? 5. Кратко поговорим о некоторых проблемах, с которыми мы столкнулись при выполнении Prompt. | связь | / | связь |
| Лекция 23 | Стратегия многомерной гибридной параллельной автоматической поисковой оптимизации | Тема 1 · Модель потерь времени и улучшенная многомерная дихотомия/ Тема 2 · Применение алгоритма APSS | вверх и вниз | связь | |
| Лекция 24 | Ученый Puyu: внедрение полной цепочки инструментов с открытым исходным кодом и опыт разработки интеллектуальных агентов. | В этом курсе нам повезло пригласить г-на Вэнь Сина, технического оператора и технического евангелиста сообщества Shusheng.Puyu, и г-на Гэн Ли, технического евангелиста MindSpore, чтобы подробно объяснить полносвязный инструмент с открытым исходным кодом Большая цепочка моделей Шушенг.Пую, демонстрирующая, как настраивать, рассуждать и разрабатывать интеллектуальные агенты на Шушенг.Пую. | связь | / | связь |
| Лекция 25 | ТРЯПКА | ||||
| Лекция 26 | Анализ модуля LangChain | Анализ моделей, подсказок, памяти, цепочек, агентов, индексов, модулей обратных вызовов и анализ случаев | |||
| Лекция 27 | РВКВ5-6 | / | |||
| Лекция 28 | Количественная оценка | Представляем низкобитовое квантование и другие связанные с ним технологии квантования моделей. |
 |  |  |
