AI System
1.0.0
Английский
Китайское название этого курса — «Система искусственного интеллекта» , которое в основном объясняет проектирование компьютерных систем, поддерживающих искусственный интеллект. Соответствующее английское название курса — «Система для искусственного интеллекта» . В этом курсе следующие термины будут использоваться взаимозаменяемо: система искусственного интеллекта , система искусственного интеллекта и система для искусственного интеллекта .
Этот курс является одним из учебных пособий по искусственному интеллекту, запланированных в Сообществе Microsoft по обучению и совместному строительству в области искусственного интеллекта. В базовом учебном модуле номер и название курса — A6-Система искусственного интеллекта .
Приглашаем вас посетить модуль A-Basic Tutorial сообщества Microsoft по обучению искусственному интеллекту и совместному строительству, чтобы получить доступ к дополнительному контенту.
В последние годы искусственный интеллект, особенно технологии глубокого обучения, быстро развиваются, что неотделимо от постоянного прогресса компьютерного оборудования и программных систем. В обозримом будущем развитие технологий искусственного интеллекта по-прежнему будет опираться на совместную инновационную модель, объединяющую компьютерные системы и искусственный интеллект. Следует отметить, что компьютерные системы в настоящее время расширяют возможности искусственного интеллекта, увеличивая его масштаб и сложность, что требует не только большего количества системных инноваций, но и систематического мышления и методологии. В то же время искусственный интеллект также поддерживает проектирование сложных систем.
Мы заметили, что большинство текущих курсов, связанных с искусственным интеллектом, особенно курсов, связанных с глубоким обучением и машинным обучением, в основном сосредоточены на связанных теориях, алгоритмах или приложениях, а курсы, связанные с системами, встречаются редко. Мы надеемся, что курс систем искусственного интеллекта сделает образование, связанное с искусственным интеллектом, более всесторонним и углубленным, чтобы совместно способствовать развитию талантов на стыке искусственного интеллекта и систем.
Этот курс предназначен в первую очередь для студентов старших курсов и аспирантов, чтобы помочь студентам:
Полностью понять архитектуру компьютерной системы, которая поддерживает глубокое обучение, и изучить проектирование системы в рамках полного жизненного цикла глубокого обучения посредством практических задач.
Представляет передовые исследовательские работы, сочетающие системы и искусственный интеллект, в том числе «ИИ для систем» и «Системы для ИИ», чтобы помочь студентам старших курсов и аспирантам лучше находить и определять значимые исследовательские вопросы.
Разрабатывайте экспериментальные курсы с точки зрения систематических исследований. Поощряйте студентов внедрять и оптимизировать системные модули, используя и применяя основные и новейшие структуры, платформы и инструменты, чтобы улучшить их способность решать практические проблемы, а не просто понимать использование инструментов.
Предварительные курсы: C/C++/Python, компьютерная архитектура, введение в алгоритмы.
Курс в основном включает в себя следующие три модуля:
Первая часть — это базовые знания об искусственном интеллекте и полный обзор систем искусственного интеллекта, а также систематическое проектирование и методология систем глубокого обучения;
Вторая часть — продвинутый курс, включающий самые передовые направления исследований на стыке систем и искусственного интеллекта.
Третья часть — это поддерживающие экспериментальные курсы, включающие наиболее распространенные фреймворки, платформы и инструменты, а также серию экспериментальных проектов.
Содержание первой части будет сосредоточено на базовых знаниях, а содержание двух других частей будет динамически корректироваться с учетом технологических достижений в научных кругах и промышленности. Содержание последних двух частей будет организовано в модульной форме, чтобы облегчить адаптацию или объединение с другими курсами информатики (например, принципами компиляции и т. д.) в качестве расширенных конспектов лекций или проектов стажировок.
При разработке этого курса также будут использованы результаты исследований и опыт Microsoft Research Asia в сфере искусственного интеллекта и систем, включая некоторые платформы и инструменты, разработанные Microsoft и исследовательским институтом. Курс также поощряет другие школы и учителей добавлять и корректировать более сложные темы или другие эксперименты в соответствии со своими потребностями.
базовый курс
| Номер курса | Название раздаточного материала | Примечание |
| 1 | Введение в курс | Обзор курса и основы системы/ИИ |
| 2 | Обзор системы искусственного интеллекта | История развития систем искусственного интеллекта, основы нейронных сетей, основы систем искусственного интеллекта |
| 3 | Основы вычислительной среды глубоких нейронных сетей | Обратное распространение ошибки и автоматический вывод, тензоры, направленные ациклические графы, миллиметровки и системы выполнения: PyTorch, TensorFlow |
| 4 | Матричные операции и архитектура компьютера | Матричные операции, CPU/SIMD, GPGPU, ASIC/TPU Документы и системы: Блас, ТПУ |
| 5 | Алгоритм распределенного обучения | Параллелизм данных, параллелизм моделей, распределенный SGD Документы и системы: PipeDream |
| 6 | Распределенная система обучения | MPI, серверы параметров, полное сокращение, RDMA Документы и системы: Хоровод |
| 7 | Система планирования и управления ресурсами гетерогенного вычислительного кластера | Запуск задач DNN в кластере: контейнеры, распределение ресурсов, документы по планированию и системы: Kubeflow, OpenPAI, Gandiva |
| 8 | Система вывода глубокого обучения | Эффективность, задержка, пропускная способность, документы и системы по развертыванию: TensorRT, TensorFlowLite, ONNX. |
Курсы повышения квалификации
| Номер курса | Название раздаточного материала | Примечание |
| 9 | Составление и оптимизация вычислительных графиков | Документы и системы IR, сопоставление шаблонов подграфов, умножение матриц и оптимизация памяти: XLA, MLIR, TVM, NNFusion. |
| 10 | Оптимизация сжатия и разрежения нейронных сетей | Сжатие модели, разрежение, обрезка |
| 11 | Автоматическая система машинного обучения | Настройка гиперпараметров, поиск структуры нейронной сети (NAS) Документы и системы: Hyperband, SMAC, ENAX, AutoKeras, NNI. |
| 12 | система обучения с подкреплением | Теория RL, статьи и системы RL: AC3, RLlib, AlphaZero |
| 13 | Безопасность и конфиденциальность | Документы и системы федеративного обучения, безопасности, конфиденциальности: DeepFake |
| 14 | Использование искусственного интеллекта для оптимизации компьютерных систем | Искусственный интеллект применяется для решения традиционных системных проблем, искусственный интеллект применяется к документам и системам системных алгоритмов: системы потокового мультимедиа, индексация баз данных, настройка параметров системы, проектирование микросхем, прогнозное планирование ресурсов. |
Основной эксперимент
| Номер эксперимента | Название эксперимента | Примечание |
| Эксперимент 1 | Примеры начала работы с фреймворками и инструментами | |
| Эксперимент 2 | Настройка новой тензорной операции | |
| Эксперимент 3 | Внедрение и оптимизация CUDA | |
| Эксперимент 4 | Внедрение или оптимизация AllReduce | |
| Эксперимент 5 | Настройте контейнер для облачного обучения или подготовки выводов. | |
Расширенные эксперименты
| Эксперимент 6 | Научитесь использовать систему управления расписанием | |
| Эксперимент 7 | Упражнение с распределенной обучающей задачей | |
| Эксперимент 8 | Упражнения по системе автоматического машинного обучения | |
| Эксперимент 9 | Упражнения по системе обучения с подкреплением | |
Учебник «Система искусственного интеллекта» — один из учебников по искусственному интеллекту, запланированных в Сообществе Microsoft по искусственному интеллекту и совместному строительству. Мы заметили, что большинство нынешних учебников, посвященных искусственному интеллекту, особенно курсы, связанные с глубоким обучением и машинным обучением, в основном сосредоточены на связанных теориях, алгоритмах или приложениях, а учебники, связанные с системами, встречаются редко. Мы надеемся, что учебники по системам искусственного интеллекта смогут сделать образование в области систем искусственного интеллекта более систематическим и универсальным, чтобы совместно способствовать развитию талантов на стыке искусственного интеллекта и систем.
Вышла в свет бумажная версия учебника «Проектирование систем глубокого обучения: теория и практика». Добро пожаловать к прочтению!
<TBD>
Этот проект приветствует вклады и предложения. Большинство вкладов требуют вашего согласия с Лицензионным соглашением для участников (CLA), в котором указано, что вы имеете право и действительно предоставляете нам права на использование вашего вклада. Подробную информацию можно найти на странице https://. cla.opensource.microsoft.com.
Когда вы отправляете запрос на включение, бот CLA автоматически определяет, нужно ли вам предоставить CLA и соответствующим образом оформить PR (например, проверку статуса, комментарий). Просто следуйте инструкциям, предоставленным ботом. Вам нужно будет только это сделать. один раз во всех репозиториях с использованием нашего CLA.
В этом проекте принят Кодекс поведения Microsoft с открытым исходным кодом. Для получения дополнительной информации см. часто задаваемые вопросы о Кодексе поведения или свяжитесь с нами по адресу [email protected], если у вас возникнут дополнительные вопросы или комментарии.
Microsoft и любые участники предоставляют вам лицензию на документацию Microsoft и другой контент в этом репозитории в соответствии с Международной публичной лицензией Creative Commons Attribution 4.0, см. файл LICENSE, и предоставляют вам лицензию на любой код в репозитории в соответствии с лицензией MIT, см. файл ЛИЦЕНЗИОННОГО КОДА.
Microsoft, Windows, Microsoft Azure и/или другие продукты и услуги Microsoft, упомянутые в документации, могут быть товарными знаками или зарегистрированными товарными знаками Microsoft в США и/или других странах. Лицензии на этот проект не предоставляют вам прав на их использование. Названия, логотипы и товарные знаки Microsoft можно найти по адресу https://go.microsoft.com/fwlink/?LinkID=254653.
Информацию о конфиденциальности можно найти по адресу https://privacy.microsoft.com/en-us/.
Microsoft и любые участники оставляют за собой все другие права, будь то в соответствии с их соответствующими авторскими правами, патентами или товарными знаками, косвенно, путем возражения против возражения или иным образом.
