AI System School

Школа систем искусственного интеллекта

??? Система машинного обучения, LLM (большая языковая модель), GenAI (генеративный искусственный интеллект)

Обновления:

• Видеоуроки [YouTube] [bilibili] [小红书]
• Для этого репозитория мы готовим новый сайт [Lets Go AI]!!!

Путь к системе для искусственного интеллекта [Информационный документ, который вы должны прочитать]

Кураторский список исследований в области систем машинного обучения. Ссылка на код, если он доступен, также присутствует. Теперь у нас есть команда, которая будет поддерживать этот проект. Вы можете сделать запрос на получение, используя наш шаблон .

Система для искусственного интеллекта (в порядке сортировки по категориям)

ML/DL Инфра

• Обработка данных
• Система обучения
• Система вывода
• Инфраструктура машинного обучения

LLM Инфра

• Обучение LLM
• LLM Обслуживание

Специализированная для домена инфраструктура

• Видеосистема
• Система АвтоМЛ
• Пограничный ИИ
• Система ГНН
• Федеративная система обучения
• Система глубокого обучения с подкреплением

Система для конференций ML/LLM

Конференция

• ОСДИ
• СОСП
• СИГКОММ
• НИДИ
• МЛСис
• УВД
• Евросис
• Промежуточное ПО
• SoCC
• КрошечныйML

Общие ресурсы

• Опрос
• Книга
• Видео
• Курс
• Блог

Опрос

• На пути к высокодоступным интеллектуальным облачным системам и системам машинного обучения [слайд]
• Кураторский список замечательных статей, видеороликов и ресурсов по системному проектированию для распределенных вычислений, также известных как большие данные. [GitHub]
• Awesome-production-machine-learning: тщательно подобранный список замечательных библиотек с открытым исходным кодом для развертывания, мониторинга, версии и масштабирования вашего машинного обучения [GitHub]
• Возможности и проблемы использования ускорителей машинного обучения в производстве [статья]
  • Анантанараянан, Раджагопал и др. "
  • Конференция {USENIX} 2019 г. по оперативному машинному обучению (OpML 19). 2019.
• Как (и как не надо) писать хорошую системную статью [совет]
• Прикладное машинное обучение в Facebook: взгляд на инфраструктуру центра обработки данных [Документ]
  • Хейзелвуд, Ким и др. ( HPCA 2018 )
• Инфраструктура для удобного машинного обучения: Стэнфордский проект DAWN
  • Байлис, Питер, Кунле Олукотун, Кристофер Ре и Матей Захария. ( препринт 2017 г. )
• Скрытый технический долг в системах машинного обучения [Документ]
  • Скалли, Дэвид и др. ( НИПС 2015 )
• Сквозные аргументы при проектировании систем [Документ]
  • Зальцер, Джером Х., Дэвид П. Рид и Дэвид Д. Кларк.
• Проектирование системы для крупномасштабного машинного обучения [Диссертация]
• Вывод глубокого обучения в центрах обработки данных Facebook: характеристика, оптимизация производительности и аппаратные последствия [документ]
  • Пак, Чонсу, Максим Наумов, Протону Басу и др. АрXiv 2018
  • Краткое описание: В этом документе представлены характеристики моделей DL, а затем показан новый принцип проектирования аппаратного обеспечения DL.
• Взгляд Беркли на системные проблемы искусственного интеллекта [статья]

Книга

• Компьютерная архитектура: количественный подход [Обязательно к прочтению]
• Шаблоны распределенного машинного обучения [Веб-сайт]
• Потоковые системы [Книга]
• Kubernetes в действии (начать читать) [Книга]
• Системы машинного обучения: масштабируемые проекты [Веб-сайт]
• Доверьтесь машинному обучению [Веб-сайт]
• Автоматизированное машинное обучение в действии [Веб-сайт]

Видео

• ScalaDML2020: учитесь у лучших умов сообщества машинного обучения. [Видео]
• Джефф Дин: Основной доклад «Достижение быстрого реагирования в крупных онлайн-сервисах» — Velocity 2014 [YouTube]
• От исследований к производству с PyTorch [Видео]
• Введение в микросервисы, Docker и Kubernetes [YouTube]
• Основной доклад ICML: уроки, извлеченные из оказания помощи 200 000 экспертам, не связанным с МО, в использовании МО [Видео]
• Адаптивные и многозадачные системы обучения [Веб-сайт]
• Системное мышление. Выступление на TED. [Ютуб]
• Гибкие системы — это новый рубеж машинного обучения. Джефф Дин [YouTube]
• Пришло ли время переписать операционную систему на Rust? [Ютуб]
• InfoQ: искусственный интеллект, машинное обучение и инженерия данных [YouTube]
  • Начни смотреть.
• Netflix: инфраструктура машинного обучения, ориентированная на человека [InfoQ]
• SysML 2019: [YouTube]
• ScaledML 2019: Дэвид Паттерсон, Ион Стойка, Dawn Song и т. д. [YouTube]
• ScaledML 2018: Джефф Дин, Ион Стойка, Янцин Цзя и т. д. [YouTube] [Слайды]
• Новый золотой век истории, проблем и возможностей компьютерной архитектуры. Дэвид Паттерсон [YouTube]
• Как сделать плохую карьеру. Дэвид Паттерсон (я большой фанат) [YouTube]
• SysML 18: перспективы и проблемы. Майкл Джордан [YouTube]
• SysML 18: симбиоз систем и машинного обучения. Джефф Дин [YouTube]
• Основы AutoML: автоматизированное машинное обучение в действии. Цинцюань Сун, Хайфэн Цзинь, Ся Ху [YouTube]

Курс

• Семинар CS692: Системы для машинного обучения, Машинное обучение для систем [GitHub]
• Темы в сетях: машинное обучение для сетей и систем, осень 2019 г. [Веб-сайт курса]
• CS6465: Новые облачные технологии и системные проблемы [Корнелл]
• CS294: ИИ для систем и системы для ИИ. [Калифорнийский университет в Беркли, весна] ( Настоятельная рекомендация ) [Системы машинного обучения (осень 2019 г.)]
• CSE 599W: Система для машинного обучения. [Чэнь Тяньци] [Вашингтонский университет]
• EECS 598: Системы для искусственного интеллекта (W'21). [Мошараф Чоудхури] [Системы для ИИ (W'21)]
• Учебный код о том, как создать собственную систему глубокого обучения в 2 тыс. строк [GitHub]
• CSE 291F: Расширенный анализ данных и системы машинного обучения. [UCSD]
• CSci 8980: Машинное обучение в компьютерных системах [Университет Миннесоты, города-побратимы]
• Му Ли (MxNet, сервер параметров): Введение в глубокое обучение [лучший курс DL, я считаю] [Книга]
• 10-605: Машинное обучение с большими наборами данных. [КМУ]
• CS 329S: Проектирование систем машинного обучения. [Стэнфорд]

Блог

• Распараллеливание нескольких процессоров/графических процессоров для ускорения вывода глубокого обучения на периферии [блог Amazon]
• Создание надежных, готовых к использованию моделей глубокого обучения за считанные минуты [Блог]
• Развертывание моделей машинного обучения с помощью Keras, FastAPI, Redis и Docker [Блог]
• Как развернуть модель машинного обучения: создание готового к использованию API с использованием FastAPI + Uvicorn [Блог] [GitHub]
• Развертывание модели машинного обучения в качестве REST API [Блог]
• Непрерывная доставка для машинного обучения [Блог]
• Шпаргалки по Kubernetes в формате A4 [GitHub]
• Нежное введение в Kubernetes [Блог]
• Обучение и развертывание модели машинного обучения с помощью веб-интерфейса — Docker, PyTorch и Flask [GitHub]
• Изучение Kubernetes: китайский даосский путь [GitHub]
• Конвейеры данных, Луиджи, Airflow: все, что вам нужно знать [Блог]
• Набор инструментов глубокого обучения — обзор [Блог]
• Краткое описание CSE 599W: системы для машинного обучения [китайский блог]
• Polyaxon, Argo и Seldon для обучения, упаковки и развертывания моделей в Kubernetes [Блог]
• Обзор различных подходов к внедрению моделей машинного обучения (ML) в производство [Блог]
• Будучи специалистом по данным, вы не станете инженером-программистом [Часть 1] Архитектура конвейера машинного обучения [Часть 2]
• Обслуживание моделей в PyTorch [Блог]
• Машинное обучение в Netflix [средний]
• Материалы конференции SciPy (слайды, репозиторий) [GitHub]
• 继Spark之后，UC Berkeley 推出新一代AI计算引擎——Рэй [Блог]
• 了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？ [Чжиху]
• Изучите Kubernetes менее чем за 3 часа: подробное руководство по оркестрации контейнеров [блог] [GitHub]
• data-engineer-roadmap: обучение у нескольких компаний Кремниевой долины. Netflix, Facebook, Google, стартапы [GitHub]
• TensorFlow Serving + Docker + Tornado. Служба поддержки TensorFlow + Docker + Tornado.
• Развертывание модели машинного обучения в качестве REST API [Блог]
• Colossal-AI: унифицированная система глубокого обучения для эпохи больших моделей [Блог] [GitHub]
• Дорожная карта инженера по обработке данных [Блоги о масштабировании]