the incredible pytorch

---

Это тщательно подобранный список руководств, проектов, библиотек, видео, статей, книг и всего, что связано с невероятным PyTorch. Не стесняйтесь сделать запрос на включение, чтобы внести свой вклад в этот список.

Оглавление

• Оглавление
  • Учебники
  • Большие языковые модели (LLM)
  • Табличные данные
  • Визуализация
  • Объясняемость
  • Обнаружение объектов
  • Длиннохвостое/внераспределенное распознавание
  • Функции активации
  • Энергетическое обучение
  • Отсутствующие данные
  • Поиск архитектуры
  • Постоянное обучение
  • Оптимизация
  • Квантование
  • Квантовое машинное обучение
  • Сжатие нейронной сети
  • Распознавание лиц, действий и поз
  • Супер разрешение
  • Синтезирование взглядов
  • Голос
  • Медицинский
  • 3D-сегментация, классификация и регрессия
  • Распознавание видео
  • Рекуррентные нейронные сети (RNN)
  • Сверточные нейронные сети (CNN)
  • Сегментация
  • Геометрическое глубокое обучение: графы и нерегулярные структуры
  • Сортировка
  • Сети обыкновенных дифференциальных уравнений
  • Многозадачное обучение
  • GAN, VAE и AE
  • Обучение без присмотра
  • Состязательные атаки
  • Передача стиля
  • Подпись к изображению
  • Трансформеры
  • Сети подобия и функции
  • Рассуждение
  • Общее НЛП
  • Вопрос и ответ
  • Генерация и распознавание речи
  • Классификация документов и текстов
  • Генерация текста
  • Текст в изображение
  • Перевод
  • Анализ настроений
  • Глубокое обучение с подкреплением
  • Глубокое байесовское обучение и вероятностное программирование
  • Пиковые нейронные сети
  • Обнаружение аномалий
  • Типы регрессии
  • Временной ряд
  • Синтетические наборы данных
  • Общие улучшения нейронной сети
  • Применение DNN в химии и физике
  • Новое мышление об общей архитектуре нейронных сетей
  • Линейная алгебра
  • API-абстракция
  • Утилиты низкого уровня
  • Утилиты PyTorch
  • Видеоуроки по PyTorch
  • Сообщество
  • Быть классифицированным
  • Ссылки на этот репозиторий
  • Взносы

Учебники

• Официальные руководства по PyTorch
• Официальные примеры PyTorch
• Погрузитесь в глубокое обучение с помощью PyTorch
• Мини-курс по глубокому обучению с помощью PyTorch (многоязычный)
• Практическое глубокое обучение с PyTorch
• Модели глубокого обучения
• Учебное пособие по реализации PyTorch на C++
• Простые примеры для знакомства с PyTorch
• Мини-руководства по PyTorch
• Глубокое обучение для НЛП
• Учебное пособие по глубокому обучению для исследователей
• Полностью сверточные сети, реализованные с помощью PyTorch
• Простые руководства по PyTorch От нуля до всего
• DeepNLP-модели-Pytorch
• Приветственные руководства MILA PyTorch
• Эффективный PyTorch, оптимизация времени выполнения с помощью TorchScript и оптимизация численной стабильности
• Практичный PyTorch
• Шаблон проекта PyTorch
• Семантический поиск с помощью PyTorch

Большие языковые модели (LLM)

• Учебные пособия по LLM
  • Создайте большую языковую модель (с нуля)
  • Hugginface LLM Training Book — сборник методологий, помогающих успешно обучать большие языковые модели.
• Общий
  • Starcoder 2, семейство моделей генерации кода
  • GPT Быстрый, быстрый и взломанный вывод встроенного трансформатора pytorch
  • Разгрузка Mixtral, запуск моделей Mixtral-8x7B в Colab или на потребительских настольных компьютерах.
  • Лама
  • Рецепты ламы
  • КрошечныйЛама
  • Мозаичные предварительно обученные трансформаторы (MPT)
  • VLLM, высокопроизводительный и эффективно использующий память механизм вывода и обслуживания для LLM
  • Долли
  • Викунья
  • Мистраль 7Б
  • BigDL LLM, библиотека для запуска LLM (большая языковая модель) на Intel XPU (от ноутбука до графического процессора и в облаке) с использованием INT4 с очень низкой задержкой1 (для любой модели PyTorch)
  • Простой инструмент точной настройки LLM
  • Лепестки, запуск LLM дома, в стиле BitTorrent, точная настройка и вывод до 10 раз быстрее, чем выгрузка
• японский
  • Японская лама
  • Японский GPT Neox и Open Calm
• китайский
  • Китайская Ламма-2 7Б
  • Китайская викунья
• Поисковая дополненная генерация (RAG)
  • LlamaIndex, структура данных для вашего приложения LLM
• Вложения
  • ChromaDB, база данных для встраивания с открытым исходным кодом
• Приложения
  • Langchain: создание приложений с помощью LLM за счет возможности компоновки
• Тонкая настройка
  • Huggingface PEFT, современная точная настройка с эффективным использованием параметров
• Обучение
  • Хиггсфилд, отказоустойчивая, масштабируемая оркестровка графического процессора и среда машинного обучения, предназначенная для обучения моделей с миллиардами и триллионами параметров.
• Квантование
  • AutoGPTQ, простой в использовании пакет квантования LLM с удобным API, основанный на алгоритме GPTQ.

Табличные данные

• PyTorch Frame: модульная платформа для мультимодального табличного обучения
• Pytorch Tabular, стандартная среда для моделирования моделей глубокого обучения для табличных данных.
• Вкладка Трансформер
• PyTorch-TabNet: внимательное интерпретируемое табличное обучение
• carefree-learn: минимальное решение автоматического машинного обучения (AutoML) для наборов табличных данных на основе PyTorch.

Визуализация

• Визуализация потерь
• Grad-CAM: визуальные пояснения из глубоких сетей посредством градиентной локализации
• Глубоко внутри сверточных сетей: визуализация моделей классификации изображений и карт значимости
• SmoothGrad: удаление шума путем добавления шума
• DeepDream: сказочные галлюциногенные визуальные эффекты
• FlashTorch: набор инструментов визуализации нейронных сетей в PyTorch.
• Lucent: Lucid адаптирован для PyTorch
• DreamCreator: обучение моделей GoogleNet для DeepDream с помощью пользовательских наборов данных стало проще
• Визуализация карты функций CNN

Объясняемость

• Деревья решений на основе нейронов
• Эффективная оценка ковариации на основе временных данных
• Иерархические интерпретации прогнозов нейронной сети
• Shap, единый подход для объяснения результатов любой модели машинного обучения.
• Визуализация сохраненных в PyTorch моделей глубокого обучения в формате .pth с помощью netron
• Преобразование нейронной сети в дерево мягких решений
• Captum, унифицированная библиотека интерпретируемости моделей для PyTorch.

Обнаружение объектов

• Панель инструментов обнаружения объектов MMDetection
• Тест Mask R-CNN: более быстрый R-CNN и Mask R-CNN в PyTorch 1.0
• YOLO-Мир
• ЙОЛОС
• ЙОЛОФ
• ЙОЛОКС
• YOLOv10
• YOLOv9
• YOLOv8
• Йолов7
• YOLOv6
• Йолов5
• Йолов4
• YOLOv3
• YOLOv2: Обнаружение объектов в реальном времени
• SSD: детектор MultiBox одиночного выстрела
• Модели детекторов для обнаружения объектов
• Распознавание многозначных чисел на изображениях Street View с использованием глубоких сверточных нейронных сетей
• Детектор китов
• Катализатор.Обнаружение

Длиннохвостое/внераспределенное распознавание

• Распределительно устойчивые нейронные сети для групповых сдвигов: о важности регуляризации для обобщения наихудшего случая
• Инвариантная минимизация риска
• Классификатор с доверительной калибровкой для обнаружения выборок, находящихся вне распределения
• Обнаружение глубоких аномалий с выявлением выбросов
• Масштабное длиннохвостое распознавание в открытом мире
• Принципиальное обнаружение примеров вне распределения в нейронных сетях
• Уверенность в обучении для обнаружения вне распределения в нейронных сетях
• Образец несбалансированного класса PyTorch

Функции активации

• Рациональные активации — обучаемые функции рациональной активации

Энергетическое обучение

• EBGAN, энергетические GAN
• Генераторы максимальной энтропии для моделей, основанных на энергии

Отсутствующие данные

• BRITS: двунаправленное рекуррентное вменение временных рядов

Поиск архитектуры

• ЭффективныйNetV2
• ПлотныйNAS
• DARTS: поиск дифференцируемой архитектуры
• Эффективный поиск нейронной архитектуры (ENAS)
• EfficientNet: переосмысление масштабирования модели для сверточных нейронных сетей

Постоянное обучение

• Рената, Автоматическое переобучение нейронных сетей

Оптимизация

• AccSGD, AdaBound, AdaMod, DiffGrad, Lamb, NovoGrad, RAdam, SGDW, Yogi и другие.
• Упреждающий оптимизатор: k шагов вперед, 1 шаг назад.
• Р.Адам, О дисперсии скорости адаптивного обучения и не только
• Over9000, Сравнение RAdam, Lookahead, Новограда и комбинаций
• AdaBound, тренируйся так же быстро, как Адам, так же хорошо, как SGD
• Римановы адаптивные методы оптимизации.
• Л-БФГС
• OptNet: дифференцируемая оптимизация как уровень нейронных сетей
• Учимся учиться по градиентному спуску по градиентному спуску
• Суррогатное градиентное обучение в пиковых нейронных сетях
• TorchOpt: эффективная библиотека для дифференцируемой оптимизации

Квантование

• Аддитивное квантование степени двойки: эффективная неоднородная дискретизация для нейронных сетей

Квантовое машинное обучение

• Tor10, универсальная библиотека тензорных сетей для квантового моделирования в PyTorch.
• PennyLane, кроссплатформенная библиотека Python для квантового машинного обучения с интерфейсом PyTorch.

Сжатие нейронной сети

• Байесовское сжатие для глубокого обучения
• Neural Network Distiller от Intel AI Lab: пакет Python для исследования сжатия нейронных сетей
• Изучение разреженных нейронных сетей посредством регуляризации L0
• Сжатие с ограничением энергии для глубоких нейронных сетей с помощью взвешенной разреженной проекции и маскировки входных данных слоя
• EigenDamage: структурированное сокращение в собственном базисе с учетом Кронекера
• Обрезка сверточных нейронных сетей для эффективного вывода ресурсов
• Обрезка нейронных сетей: пора ли пресечь это в зародыше? (показано, что уменьшенные сети работают лучше)

Распознавание лиц, действий и поз

• Facenet: предварительно обученные модели обнаружения и распознавания лиц Pytorch.
• DGC-Net: плотная сеть геометрической корреспонденции
• Высокопроизводительная библиотека распознавания лиц на PyTorch
• FaceBoxes, детектор лиц в режиме реального времени с процессором и высокой точностью.
• Насколько мы далеки от решения проблемы выравнивания 2D и 3D лиц? (и набор данных из 230 000 трехмерных ориентиров лица)
• Изучение пространственно-временных особенностей с помощью остаточных 3D-сетей для распознавания действий
• PyTorch Оценка позы нескольких человек в реальном времени
• SphereFace: внедрение глубокой гиперсферы для распознавания лиц
• GANimation: анатомическая анимация лица из одного изображения
• Shufflenet V2 от Face++ с лучшими результатами, чем бумага
• На пути к 3D-оценке позы человека в дикой природе: подход со слабым контролем
• Неконтролируемое изучение глубины и эго-движения по видео
• FlowNet 2.0: эволюция оценки оптического потока с помощью глубоких сетей
• FlowNet: изучение оптического потока с помощью сверточных сетей
• Оценка оптического потока с использованием пространственной пирамидальной сети
• OpenFace в PyTorch
• Глубокое распознавание лиц в PyTorch

Супер разрешение

• Усовершенствованные сети глубоких остатков для сверхвысокого разрешения одного изображения
• Сверхразрешение с использованием эффективной субпиксельной сверточной нейронной сети
• Потери восприятия при передаче стиля в реальном времени и сверхвысоком разрешении

Синтезирование взглядов

• NeRF, нейронные радианные поля, синтез новых взглядов на сложные сцены

Голос

• Google AI VoiceFilter: целенаправленное разделение голоса с помощью маскировки спектрограммы, обусловленной динамиком

Медицинский

• Medical Zoo, мультимодальная библиотека сегментации медицинских изображений 3D в PyTorch
• U-Net для сегментации аномалий FLAIR при МРТ головного мозга
• Геномная классификация через ULMFiT
• Глубокие нейронные сети улучшают работу рентгенологов при скрининге рака молочной железы
• Delira, облегченная платформа для прототипирования медицинских изображений
• V-Net: полностью сверточные нейронные сети для объемной сегментации медицинских изображений
• Medical Torch, платформа медицинской визуализации для PyTorch
• TorchXRayVision — библиотека наборов данных и моделей рентгенографии грудной клетки. Включая предварительно обученные модели.

3D-сегментация, классификация и регрессия

• Каолин, Библиотека для ускорения исследований в области глубокого 3D-обучения
• PointNet: глубокое изучение наборов точек для 3D-классификации и сегментации
• 3D-сегментация с помощью MONAI и Catalyst

Распознавание видео

• Танцы под музыку
• Дьявол на грани: изучение семантических границ по зашумленным аннотациям
• Глубокая видеоаналитика
• PredRNN: рекуррентные нейронные сети для прогнозного обучения с использованием пространственно-временных LSTM

Рекуррентные нейронные сети (RNN)

• SRU: обучение RNN так же быстро, как и CNN
• Упорядоченные нейроны: интеграция древовидных структур в рекуррентные нейронные сети
• Усредненный стохастический градиентный спуск с уменьшенным весом LSTM
• Обучение RNN так же быстро, как и CNN
• Квазирекуррентная нейронная сеть (QRNN)
• ReSeg: рекуррентная модель семантической сегментации на основе нейронной сети
• Модель рекуррентной скрытой переменной для последовательных данных (VRNN)
• Улучшенное семантическое представление из древовидных сетей долговременной краткосрочной памяти
• Рекуррентные модели нейронных сетей на основе внимания для совместного обнаружения намерений и заполнения слотов
• Внимательные рекуррентные компараторы
• Сбор моделей последовательностей с помощью PyTorch
  1. Модели Vanilla Sequence to Sequence
  2. Модели «от последовательности к последовательности», основанные на внимании
  3. Механизмы более быстрого внимания, использующие скалярные произведения между скрытыми состояниями конечного кодера и декодера.

Сверточные нейронные сети (CNN)

• LegoNet: эффективные сверточные нейронные сети с фильтрами Lego
• MeshCNN, сверточная нейронная сеть, разработанная специально для треугольных сеток.
• Октавная свертка
• Модели изображений PyTorch, ResNet/ResNeXT, DPN, MobileNet-V3/V2/V1, MNASNet, однопутевой NAS, FBNet
• Глубокие нейронные сети с коробчатыми свертками
• Обратимые остаточные сети
• Стохастическое понижение выборки для экономичного вывода и улучшенная регуляризация в сверточных сетях
• Быстрее Быстрее Реализация R-CNN
  • Более быстрый R-CNN. Другая реализация.
• Уделяем больше внимания вниманию: повышение производительности сверточных нейронных сетей посредством передачи внимания
• Широкая модель ResNet в PyTorch -DiracNets: обучение очень глубоких нейронных сетей без пропуска соединений
• Сквозная обучаемая нейронная сеть для распознавания последовательностей на основе изображений и ее применение к распознаванию текста сцены
• Эффективный Денсенет
• Интерполяция видеокадра посредством адаптивной разделимой свертки
• Изучение дескрипторов локальных функций с помощью триплетов и мелких сверточных нейронных сетей
• Плотно связанные сверточные сети
• Очень глубокие сверточные сети для крупномасштабного распознавания изображений
• SqueezeNet: точность на уровне AlexNet, в 50 раз меньше параметров и размер модели <0,5 МБ.
• Глубокое остаточное обучение для распознавания изображений
• Обучение широких сетей ResNet для CIFAR-10 и CIFAR-100 в PyTorch
• Деформируемая сверточная сеть
• Сверточные нейронные ткани
• Деформируемые сверточные сети в PyTorch
• Комбинация Dilated ResNet с Dilated Convolutions
• Стремление к простоте: вся сверточная сеть
• Сверточная сеть LSTM
• Большая коллекция предварительно обученных моделей классификации.
• Классификация изображений PyTorch с набором данных Kaggle Dogs vs Cats
• CIFAR-10 на Pytorch с VGG, ResNet и DenseNet
• Базовые предварительно обученные модели и наборы данных в pytorch (MNIST, SVHN, CIFAR10, CIFAR100, STL10, AlexNet, VGG16, VGG19, ResNet, Inception, SqueezeNet)
• NVIDIA/интерполяция неконтролируемого видео

Сегментация

• Детектор2 от FAIR
• Попиксельная сегментация набора данных VOC2012 с использованием PyTorch
• Pywick — библиотека обучения нейронных сетей высокого уровня для Pytorch с батарейками.
• Улучшение семантической сегментации посредством распространения видео и релаксации меток
• Super-BPD: супернаправление от границы до пикселя для быстрой сегментации изображений
• Катализатор.Сегментация
• Модели сегментации с предварительно обученными магистралями

Геометрическое глубокое обучение: графы и нерегулярные структуры

• PyTorch Geometric, расширение глубокого обучения
• PyTorch Geometric Temporal: библиотека временных расширений для PyTorch Geometric
• PyTorch Geometric Signed Directed: библиотека подписанных и направленных расширений для PyTorch Geometric
• ChemicalX: библиотека глубокого обучения на базе PyTorch для оценки пар лекарств
• Объединение графов самообслуживания
• Графовые нейронные сети с учетом позиции
• Сверточная нейронная сеть со знаком графа
• Граф U-сетей
• Cluster-GCN: эффективный алгоритм для обучения сверточных сетей с глубокими и большими графами
• MixHop: сверточные архитектуры графов высшего порядка посредством разреженного смешивания окрестностей
• Классификация графов с полуконтролем: взгляд на иерархический граф
• PyTorch BigGraph от FAIR для создания вложений из крупномасштабных графовых данных
• Нейронная сеть капсульного графа
• Сплиттер: представления узлов обучения, которые фиксируют несколько социальных контекстов
• Сверточный слой графа высшего порядка
• Прогнозируйте, а затем распространяйте: графические нейронные сети соответствуют персонализированному PageRank
• Вложения Лоренца: изучение непрерывных иерархий в гиперболическом пространстве
• Графовая вейвлет-нейронная сеть
• Будьте осторожны: изучение встраивания узлов с помощью внимания графа
• Сверточная сеть подписанного графа
• Классификация графов с использованием структурного внимания
• SimGNN: нейросетевой подход к быстрому вычислению сходства графов
• SINE: масштабируемое неполное встраивание сети
• HypER: встраивание графа знаний гиперсети
• TuckER: Тензорная факторизация для завершения графа знаний
• PyKEEN: библиотека Python для изучения и оценки встраивания графов знаний.
• Сети обнаружения Pathfinder для передачи нейронных сообщений
• SSSNET: кластеризация подписанных сетей с полуконтролем
• MagNet: нейронная сеть для ориентированных графов
• PyTorch Geopooling: модули геопространственного объединения для нейронных сетей в PyTorch

Сортировка

• Стохастическая оптимизация сортировочных сетей посредством непрерывных релаксаций

Сети обыкновенных дифференциальных уравнений

• Скрытые ОДУ для временных рядов с нерегулярной выборкой
• ГРУ-ОДА-Байес: непрерывное моделирование спорадически наблюдаемых временных рядов

Многозадачное обучение

• Иерархическая модель многозадачного обучения
• Сквозное модельное обучение на основе задач
• torchMTL: легкий модуль для многозадачного обучения в pytorch.

GAN, VAE и AE

• BigGAN: крупномасштабное обучение GAN для высокоточного синтеза естественных изображений
• Высокоточные показатели производительности для генеративных моделей в PyTorch
• Mimicry, библиотека PyTorch для воспроизводимости исследований GAN
• Чистый читаемый циклGAN
• СтарГАН
• Блокируйте нейронный авторегрессионный поток
• Синтез изображений высокого разрешения и семантическая манипуляция с помощью условных GAN
• Архитектура генератора на основе стилей для генеративно-состязательных сетей
• GANDissect, инструмент PyTorch для визуализации нейронов в GAN
• Изучение глубоких представлений путем взаимной оценки и максимизации информации
• Вариационные автоэнкодеры Лапласа
• VeGANS, библиотека для легкого обучения GAN
• Прогрессивное развитие GAN для улучшения качества, стабильности и разнообразия
• Условный ГАН
• Вассерштейн ГАН
• Состязательная сеть генераторов-кодировщиков
• Перевод изображения в изображение с помощью условно-состязательных сетей
• Непарный перевод изображения в изображение с использованием циклически согласованных состязательных сетей
• Об эффектах пакетной и весовой нормализации в генеративно-состязательных сетях
• Улучшенное обучение GAN Вассерштейна
• Коллекция генеративных моделей с PyTorch
  • Генеративно-состязательные сети (GAN)
    1. Ванильный ГАН
    2. Условный ГАН
    3. ИнфоГАН
    4. Вассерштейн ГАН
    5. Режим регуляризованного GAN
  • Вариационный автоэнкодер (VAE)
    1. Ванильный ВАЭ
    2. Условное ВАЭ
    3. Шумоподавление VAE
    4. Состязательный автоэнкодер
    5. Состязательный вариационный Байес
• Улучшенное обучение GAN Вассерштейна
• CycleGAN и полуконтролируемый GAN
• Улучшение вариационных автокодировщиков с использованием потока Хаусхолдера и использования выпуклой комбинации линейного обратного авторегрессионного потока
• Коллекция PyTorch GAN
• Генеративно-состязательные сети с упором на рисование лиц в аниме.
• Простые генеративно-состязательные сети
• Состязательные автокодировщики
• torchgan: платформа для моделирования генеративно-состязательных сетей в Pytorch
• Оценка степени сжатия с потерями глубоких генеративных моделей
• Катализатор.ГАН
  1. Ванильный ГАН
  2. Условный ГАН
  3. Вассерштейн ГАН
  4. Улучшенное обучение GAN Вассерштейна

Обучение без присмотра

• Неконтролируемое внедрение обучения с помощью функции инвариантного и расширяющего экземпляра
• И: Открытие района Анкор

Состязательные атаки

• Глубокие нейронные сети легко обмануть: прогнозы с высокой степенью достоверности для неузнаваемых изображений
• Объяснение и использование состязательных примеров
• AdverTorch — набор инструментов для исследования состязательной устойчивости

Передача стиля

• Pystiche: основа для нейронной передачи стилей
• Обнаружение состязательных примеров с помощью нейронных отпечатков пальцев
• Нейронный алгоритм художественного стиля
• Многотипная генеративная сеть для передачи данных в реальном времени
• DeOldify, раскраска старых изображений
• Нейронная передача стиля
• Быстрая передача нейронного стиля
• Рисуй как Боб Росс

Подпись к изображению

• CLIP (предварительная тренировка по контрастному языку и изображению)
• Neuraltalk 2, Модель субтитров к изображениям, в PyTorch
• Создание подписей из изображения с помощью PyTorch
• DenseCap: полностью сверточные сети локализации для плотных субтитров

Трансформеры

• Внимание — это все, что вам нужно
• Пространственные трансформаторные сети

Сети подобия и функции

• Сети условного подобия

Рассуждение

• Выводы и выполнение программ визуального мышления

Общее НЛП

• nanoGPT, самый быстрый репозиторий для обучения и настройки GPT среднего размера.
• minGPT. Повторная реализация GPT, чтобы она была небольшой, понятной, интерпретируемой и образовательной.
• Эспрессо, модуль нейронного автоматического распознавания речи, набор инструментов
• Представление документов с учетом меток с помощью гибридного внимания для экстремальной классификации текста с несколькими метками
• XLNet
• Разговор посредством чтения: содержательный нейронный разговор с машинным чтением по требованию
• Предварительное обучение межъязыковой языковой модели
• Libre Office Translate через PyTorch NMT
• БЕРТ
• VSE++: улучшенное визуально-семантическое внедрение
• Структурированное встраивание предложения, ориентированного на самообслуживание
• Модель маркировки нейронных последовательностей
• Векторы пропуска мыслей
• Полный пакет для обучения моделей Seq2Seq в PyTorch
• MUSE: многоязычное неконтролируемое и контролируемое встраивание
• TorchMoji: реализация DeepMoji в PyTorch для управления языком, используемым для выражения эмоций

Вопрос и ответ

• Визуальный ответ на вопросы в Pytorch
• Чтение Википедии для ответа на вопросы открытого типа
• Сделка или нет? Комплексное обучение ведению переговоров
• Интерпретируемый счет для визуального ответа на вопросы
• Чат-бот с открытым исходным кодом и PyTorch

Генерация и распознавание речи

• PyTorch-Kaldi Набор инструментов для распознавания речи
• WaveGlow: генеративная сеть на основе потоков для синтеза речи
• ОпенНМТ
• Deep Speech 2: Сквозное распознавание речи на английском и китайском языках
• WeNet: набор инструментов для сквозного распознавания речи, готовый к производству и готовый к производству

Классификация документов и текстов

• Иерархическая сеть внимания для классификации документов
• Иерархические сети внимания для классификации документов
• Классификация текста на основе CNN

Генерация текста

• Поколение поэзии Пайторча

Текст в изображение

• Стабильная диффузия
• Далл-Э 2
• Далл-Э

Перевод

• Система нейронного машинного перевода (NMT) с открытым исходным кодом (MIT)

Анализ настроений

• Рекуррентные нейронные сети для анализа настроений (на основе аспектов) на SemEval 2014
• Анализ намерения Seq2Seq
• Точная настройка BERT для анализа настроений

Глубокое обучение с подкреплением

• Увеличение изображения — это все, что вам нужно: регуляризация глубокого обучения с подкреплением на основе пикселей
• Исследование методом случайной сетевой дистилляции
• EGG: Появление языка в играх, быстрая реализация многоагентных игр с дискретным каналом связи.
• Временная разница VAE
• Высокопроизводительный агент Atari A3C в 180 строк PyTorch
• Научитесь общаться в масштабе в многоагентных совместных и конкурентных задачах.
• Актер-внимание-критик для многоагентного обучения с подкреплением
• PPO в PyTorch C++
• Обучение с подкреплением для нейронного машинного перевода Bandit с имитацией человеческой обратной связи
• Асинхронные методы глубокого обучения с подкреплением
• Непрерывное глубокое Q-обучение с ускорением на основе моделей
• Асинхронные методы глубокого обучения с подкреплением для Atari 2600
• Оптимизация политики доверительного региона
• Нейронно-комбинаторная оптимизация с обучением с подкреплением
• Шумные сети для исследования
• Оптимизация распределенной проксимальной политики
• Модели обучения с подкреплением в среде ViZDoom с помощью PyTorch
• Модели обучения с подкреплением с использованием Gym и Pytorch
• SLM-Lab: Модульная структура глубокого обучения с подкреплением в PyTorch
• Катализатор.РЛ

Глубокое байесовское обучение и вероятностное программирование

• BatchBALD: эффективный и разнообразный пакетный сбор данных для глубокого байесовского активного обучения
• Вывод подпространства для байесовского глубокого обучения
• Байесовское глубокое обучение с пакетом вариационного вывода
• Вероятностное программирование и статистический вывод в PyTorch
• Байесовский CNN с вариационным выводом в PyTorch

Пиковые нейронные сети

• Norse, Библиотека глубокого обучения с использованием импульсных нейронных сетей

Обнаружение аномалий

• Обнаружение аномалий учета с использованием нейронных сетей глубокого автоэнкодера

Типы регрессии

• Квантильная регрессия DQN

Временной ряд

• Сеть с двойным самообслуживанием для многомерного прогнозирования временных рядов
• РАСШИРЕНИЕ: потеря искажений в зависимости от формы и времени
• Вариационный рекуррентный автоэнкодер для кластеризации временных рядов
• Пространственно-временные нейронные сети для моделирования пространственно-временных рядов и обнаружения взаимосвязей
• Прогноз потока: глубокое изучение структуры прогнозирования временных рядов, встроенной в PyTorch.

Синтетические наборы данных

• Meta-Sim: учимся генерировать синтетические наборы данных

Общие улучшения нейронной сети

• Активация BatchNorm на месте для обучения DNN, оптимизированного для памяти
• Обучайтесь дольше, обобщайте лучше: устранение пробела в обобщениях при крупнопакетном обучении нейронных сетей
• FreezeOut: ускорение обучения за счет постепенного замораживания слоев
• Бинарные стохастические нейроны
• Компактное билинейное объединение
• Обучение смешанной точности в PyTorch

Применение DNN в химии и физике

• Волновая физика как аналоговая рекуррентная нейронная сеть
• Нейронная передача сообщений для квантовой химии
• Автоматическое химическое проектирование с использованием непрерывного представления молекул на основе данных.
• Глубокое обучение физическим процессам: интеграция предшествующих научных знаний
• Дифференцируемое молекулярное моделирование для обучения и контроля

Новое мышление об общей архитектуре нейронных сетей

• Дополните объективное обучение
• Разделенные нейронные интерфейсы с использованием синтетических градиентов

Линейная алгебра

• Собственные векторы из собственных значений

API-абстракция

• Слои факела, выведение формы для PyTorch, слои SOTA
• Hummingbird: запускайте обученные модели scikit-learn на графическом процессоре с помощью PyTorch

Утилиты низкого уровня

• TorchSharp, .NET API с доступом к базовой библиотеке PyTorch

Утилиты PyTorch

• Functorch: прототип JAX-подобных составных преобразователей функций для PyTorch.
• Путин: упрощенная платформа для обучения нейронных сетей
• Обучение метрикам PyTorch
• Kornia: дифференцируемая библиотека компьютерного зрения с открытым исходным кодом для PyTorch
• BackPACK для простого извлечения дисперсии, диагонали Гаусса-Ньютона и KFAC
• PyHessian для вычисления собственных значений гессиана, трассировки матрицы и ESD
• Гессен в PyTorch
• Дифференцируемые выпуклые слои
• Альбументации: библиотека быстрого увеличения изображений
• Выше, получите градиенты более высокого порядка по потерям, охватывающим циклы обучения.
• Нейронный конвейер, обучающий конвейер для PyTorch
• Послойный профилировщик модели PyTorch для проверки затрат времени модели
• Разреженные распределения
• Diffdist: добавляет поддержку дифференцируемой связи, обеспечивающую параллелизм распределенных моделей.
• HessianFlow, библиотека алгоритмов на основе гессиана
• Texar, набор инструментов PyTorch для генерации текста
• Счетчик FLOP PyTorch
• Вывод PyTorch на C++ в Windows
• EuclidesDB, многомодельная база данных функций машинного обучения
• Увеличение данных и выборка для Pytorch
• PyText, среда моделирования НЛП на основе глубокого обучения, официально поддерживаемая FAIR.
• Torchstat для статистики по моделям PyTorch
• Загружайте аудиофайлы непосредственно в PyTorch Tensors
• Инициализация веса
• Пространственный преобразователь, реализованный в PyTorch
• PyTorch AWS AMI: запустите PyTorch с поддержкой графического процессора менее чем за 5 минут.
• Используйте тензорную доску с PyTorch
• Модуль Simple Fit в PyTorch, похожий на Keras
• torchbearer: библиотека подгонки моделей для PyTorch.
• Конвертер моделей PyTorch в Keras
• Конвертер моделей Gluon в PyTorch с генерацией кода
• Catalyst: утилиты высокого уровня для исследований PyTorch DL и RL.
• PyTorch Lightning: масштабируемая и легкая платформа для исследований глубокого обучения.
• Решено: масштабируемая платформа глубокого обучения с поддержкой PyTorch.
• PyTorch-Ignite: библиотека высокого уровня, помогающая гибко и прозрачно обучать и оценивать нейронные сети в PyTorch.
• torchvision: пакет, состоящий из популярных наборов данных, архитектур моделей и распространенных преобразований изображений для компьютерного зрения.
• Poutyne: фреймворк, подобный Keras, для PyTorch, обрабатывающий большую часть стандартного кода, необходимого для обучения нейронных сетей.
• torchensemble: Scikit-Learn как ансамблевые методы в PyTorch
• TorchFix — линтер для кода, использующего PyTorch, с поддержкой автоисправления.

Видеоуроки по PyTorch

• PyTorch от нуля до всех лекций
• Полный курс PyTorch для глубокого обучения
• PyTorch Lightning 101 с Альфредо Канциани и Уильямом Фальконом
• Практическое глубокое обучение с PyTorch

Сообщество

• Дискуссионный форум PyTorch
• StackOverflow PyTorch Теги
• Catalyst.Slack

Быть классифицированным

• Пертурбативные нейронные сети
• Точный потенциал нейронной сети
• Масштабирование преобразования рассеяния: глубокие гибридные сети
• CortexNet: общее семейство сетей для надежных визуальных временных представлений
• Сети ориентированного реагирования
• Ассоциативные сети сжатия
• Кларнет
• Непрерывные вейвлет-преобразования
• путаница: за пределами минимизации эмпирического риска
• Сеть в сети
• Сети автомобильных дорог
• Гибридные вычисления с использованием нейронной сети с динамической внешней памятью
• Сети итераций ценности
• Дифференцируемый нейронный компьютер
• Нейронное представление эскизных рисунков
• Понимание глубоких представлений изображений путем их инвертирования
• NIMA: оценка нейронного изображения
• NASNet-A-Mobile. Портированные гири
• Модель генерации графического кода с использованием обработки

Ссылки на этот репозиторий

• Репозиторий Github
• Веб-сайт

Взносы

Не стесняйтесь внести свой вклад!

Вы можете поднять проблему или отправить запрос на включение, в зависимости от того, что вам удобнее. Рекомендации просты: просто следуйте формату предыдущего пункта или создайте новый раздел, если это новая категория.