DeepLearningExamples
1.0.0
В этом репозитории представлены современные примеры глубокого обучения, которые легко обучать и развертывать, обеспечивая наилучшую воспроизводимую точность и производительность с помощью программного стека NVIDIA CUDA-X, работающего на графических процессорах NVIDIA Volta, Turing и Ampere.
Эти примеры вместе с нашим программным стеком глубокого обучения NVIDIA представлены в ежемесячно обновляемом контейнере Docker в реестре контейнеров NGC (https://ngc.nvidia.com). Эти контейнеры включают в себя:
| Модели | Рамки | AMP | Мульти-GPU | Многоузловой | ТензорРТ | ОННКС | Тритон | DLC | Примечание: |
|---|---|---|---|---|---|---|---|---|---|
| Эффективная сеть-B0 | PyTorch | Да | Да | - | Поддерживается | - | Поддерживается | Да | - |
| Эффективная сеть-B4 | PyTorch | Да | Да | - | Поддерживается | - | Поддерживается | Да | - |
| EfficientNet-WideSE-B0 | PyTorch | Да | Да | - | Поддерживается | - | Поддерживается | Да | - |
| EfficientNet-WideSE-B4 | PyTorch | Да | Да | - | Поддерживается | - | Поддерживается | Да | - |
| Эффективная сеть v1-B0 | ТензорФлоу2 | Да | Да | Да | Пример | - | Поддерживается | Да | - |
| Эффективная сеть v1-B4 | ТензорФлоу2 | Да | Да | Да | Пример | - | Поддерживается | Да | - |
| Эффективная сеть v2-S | ТензорФлоу2 | Да | Да | Да | Пример | - | Поддерживается | Да | - |
| GPUNet | PyTorch | Да | Да | - | Пример | Да | Пример | Да | - |
| Маска R-CNN | PyTorch | Да | Да | - | Пример | - | Поддерживается | - | Да |
| Маска R-CNN | ТензорФлоу2 | Да | Да | - | Пример | - | Поддерживается | Да | - |
| nnUNet | PyTorch | Да | Да | - | Поддерживается | - | Поддерживается | Да | - |
| РесНет-50 | MXNet | Да | Да | - | Поддерживается | - | Поддерживается | - | - |
| РесНет-50 | ВеслоВесло | Да | Да | - | Пример | - | Поддерживается | - | - |
| РесНет-50 | PyTorch | Да | Да | - | Пример | - | Пример | Да | - |
| РесНет-50 | Тензорфлоу | Да | Да | - | Поддерживается | - | Поддерживается | Да | - |
| РесНеХт-101 | PyTorch | Да | Да | - | Пример | - | Пример | Да | - |
| РесНеХт-101 | Тензорфлоу | Да | Да | - | Поддерживается | - | Поддерживается | Да | - |
| SE-ResNeXt-101 | PyTorch | Да | Да | - | Пример | - | Пример | Да | - |
| SE-ResNeXt-101 | Тензорфлоу | Да | Да | - | Поддерживается | - | Поддерживается | Да | - |
| SSD | PyTorch | Да | Да | - | Поддерживается | - | Поддерживается | - | Да |
| SSD | Тензорфлоу | Да | Да | - | Поддерживается | - | Поддерживается | Да | Да |
| Ю-Нет Мед | ТензорФлоу2 | Да | Да | - | Пример | - | Поддерживается | Да | - |
| Модели | Рамки | AMP | Мульти-GPU | Многоузловой | ТензорРТ | ОННКС | Тритон | DLC | Примечание: |
|---|---|---|---|---|---|---|---|---|---|
| БЕРТ | PyTorch | Да | Да | Да | Пример | - | Пример | Да | - |
| ГНМТ | PyTorch | Да | Да | - | Поддерживается | - | Поддерживается | - | - |
| ЭЛЕКТРА | ТензорФлоу2 | Да | Да | Да | Поддерживается | - | Поддерживается | Да | - |
| БЕРТ | Тензорфлоу | Да | Да | Да | Пример | - | Пример | Да | Да |
| БЕРТ | ТензорФлоу2 | Да | Да | Да | Поддерживается | - | Поддерживается | Да | - |
| ГНМТ | Тензорфлоу | Да | Да | - | Поддерживается | - | Поддерживается | - | - |
| Более быстрый трансформатор | Тензорный поток | - | - | - | Пример | - | Поддерживается | - | - |
| Модели | Рамки | AMP | Мульти-GPU | Многоузловой | ОННКС | Тритон | DLC | Примечание: |
|---|---|---|---|---|---|---|---|---|
| ДЛРМ | PyTorch | Да | Да | - | Да | Пример | Да | Да |
| ДЛРМ | ТензорФлоу2 | Да | Да | Да | - | Поддерживается | Да | - |
| НКФ | PyTorch | Да | Да | - | - | Поддерживается | - | - |
| Широкий и глубокий | Тензорфлоу | Да | Да | - | - | Поддерживается | Да | - |
| Широкий и глубокий | ТензорФлоу2 | Да | Да | - | - | Поддерживается | Да | - |
| НКФ | Тензорфлоу | Да | Да | - | - | Поддерживается | Да | - |
| ВАЭ-ЦФ | Тензорфлоу | Да | Да | - | - | Поддерживается | - | - |
| SIM-карта | ТензорФлоу2 | Да | Да | - | - | Поддерживается | Да | - |
| Модели | Рамки | AMP | Мульти-GPU | Многоузловой | ТензорРТ | ОННКС | Тритон | DLC | Примечание: |
|---|---|---|---|---|---|---|---|---|---|
| Джаспер | PyTorch | Да | Да | - | Пример | Да | Пример | Да | Да |
| КварцНет | PyTorch | Да | Да | - | Поддерживается | - | Поддерживается | Да | - |
| Модели | Рамки | AMP | Мульти-GPU | Многоузловой | ТензорРТ | ОННКС | Тритон | DLC | Примечание: |
|---|---|---|---|---|---|---|---|---|---|
| FastPitch | PyTorch | Да | Да | - | Пример | - | Пример | Да | Да |
| Быстрая речь | PyTorch | Да | Да | - | Пример | - | Поддерживается | - | - |
| Такотрон 2 и WaveGlow | PyTorch | Да | Да | - | Пример | Да | Пример | Да | - |
| HiFi-ГАН | PyTorch | Да | Да | - | Поддерживается | - | Поддерживается | Да | - |
| Модели | Рамки | AMP | Мульти-GPU | Многоузловой | ОННКС | Тритон | DLC | Примечание: |
|---|---|---|---|---|---|---|---|---|
| SE(3)-Трансформатор | PyTorch | Да | Да | - | - | Поддерживается | - | - |
| МоФлоу | PyTorch | Да | Да | - | - | Поддерживается | - | - |
| Модели | Рамки | AMP | Мульти-GPU | Многоузловой | ТензорРТ | ОННКС | Тритон | DLC | Примечание: |
|---|---|---|---|---|---|---|---|---|---|
| Трансформатор временного синтеза | PyTorch | Да | Да | - | Пример | Да | Пример | Да | - |
В каждом из сетевых README мы указываем уровень поддержки, которая будет предоставлена. Диапазон варьируется от текущих обновлений и улучшений до выпуска на определенный момент времени для интеллектуального лидерства.
Многоузловое обучение . Поддерживается в кластере pyxis/enroot Slurm.
Компилятор глубокого обучения (DLC) TensorFlow XLA и PyTorch JIT и/или TorchScript
Ускоренная линейная алгебра (XLA) XLA — это предметно-ориентированный компилятор линейной алгебры, который может ускорять модели TensorFlow без каких-либо изменений исходного кода. Результатом является улучшение скорости и использования памяти.
PyTorch JIT и/или TorchScript TorchScript — это способ создания сериализуемых и оптимизируемых моделей из кода PyTorch. TorchScript — промежуточное представление модели PyTorch (подкласс nn.Module), которое затем можно запускать в высокопроизводительной среде, такой как C++.
Автоматическая смешанная точность (AMP) Автоматическая смешанная точность (AMP) обеспечивает автоматическое обучение смешанной точности на архитектурах графических процессоров Volta, Turing и NVIDIA Ampere.
TensorFloat-32 (TF32) TensorFloat-32 (TF32) — это новый математический режим в графических процессорах NVIDIA A100 для обработки матричных математических операций, также называемых тензорными операциями. TF32, работающий на тензорных ядрах в графических процессорах A100, может обеспечить ускорение до 10 раз по сравнению с математическими вычислениями с плавающей запятой одинарной точности (FP32) на графических процессорах Volta. TF32 поддерживается в архитектуре графического процессора NVIDIA Ampere и включен по умолчанию.
Jupyter Notebooks (NB) Jupyter Notebook — это веб-приложение с открытым исходным кодом, которое позволяет создавать и обмениваться документами, содержащими живой код, уравнения, визуализации и описательный текст.
Мы публикуем эти примеры на GitHub, чтобы лучше поддерживать сообщество, облегчать обратную связь, а также собирать и реализовывать вклады с помощью задач GitHub и запросов на включение. Мы приветствуем все вклады!
В каждом из сетевых файлов README мы указываем все известные проблемы и призываем сообщество оставлять отзывы.
