DeepLearningExamples

Exemplos de Deep Learning da NVIDIA para Tensor Cores

Introdução

Este repositório fornece exemplos de Deep Learning de última geração que são fáceis de treinar e implantar, alcançando a melhor precisão reprodutível e desempenho com a pilha de software NVIDIA CUDA-X executada em GPUs NVIDIA Volta, Turing e Ampere.

Registro de contêiner NVIDIA GPU Cloud (NGC)

Esses exemplos, juntamente com nossa pilha de software de aprendizado profundo NVIDIA, são fornecidos em um contêiner Docker atualizado mensalmente no registro de contêiner NGC (https://ngc.nvidia.com). Esses contêineres incluem:

• Os exemplos mais recentes da NVIDIA deste repositório
• As últimas contribuições da NVIDIA compartilhadas upstream para a respectiva estrutura
• As mais recentes bibliotecas de software NVIDIA Deep Learning, como cuDNN, NCCL, cuBLAS, etc., que passaram por um rigoroso processo mensal de garantia de qualidade para garantir que forneçam o melhor desempenho possível
• Notas de lançamento mensais para cada um dos contêineres otimizados da NVIDIA

Visão Computacional

Modelos	Estrutura	AMP	Multi-GPU	Multinó	TensorRT	ONNX	Tritão	DLC	Observação
EficienteNet-B0	PyTorch	Sim	Sim	-	Suportado	-	Suportado	Sim	-
EficienteNet-B4	PyTorch	Sim	Sim	-	Suportado	-	Suportado	Sim	-
EficienteNet-WideSE-B0	PyTorch	Sim	Sim	-	Suportado	-	Suportado	Sim	-
EficienteNet-WideSE-B4	PyTorch	Sim	Sim	-	Suportado	-	Suportado	Sim	-
EficienteNet v1-B0	TensorFlow2	Sim	Sim	Sim	Exemplo	-	Suportado	Sim	-
EficienteNet v1-B4	TensorFlow2	Sim	Sim	Sim	Exemplo	-	Suportado	Sim	-
EficienteNet v2-S	TensorFlow2	Sim	Sim	Sim	Exemplo	-	Suportado	Sim	-
GPUNet	PyTorch	Sim	Sim	-	Exemplo	Sim	Exemplo	Sim	-
Máscara R-CNN	PyTorch	Sim	Sim	-	Exemplo	-	Suportado	-	Sim
Máscara R-CNN	TensorFlow2	Sim	Sim	-	Exemplo	-	Suportado	Sim	-
nnUNet	PyTorch	Sim	Sim	-	Suportado	-	Suportado	Sim	-
ResNet-50	MXNet	Sim	Sim	-	Suportado	-	Suportado	-	-
ResNet-50	PaddlePaddle	Sim	Sim	-	Exemplo	-	Suportado	-	-
ResNet-50	PyTorch	Sim	Sim	-	Exemplo	-	Exemplo	Sim	-
ResNet-50	TensorFlow	Sim	Sim	-	Suportado	-	Suportado	Sim	-
ResNeXt-101	PyTorch	Sim	Sim	-	Exemplo	-	Exemplo	Sim	-
ResNeXt-101	TensorFlow	Sim	Sim	-	Suportado	-	Suportado	Sim	-
SE-ResNeXt-101	PyTorch	Sim	Sim	-	Exemplo	-	Exemplo	Sim	-
SE-ResNeXt-101	TensorFlow	Sim	Sim	-	Suportado	-	Suportado	Sim	-
SSD	PyTorch	Sim	Sim	-	Suportado	-	Suportado	-	Sim
SSD	TensorFlow	Sim	Sim	-	Suportado	-	Suportado	Sim	Sim
U-Net Med	TensorFlow2	Sim	Sim	-	Exemplo	-	Suportado	Sim	-

Processamento de linguagem natural

Modelos	Estrutura	AMP	Multi-GPU	Multinó	TensorRT	ONNX	Tritão	DLC	Observação
BERTO	PyTorch	Sim	Sim	Sim	Exemplo	-	Exemplo	Sim	-
GNMT	PyTorch	Sim	Sim	-	Suportado	-	Suportado	-	-
ELECTRA	TensorFlow2	Sim	Sim	Sim	Suportado	-	Suportado	Sim	-
BERTO	TensorFlow	Sim	Sim	Sim	Exemplo	-	Exemplo	Sim	Sim
BERTO	TensorFlow2	Sim	Sim	Sim	Suportado	-	Suportado	Sim	-
GNMT	TensorFlow	Sim	Sim	-	Suportado	-	Suportado	-	-
Transformador mais rápido	Fluxo tensor	-	-	-	Exemplo	-	Suportado	-	-

Sistemas de recomendação

Modelos	Estrutura	AMP	Multi-GPU	Multinó	ONNX	Tritão	DLC	Observação
DLRM	PyTorch	Sim	Sim	-	Sim	Exemplo	Sim	Sim
DLRM	TensorFlow2	Sim	Sim	Sim	-	Suportado	Sim	-
NCF	PyTorch	Sim	Sim	-	-	Suportado	-	-
Amplo e profundo	TensorFlow	Sim	Sim	-	-	Suportado	Sim	-
Amplo e profundo	TensorFlow2	Sim	Sim	-	-	Suportado	Sim	-
NCF	TensorFlow	Sim	Sim	-	-	Suportado	Sim	-
VAE-CF	TensorFlow	Sim	Sim	-	-	Suportado	-	-
SIM	TensorFlow2	Sim	Sim	-	-	Suportado	Sim	-

Fala para texto

Modelos	Estrutura	AMP	Multi-GPU	Multinó	TensorRT	ONNX	Tritão	DLC	Observação
Jaspe	PyTorch	Sim	Sim	-	Exemplo	Sim	Exemplo	Sim	Sim
QuartzNet	PyTorch	Sim	Sim	-	Suportado	-	Suportado	Sim	-

Texto para fala

Modelos	Estrutura	AMP	Multi-GPU	Multinó	TensorRT	ONNX	Tritão	DLC	Observação
FastPitch	PyTorch	Sim	Sim	-	Exemplo	-	Exemplo	Sim	Sim
FastSpeech	PyTorch	Sim	Sim	-	Exemplo	-	Suportado	-	-
Tacotron 2 e WaveGlow	PyTorch	Sim	Sim	-	Exemplo	Sim	Exemplo	Sim	-
HiFi-GAN	PyTorch	Sim	Sim	-	Suportado	-	Suportado	Sim	-

Redes Neurais de Gráficos

Modelos	Estrutura	AMP	Multi-GPU	Multinó	ONNX	Tritão	DLC	Observação
SE(3)-Transformador	PyTorch	Sim	Sim	-	-	Suportado	-	-
MoFlow	PyTorch	Sim	Sim	-	-	Suportado	-	-

Previsão de série temporal

Modelos	Estrutura	AMP	Multi-GPU	Multinó	TensorRT	ONNX	Tritão	DLC	Observação
Transformador de Fusão Temporal	PyTorch	Sim	Sim	-	Exemplo	Sim	Exemplo	Sim	-

Suporte NVIDIA

Em cada um dos READMEs da rede indicamos o nível de suporte que será fornecido. A gama vai desde atualizações e melhorias contínuas até um lançamento pontual para liderança inovadora.

Glossário

Treinamento multinode com suporte em um cluster Slurm pyxis/enroot.

Deep Learning Compiler (DLC) TensorFlow XLA e PyTorch JIT e/ou TorchScript

Álgebra Linear Acelerada (XLA) XLA é um compilador específico de domínio para álgebra linear que pode acelerar modelos do TensorFlow sem potencialmente nenhuma alteração no código-fonte. Os resultados são melhorias na velocidade e no uso de memória.

PyTorch JIT e/ou TorchScript TorchScript é uma forma de criar modelos serializáveis ​​e otimizáveis ​​a partir do código PyTorch. TorchScript, uma representação intermediária de um modelo PyTorch (subclasse de nn.Module) que pode então ser executado em um ambiente de alto desempenho como C++.

Precisão Mista Automática (AMP) A Precisão Mista Automática (AMP) permite treinamento de precisão mista em arquiteturas de GPU Volta, Turing e NVIDIA Ampere automaticamente.

TensorFloat-32 (TF32) TensorFloat-32 (TF32) é o novo modo matemático nas GPUs NVIDIA A100 para lidar com a matemática da matriz, também chamada de operações de tensor. O TF32 executado em Tensor Cores em GPUs A100 pode fornecer acelerações de até 10x em comparação com a matemática de ponto flutuante de precisão simples (FP32) em GPUs Volta. TF32 é compatível com a arquitetura de GPU NVIDIA Ampere e está habilitado por padrão.

Jupyter Notebooks (NB) O Jupyter Notebook é um aplicativo da web de código aberto que permite criar e compartilhar documentos que contêm código ativo, equações, visualizações e texto narrativo.

Comentários/Contribuições

Estamos postando esses exemplos no GitHub para melhor apoiar a comunidade, facilitar feedback, bem como coletar e implementar contribuições usando GitHub Issues e pull requests. Aceitamos todas as contribuições!

Problemas conhecidos

Em cada um dos READMEs da rede, indicamos quaisquer problemas conhecidos e incentivamos a comunidade a fornecer feedback.