Este repositorio proporciona ejemplos de aprendizaje profundo de última generación que son fáciles de entrenar e implementar, logrando la mejor precisión reproducible y rendimiento con la pila de software NVIDIA CUDA-X ejecutándose en las GPU NVIDIA Volta, Turing y Ampere.
Estos ejemplos, junto con nuestra pila de software de aprendizaje profundo NVIDIA, se proporcionan en un contenedor Docker actualizado mensualmente en el registro de contenedores NGC (https://ngc.nvidia.com). Estos contenedores incluyen:
Modelos | Estructura | AMPERIO | GPU múltiple | Nodo múltiple | TensorRT | ONNX | Tritón | contenido descargable | NÓTESE BIEN |
---|---|---|---|---|---|---|---|---|---|
EfficientNet-B0 | PyTorch | Sí | Sí | - | Apoyado | - | Apoyado | Sí | - |
EfficientNet-B4 | PyTorch | Sí | Sí | - | Apoyado | - | Apoyado | Sí | - |
EfficientNet-WideSE-B0 | PyTorch | Sí | Sí | - | Apoyado | - | Apoyado | Sí | - |
EfficientNet-WideSE-B4 | PyTorch | Sí | Sí | - | Apoyado | - | Apoyado | Sí | - |
EfficientNet v1-B0 | TensorFlow2 | Sí | Sí | Sí | Ejemplo | - | Apoyado | Sí | - |
EfficientNet v1-B4 | TensorFlow2 | Sí | Sí | Sí | Ejemplo | - | Apoyado | Sí | - |
EfficientNet v2-S | TensorFlow2 | Sí | Sí | Sí | Ejemplo | - | Apoyado | Sí | - |
GPUnet | PyTorch | Sí | Sí | - | Ejemplo | Sí | Ejemplo | Sí | - |
Máscara R-CNN | PyTorch | Sí | Sí | - | Ejemplo | - | Apoyado | - | Sí |
Máscara R-CNN | TensorFlow2 | Sí | Sí | - | Ejemplo | - | Apoyado | Sí | - |
nnUNet | PyTorch | Sí | Sí | - | Apoyado | - | Apoyado | Sí | - |
ResNet-50 | MXnet | Sí | Sí | - | Apoyado | - | Apoyado | - | - |
ResNet-50 | RemoRemo | Sí | Sí | - | Ejemplo | - | Apoyado | - | - |
ResNet-50 | PyTorch | Sí | Sí | - | Ejemplo | - | Ejemplo | Sí | - |
ResNet-50 | TensorFlow | Sí | Sí | - | Apoyado | - | Apoyado | Sí | - |
ResNeXt-101 | PyTorch | Sí | Sí | - | Ejemplo | - | Ejemplo | Sí | - |
ResNeXt-101 | TensorFlow | Sí | Sí | - | Apoyado | - | Apoyado | Sí | - |
SE-ResNeXt-101 | PyTorch | Sí | Sí | - | Ejemplo | - | Ejemplo | Sí | - |
SE-ResNeXt-101 | TensorFlow | Sí | Sí | - | Apoyado | - | Apoyado | Sí | - |
SSD | PyTorch | Sí | Sí | - | Apoyado | - | Apoyado | - | Sí |
SSD | TensorFlow | Sí | Sí | - | Apoyado | - | Apoyado | Sí | Sí |
U-Net Med | TensorFlow2 | Sí | Sí | - | Ejemplo | - | Apoyado | Sí | - |
Modelos | Estructura | AMPERIO | GPU múltiple | Nodo múltiple | TensorRT | ONNX | Tritón | contenido descargable | NÓTESE BIEN |
---|---|---|---|---|---|---|---|---|---|
BERT | PyTorch | Sí | Sí | Sí | Ejemplo | - | Ejemplo | Sí | - |
GNTM | PyTorch | Sí | Sí | - | Apoyado | - | Apoyado | - | - |
ELECTRA | TensorFlow2 | Sí | Sí | Sí | Apoyado | - | Apoyado | Sí | - |
BERT | TensorFlow | Sí | Sí | Sí | Ejemplo | - | Ejemplo | Sí | Sí |
BERT | TensorFlow2 | Sí | Sí | Sí | Apoyado | - | Apoyado | Sí | - |
GNMT | TensorFlow | Sí | Sí | - | Apoyado | - | Apoyado | - | - |
Transformador más rápido | flujo tensor | - | - | - | Ejemplo | - | Apoyado | - | - |
Modelos | Estructura | AMPERIO | GPU múltiple | Nodo múltiple | ONNX | Tritón | contenido descargable | NÓTESE BIEN |
---|---|---|---|---|---|---|---|---|
DLRM | PyTorch | Sí | Sí | - | Sí | Ejemplo | Sí | Sí |
DLRM | TensorFlow2 | Sí | Sí | Sí | - | Apoyado | Sí | - |
FNC | PyTorch | Sí | Sí | - | - | Apoyado | - | - |
Amplio y profundo | TensorFlow | Sí | Sí | - | - | Apoyado | Sí | - |
Amplio y profundo | TensorFlow2 | Sí | Sí | - | - | Apoyado | Sí | - |
FNC | TensorFlow | Sí | Sí | - | - | Apoyado | Sí | - |
VAE-CF | TensorFlow | Sí | Sí | - | - | Apoyado | - | - |
SIM | TensorFlow2 | Sí | Sí | - | - | Apoyado | Sí | - |
Modelos | Estructura | AMPERIO | GPU múltiple | Nodo múltiple | TensorRT | ONNX | Tritón | contenido descargable | NÓTESE BIEN |
---|---|---|---|---|---|---|---|---|---|
Jaspe | PyTorch | Sí | Sí | - | Ejemplo | Sí | Ejemplo | Sí | Sí |
CuarzoNet | PyTorch | Sí | Sí | - | Apoyado | - | Apoyado | Sí | - |
Modelos | Estructura | AMPERIO | GPU múltiple | Nodo múltiple | TensorRT | ONNX | Tritón | contenido descargable | NÓTESE BIEN |
---|---|---|---|---|---|---|---|---|---|
Lanzamiento rápido | PyTorch | Sí | Sí | - | Ejemplo | - | Ejemplo | Sí | Sí |
discurso rápido | PyTorch | Sí | Sí | - | Ejemplo | - | Apoyado | - | - |
Tacotrón 2 y WaveGlow | PyTorch | Sí | Sí | - | Ejemplo | Sí | Ejemplo | Sí | - |
HiFi-GAN | PyTorch | Sí | Sí | - | Apoyado | - | Apoyado | Sí | - |
Modelos | Estructura | AMPERIO | GPU múltiple | Nodo múltiple | ONNX | Tritón | contenido descargable | NÓTESE BIEN |
---|---|---|---|---|---|---|---|---|
SE(3)-Transformador | PyTorch | Sí | Sí | - | - | Apoyado | - | - |
MoFlow | PyTorch | Sí | Sí | - | - | Apoyado | - | - |
Modelos | Estructura | AMPERIO | GPU múltiple | Nodo múltiple | TensorRT | ONNX | Tritón | contenido descargable | NÓTESE BIEN |
---|---|---|---|---|---|---|---|---|---|
Transformador de fusión temporal | PyTorch | Sí | Sí | - | Ejemplo | Sí | Ejemplo | Sí | - |
En cada uno de los README de la red, indicamos el nivel de soporte que se brindará. La gama va desde actualizaciones y mejoras continuas hasta un lanzamiento puntual para el liderazgo intelectual.
Entrenamiento multinodo Compatible con un clúster pyxis/enroot Slurm.
Compilador de aprendizaje profundo (DLC) TensorFlow XLA y PyTorch JIT y/o TorchScript
Álgebra lineal acelerada (XLA) XLA es un compilador de dominio específico para álgebra lineal que puede acelerar los modelos de TensorFlow potencialmente sin cambios en el código fuente. Los resultados son mejoras en la velocidad y el uso de la memoria.
PyTorch JIT y/o TorchScript TorchScript es una forma de crear modelos serializables y optimizables a partir de código PyTorch. TorchScript, una representación intermedia de un modelo PyTorch (subclase de nn.Module) que luego se puede ejecutar en un entorno de alto rendimiento como C++.
Precisión mixta automática (AMP) La precisión mixta automática (AMP) permite el entrenamiento de precisión mixta en arquitecturas de GPU Volta, Turing y NVIDIA Ampere de forma automática.
TensorFloat-32 (TF32) TensorFloat-32 (TF32) es el nuevo modo matemático en las GPU NVIDIA A100 para manejar las matemáticas matriciales, también llamadas operaciones tensoriales. TF32 que se ejecuta en Tensor Cores en GPU A100 puede proporcionar aceleraciones de hasta 10 veces en comparación con las matemáticas de punto flotante de precisión simple (FP32) en GPU Volta. TF32 es compatible con la arquitectura de GPU NVIDIA Ampere y está habilitado de forma predeterminada.
Jupyter Notebooks (NB) Jupyter Notebook es una aplicación web de código abierto que le permite crear y compartir documentos que contienen código en vivo, ecuaciones, visualizaciones y texto narrativo.
Publicaremos estos ejemplos en GitHub para brindar un mejor soporte a la comunidad, facilitar los comentarios y también recopilar e implementar contribuciones mediante problemas de GitHub y solicitudes de extracción. ¡Agradecemos todas las contribuciones!
En cada uno de los archivos README de la red, indicamos cualquier problema conocido y alentamos a la comunidad a proporcionar comentarios.