DeepLearningExamples 下载 - DeepLearningExamples 源码下载

DeepLearningExamples

其他源码

1.0.0

下载

张量核心的 NVIDIA 深度学习示例

介绍

该存储库提供了易于训练和部署的最先进的深度学习示例，通过在 NVIDIA Volta、Turing 和 Ampere GPU 上运行的 NVIDIA CUDA-X 软件堆栈实现最佳的可重复精度和性能。

NVIDIA GPU 云 (NGC) 容器注册表

这些示例以及我们的 NVIDIA 深度学习软件堆栈均在 NGC 容器注册表 (https://ngc.nvidia.com) 上每月更新的 Docker 容器中提供。这些容器包括：

此存储库中的最新 NVIDIA 示例
最新的 NVIDIA 贡献在各自的框架上游共享
最新的 NVIDIA 深度学习软件库，如 cuDNN、NCCL、cuBLAS 等，均经过严格的月度质量保证流程，以确保提供最佳性能
每个 NVIDIA 优化容器的每月发行说明

计算机视觉

型号	框架	AMP	多GPU	多节点	张量RT	奥恩克斯	海卫一	DLC	注意
高效网络-B0	火炬	是的	是的	-	支持	-	支持	是的	-
EfficientNet-B4	火炬	是的	是的	-	支持	-	支持	是的	-
高效网络-WideSE-B0	火炬	是的	是的	-	支持	-	支持	是的	-
高效全网SE-B4	火炬	是的	是的	-	支持	-	支持	是的	-
EfficientNet v1-B0	TensorFlow2	是的	是的	是的	例子	-	支持	是的	-
EfficientNet v1-B4	TensorFlow2	是的	是的	是的	例子	-	支持	是的	-
EfficientNet v2-S	TensorFlow2	是的	是的	是的	例子	-	支持	是的	-
GPU网络	火炬	是的	是的	-	例子	是的	例子	是的	-
Mask R-CNN	火炬	是的	是的	-	例子	-	支持	-	是的
Mask R-CNN	TensorFlow2	是的	是的	-	例子	-	支持	是的	-
网络	火炬	是的	是的	-	支持	-	支持	是的	-
ResNet-50	MXNet	是的	是的	-	支持	-	支持	-	-
ResNet-50	桨桨	是的	是的	-	例子	-	支持	-	-
ResNet-50	火炬	是的	是的	-	例子	-	例子	是的	-
ResNet-50	TensorFlow	是的	是的	-	支持	-	支持	是的	-
ResNeXt-101	火炬	是的	是的	-	例子	-	例子	是的	-
ResNeXt-101	TensorFlow	是的	是的	-	支持	-	支持	是的	-
SE-ResNeXt-101	火炬	是的	是的	-	例子	-	例子	是的	-
SE-ResNeXt-101	TensorFlow	是的	是的	-	支持	-	支持	是的	-
固态硬盘	火炬	是的	是的	-	支持	-	支持	-	是的
固态硬盘	TensorFlow	是的	是的	-	支持	-	支持	是的	是的
优网医学	TensorFlow2	是的	是的	-	例子	-	支持	是的	-

自然语言处理

型号	框架	AMP	多GPU	多节点	张量RT	奥恩克斯	海卫一	DLC	注意
伯特	火炬	是的	是的	是的	例子	-	例子	是的	-
GNMT	火炬	是的	是的	-	支持	-	支持	-	-
伊莱克特拉	TensorFlow2	是的	是的	是的	支持	-	支持	是的	-
伯特	TensorFlow	是的	是的	是的	例子	-	例子	是的	是的
伯特	TensorFlow2	是的	是的	是的	支持	-	支持	是的	-
GNMT	TensorFlow	是的	是的	-	支持	-	支持	-	-
更快的变压器	张量流	-	-	-	例子	-	支持	-	-

型号	框架	AMP	多GPU	多节点	奥恩克斯	海卫一	DLC	注意
DLRM	火炬	是的	是的	-	是的	例子	是的	是的
DLRM	TensorFlow2	是的	是的	是的	-	支持	是的	-
NCF	火炬	是的	是的	-	-	支持	-	-
宽&深	TensorFlow	是的	是的	-	-	支持	是的	-
宽&深	TensorFlow2	是的	是的	-	-	支持	是的	-
NCF	TensorFlow	是的	是的	-	-	支持	是的	-
VAE-CF	TensorFlow	是的	是的	-	-	支持	-	-
SIM卡	TensorFlow2	是的	是的	-	-	支持	是的	-

语音转文字

型号	框架	AMP	多GPU	多节点	张量RT	奥恩克斯	海卫一	DLC	注意
碧玉	火炬	是的	是的	-	例子	是的	例子	是的	是的
石英网	火炬	是的	是的	-	支持	-	支持	是的	-

文字转语音

型号	框架	AMP	多GPU	多节点	张量RT	奥恩克斯	海卫一	DLC	注意
快投	火炬	是的	是的	-	例子	-	例子	是的	是的
快速语音	火炬	是的	是的	-	例子	-	支持	-	-
Tacotron 2 和 WaveGlow	火炬	是的	是的	-	例子	是的	例子	是的	-
HiFi-GAN	火炬	是的	是的	-	支持	-	支持	是的	-

图神经网络

型号	框架	AMP	多GPU	多节点	奥恩克斯	海卫一	DLC	注意
SE(3)-变压器	火炬	是的	是的	-	-	支持	-	-
莫流	火炬	是的	是的	-	-	支持	-	-

时间序列预测

型号	框架	AMP	多GPU	多节点	张量RT	奥恩克斯	海卫一	DLC	注意
时间融合变压器	火炬	是的	是的	-	例子	是的	例子	是的	-

英伟达支持

在每个网络自述文件中，我们都会指出将提供的支持级别。范围从持续更新和改进到思想领导力的时间点发布。

词汇表

pyxis/enroot Slurm 集群支持多节点训练。

深度学习编译器 (DLC) TensorFlow XLA 和 PyTorch JIT 和/或 TorchScript

加速线性代数 (XLA) XLA 是线性代数的特定领域编译器，可以加速 TensorFlow 模型，而无需更改源代码。结果是速度和内存使用率的提高。

PyTorch JIT 和/或 TorchScript TorchScript 是一种从 PyTorch 代码创建可序列化和可优化模型的方法。 TorchScript，PyTorch 模型（nn.Module 的子类）的中间表示，可以在 C++ 等高性能环境中运行。

自动混合精度 (AMP)自动混合精度 (AMP) 可自动在 Volta、Turing 和 NVIDIA Ampere GPU 架构上进行混合精度训练。

TensorFloat-32 (TF32) TensorFloat-32 (TF32) 是 NVIDIA A100 GPU 中的新数学模式，用于处理矩阵数学（也称为张量运算）。与 Volta GPU 上的单精度浮点数学 (FP32) 相比，在 A100 GPU 的 Tensor Core 上运行的 TF32 可以提供高达 10 倍的加速。 TF32 在 NVIDIA Ampere GPU 架构中受支持，并且默认启用。

Jupyter Notebooks (NB) Jupyter Notebook 是一个开源 Web 应用程序，允许您创建和共享包含实时代码、方程、可视化和叙述文本的文档。