DeepLearningExamples 下載 - DeepLearningExamples 原始碼下載

DeepLearningExamples

其他源碼

1.0.0

下載

張量核心的 NVIDIA 深度學習範例

介紹

該儲存庫提供了易於訓練和部署的最先進的深度學習範例，透過在 NVIDIA Volta、Turing 和 Ampere GPU 上運行的 NVIDIA CUDA-X 軟體堆疊實現最佳的可重複精度和效能。

NVIDIA GPU 雲端 (NGC) 容器登錄檔

這些範例以及我們的 NVIDIA 深度學習軟體堆疊均在 NGC 容器註冊表 (https://ngc.nvidia.com) 上每月更新的 Docker 容器中提供。這些容器包括：

此儲存庫中的最新 NVIDIA 範例
最新的 NVIDIA 貢獻在各自的框架上游共享
最新的 NVIDIA 深度學習軟體庫，如 cuDNN、NCCL、cuBLAS 等，均經過嚴格的月度品質保證流程，以確保提供最佳效能
每個 NVIDIA 最佳化容器的每月發行說明

電腦視覺

型號	框架	AMP	多GPU	多節點	張量RT	奧恩克斯	海衛一	DLC	注意
高效率網路-B0	火炬	是的	是的	-	支援	-	支援	是的	-
EfficientNet-B4	火炬	是的	是的	-	支援	-	支援	是的	-
高效率網路-WideSE-B0	火炬	是的	是的	-	支援	-	支援	是的	-
高效率全網SE-B4	火炬	是的	是的	-	支援	-	支援	是的	-
EfficientNet v1-B0	TensorFlow2	是的	是的	是的	例子	-	支援	是的	-
EfficientNet v1-B4	TensorFlow2	是的	是的	是的	例子	-	支援	是的	-
EfficientNet v2-S	TensorFlow2	是的	是的	是的	例子	-	支援	是的	-
GPU網路	火炬	是的	是的	-	例子	是的	例子	是的	-
Mask R-CNN	火炬	是的	是的	-	例子	-	支援	-	是的
Mask R-CNN	TensorFlow2	是的	是的	-	例子	-	支援	是的	-
網路	火炬	是的	是的	-	支援	-	支援	是的	-
ResNet-50	MXNet	是的	是的	-	支援	-	支援	-	-
ResNet-50	槳槳	是的	是的	-	例子	-	支援	-	-
ResNet-50	火炬	是的	是的	-	例子	-	例子	是的	-
ResNet-50	TensorFlow	是的	是的	-	支援	-	支援	是的	-
ResNeXt-101	火炬	是的	是的	-	例子	-	例子	是的	-
ResNeXt-101	TensorFlow	是的	是的	-	支援	-	支援	是的	-
SE-ResNeXt-101	火炬	是的	是的	-	例子	-	例子	是的	-
SE-ResNeXt-101	TensorFlow	是的	是的	-	支援	-	支援	是的	-
固態硬碟	火炬	是的	是的	-	支援	-	支援	-	是的
固態硬碟	TensorFlow	是的	是的	-	支援	-	支援	是的	是的
優網醫學	TensorFlow2	是的	是的	-	例子	-	支援	是的	-

自然語言處理

型號	框架	AMP	多GPU	多節點	張量RT	奧恩克斯	海衛一	DLC	注意
伯特	火炬	是的	是的	是的	例子	-	例子	是的	-
GNMT	火炬	是的	是的	-	支援	-	支援	-	-
伊萊克特拉	TensorFlow2	是的	是的	是的	支援	-	支援	是的	-
伯特	TensorFlow	是的	是的	是的	例子	-	例子	是的	是的
伯特	TensorFlow2	是的	是的	是的	支援	-	支援	是的	-
GNMT	TensorFlow	是的	是的	-	支援	-	支援	-	-
更快的變壓器	張量流	-	-	-	例子	-	支援	-	-

型號	框架	AMP	多GPU	多節點	奧恩克斯	海衛一	DLC	注意
DLRM	火炬	是的	是的	-	是的	例子	是的	是的
DLRM	TensorFlow2	是的	是的	是的	-	支援	是的	-
NCF	火炬	是的	是的	-	-	支援	-	-
寬&深	TensorFlow	是的	是的	-	-	支援	是的	-
寬&深	TensorFlow2	是的	是的	-	-	支援	是的	-
NCF	TensorFlow	是的	是的	-	-	支援	是的	-
VAE-CF	TensorFlow	是的	是的	-	-	支援	-	-
SIM卡	TensorFlow2	是的	是的	-	-	支援	是的	-

語音轉文字

型號	框架	AMP	多GPU	多節點	張量RT	奧恩克斯	海衛一	DLC	注意
碧玉	火炬	是的	是的	-	例子	是的	例子	是的	是的
石英網	火炬	是的	是的	-	支援	-	支援	是的	-

文字轉語音

型號	框架	AMP	多GPU	多節點	張量RT	奧恩克斯	海衛一	DLC	注意
快投	火炬	是的	是的	-	例子	-	例子	是的	是的
快速語音	火炬	是的	是的	-	例子	-	支援	-	-
Tacotron 2 和 WaveGlow	火炬	是的	是的	-	例子	是的	例子	是的	-
HiFi-GAN	火炬	是的	是的	-	支援	-	支援	是的	-

圖神經網路

型號	框架	AMP	多GPU	多節點	奧恩克斯	海衛一	DLC	注意
SE(3)-變壓器	火炬	是的	是的	-	-	支援	-	-
莫流	火炬	是的	是的	-	-	支援	-	-

時間序列預測

型號	框架	AMP	多GPU	多節點	張量RT	奧恩克斯	海衛一	DLC	注意
時間融合變壓器	火炬	是的	是的	-	例子	是的	例子	是的	-

英偉達支持

在每個網路自述文件中，我們都會指出將提供的支援等級。範圍從持續更新和改進到思想領導力的時間點發布。

詞彙表

pyxis/enroot Slurm 叢集支援多節點訓練。

深度學習編譯器 (DLC) TensorFlow XLA 和 PyTorch JIT 和/或 TorchScript

加速線性代數 (XLA) XLA 是線性代數的特定領域編譯器，可加速 TensorFlow 模型，而無需更改原始程式碼。結果是速度和記憶體使用率的提高。

PyTorch JIT 和/或 TorchScript TorchScript 是一種從 PyTorch 程式碼建立可序列化和可最佳化模型的方法。 TorchScript，PyTorch 模型（nn.Module 的子類別）的中間表示，可以在 C++ 等高效能環境中運行。

自動混合精度 (AMP)自動混合精度 (AMP) 可自動在 Volta、Turing 和 NVIDIA Ampere GPU 架構上進行混合精度訓練。

TensorFloat-32 (TF32) TensorFloat-32 (TF32) 是 NVIDIA A100 GPU 中的新數學模式，用於處理矩陣數學（也稱為張量運算）。與 Volta GPU 上的單精度浮點數學 (FP32) 相比，在 A100 GPU 的 Tensor Core 上運行的 TF32 可以提供高達 10 倍的加速。 TF32 在 NVIDIA Ampere GPU 架構中受支持，並且預設為啟用。

Jupyter Notebooks (NB) Jupyter Notebook 是一個開源 Web 應用程序，可讓您建立和分享包含即時程式碼、方程式、視覺化和敘述文字的文件。