DeepLearningExamples

Tensor コアの NVIDIA ディープラーニングの例

導入

このリポジトリは、トレーニングとデプロイが簡単な最先端の深層学習サンプルを提供し、NVIDIA Volta、Turing、Ampere GPU で実行される NVIDIA CUDA-X ソフトウェア スタックで最高の再現可能な精度とパフォーマンスを実現します。

NVIDIA GPU クラウド (NGC) コンテナー レジストリ

これらのサンプルは、NVIDIA 深層学習ソフトウェア スタックとともに、NGC コンテナー レジストリ (https://ngc.nvidia.com) 上の毎月更新される Docker コンテナーで提供されます。これらのコンテナには次のものが含まれます。

• このリポジトリからの最新の NVIDIA サンプル
• それぞれのフレームワークの上流で共有される最新の NVIDIA の貢献
• cuDNN、NCCL、cuBLAS などの最新の NVIDIA ディープ ラーニング ソフトウェア ライブラリは、可能な限り最高のパフォーマンスを提供するために厳格な毎月の品質保証プロセスを経ています。
• NVIDIA に最適化された各コンテナーの月次リリース ノート

コンピュータビジョン

モデル	フレームワーク	アンプ	マルチGPU	マルチノード	TensorRT	ONNX	トリトン	DLC	注意
EfficientNet-B0	パイトーチ	はい	はい	-	サポートされています	-	サポートされています	はい	-
EfficientNet-B4	パイトーチ	はい	はい	-	サポートされています	-	サポートされています	はい	-
EfficientNet-wideSE-B0	パイトーチ	はい	はい	-	サポートされています	-	サポートされています	はい	-
EfficientNet-wideSE-B4	パイトーチ	はい	はい	-	サポートされています	-	サポートされています	はい	-
EfficientNet v1-B0	TensorFlow2	はい	はい	はい	例	-	サポートされています	はい	-
EfficientNet v1-B4	TensorFlow2	はい	はい	はい	例	-	サポートされています	はい	-
EfficientNet v2-S	TensorFlow2	はい	はい	はい	例	-	サポートされています	はい	-
GPUネット	パイトーチ	はい	はい	-	例	はい	例	はい	-
マスク R-CNN	パイトーチ	はい	はい	-	例	-	サポートされています	-	はい
マスク R-CNN	TensorFlow2	はい	はい	-	例	-	サポートされています	はい	-
nnUネット	パイトーチ	はい	はい	-	サポートされています	-	サポートされています	はい	-
レスネット-50	MXネット	はい	はい	-	サポートされています	-	サポートされています	-	-
レスネット-50	パドルパドル	はい	はい	-	例	-	サポートされています	-	-
レスネット-50	パイトーチ	はい	はい	-	例	-	例	はい	-
レスネット-50	TensorFlow	はい	はい	-	サポートされています	-	サポートされています	はい	-
レスネクスト-101	パイトーチ	はい	はい	-	例	-	例	はい	-
レスネクスト-101	TensorFlow	はい	はい	-	サポートされています	-	サポートされています	はい	-
SE-ResNext-101	パイトーチ	はい	はい	-	例	-	例	はい	-
SE-ResNext-101	TensorFlow	はい	はい	-	サポートされています	-	サポートされています	はい	-
SSD	パイトーチ	はい	はい	-	サポートされています	-	サポートされています	-	はい
SSD	TensorFlow	はい	はい	-	サポートされています	-	サポートされています	はい	はい
ユーネットメッド	TensorFlow2	はい	はい	-	例	-	サポートされています	はい	-

自然言語処理

モデル	フレームワーク	アンプ	マルチGPU	マルチノード	TensorRT	ONNX	トリトン	DLC	注意
バート	パイトーチ	はい	はい	はい	例	-	例	はい	-
GNMT	パイトーチ	はい	はい	-	サポートされています	-	サポートされています	-	-
エレクトラ	TensorFlow2	はい	はい	はい	サポートされています	-	サポートされています	はい	-
バート	TensorFlow	はい	はい	はい	例	-	例	はい	はい
バート	TensorFlow2	はい	はい	はい	サポートされています	-	サポートされています	はい	-
GNMT	TensorFlow	はい	はい	-	サポートされています	-	サポートされています	-	-
より高速な変圧器	テンソルフロー	-	-	-	例	-	サポートされています	-	-

推薦システム

モデル	フレームワーク	アンプ	マルチGPU	マルチノード	ONNX	トリトン	DLC	注意
DLRM	パイトーチ	はい	はい	-	はい	例	はい	はい
DLRM	TensorFlow2	はい	はい	はい	-	サポートされています	はい	-
NCF	パイトーチ	はい	はい	-	-	サポートされています	-	-
ワイド&ディープ	TensorFlow	はい	はい	-	-	サポートされています	はい	-
ワイド＆ディープ	TensorFlow2	はい	はい	-	-	サポートされています	はい	-
NCF	TensorFlow	はい	はい	-	-	サポートされています	はい	-
VAE-CF	TensorFlow	はい	はい	-	-	サポートされています	-	-
SIM	TensorFlow2	はい	はい	-	-	サポートされています	はい	-

音声からテキストへ

モデル	フレームワーク	アンプ	マルチGPU	マルチノード	TensorRT	ONNX	トリトン	DLC	注意
碧玉	パイトーチ	はい	はい	-	例	はい	例	はい	はい
クォーツネット	パイトーチ	はい	はい	-	サポートされています	-	サポートされています	はい	-

テキスト読み上げ

モデル	フレームワーク	アンプ	マルチGPU	マルチノード	TensorRT	ONNX	トリトン	DLC	注意
ファストピッチ	パイトーチ	はい	はい	-	例	-	例	はい	はい
ファストスピーチ	パイトーチ	はい	はい	-	例	-	サポートされています	-	-
タコトロン 2 と WaveGlow	パイトーチ	はい	はい	-	例	はい	例	はい	-
HiFi-GAN	パイトーチ	はい	はい	-	サポートされています	-	サポートされています	はい	-

グラフニューラルネットワーク

モデル	フレームワーク	アンプ	マルチGPU	マルチノード	ONNX	トリトン	DLC	注意
SE(3)-変圧器	パイトーチ	はい	はい	-	-	サポートされています	-	-
モフロー	パイトーチ	はい	はい	-	-	サポートされています	-	-

時系列予測

モデル	フレームワーク	アンプ	マルチGPU	マルチノード	TensorRT	ONNX	トリトン	DLC	注意
時間融合トランスフォーマー	パイトーチ	はい	はい	-	例	はい	例	はい	-

NVIDIAのサポート

各ネットワーク README には、提供されるサポートのレベルが示されています。その範囲は、継続的な更新と改善から、ソート リーダーシップのための特定時点のリリースまで多岐にわたります。

用語集

マルチノード トレーニングはpyxis/enroot Slurm クラスターでサポートされます。

ディープ ラーニング コンパイラ (DLC) TensorFlow XLA および PyTorch JIT および / または TorchScript

Accelerated Linear Algebra (XLA) XLA は、ソース コードを変更することなく TensorFlow モデルを高速化できる線形代数用のドメイン固有のコンパイラーです。その結果、速度とメモリ使用量が向上します。

PyTorch JIT および/または TorchScriptトーチスクリプトは、PyTorch コードからシリアル化可能で最適化可能なモデルを作成する方法です。 TorchScript。PyTorch モデル (nn.Module のサブクラス) の中間表現であり、C++ などの高パフォーマンス環境で実行できます。

自動混合精度 (AMP)自動混合精度 (AMP) により、Volta、Turing、および NVIDIA Ampere GPU アーキテクチャでの混合精度トレーニングが自動的に可能になります。

TensorFloat-32 (TF32) TensorFloat-32 (TF32) は、テンソル演算とも呼ばれる行列演算を処理するための、NVIDIA A100 GPU の新しい演算モードです。 A100 GPU の Tensor コアで実行される TF32 は、Volta GPU の単精度浮動小数点演算 (FP32) と比較して最大 10 倍の高速化を実現できます。 TF32 は NVIDIA Ampere GPU アーキテクチャでサポートされており、デフォルトで有効になっています。

Jupyter Notebook (注意) Jupyter Notebook は、ライブ コード、方程式、視覚化、および説明テキストを含むドキュメントを作成および共有できるオープンソース Web アプリケーションです。

フィードバック / 貢献

これらの例を GitHub に投稿して、コミュニティのサポートを強化し、フィードバックを促進し、GitHub Issues とプル リクエストを使用して貢献を収集して実装します。皆様のご投稿をお待ちしております。

既知の問題

各ネットワーク README には既知の問題が記載されており、コミュニティにフィードバックを提供するよう奨励しています。