DeepLearningExamples

Contoh Pembelajaran Mendalam NVIDIA untuk Inti Tensor

Perkenalan

Repositori ini memberikan contoh Pembelajaran Mendalam Tercanggih yang mudah dilatih dan diterapkan, mencapai akurasi dan kinerja terbaik yang dapat direproduksi dengan tumpukan perangkat lunak NVIDIA CUDA-X yang berjalan pada GPU NVIDIA Volta, Turing, dan Ampere.

Registri Kontainer NVIDIA GPU Cloud (NGC).

Contoh-contoh ini, bersama dengan tumpukan perangkat lunak pembelajaran mendalam NVIDIA kami, disediakan dalam kontainer Docker yang diperbarui setiap bulan di registri kontainer NGC (https://ngc.nvidia.com). Wadah tersebut antara lain:

• Contoh NVIDIA terbaru dari repositori ini
• Kontribusi NVIDIA terbaru dibagikan pada bagian hulu ke masing-masing kerangka kerja
• Pustaka perangkat lunak NVIDIA Deep Learning terbaru, seperti cuDNN, NCCL, cuBLAS, dll. yang semuanya telah melalui proses jaminan kualitas bulanan yang ketat untuk memastikan bahwa mereka memberikan kinerja terbaik
• Catatan rilis bulanan untuk setiap wadah yang dioptimalkan NVIDIA

Visi Komputer

Model	Kerangka	AMP	Multi-GPU	Multi-Node	TensorRT	ONNX	Triton	DLC	catatan
EfisienNet-B0	PyTorch	Ya	Ya	-	Didukung	-	Didukung	Ya	-
EfisienNet-B4	PyTorch	Ya	Ya	-	Didukung	-	Didukung	Ya	-
EfisienNet-WideSE-B0	PyTorch	Ya	Ya	-	Didukung	-	Didukung	Ya	-
EfisienNet-WideSE-B4	PyTorch	Ya	Ya	-	Didukung	-	Didukung	Ya	-
EfisienNet v1-B0	TensorFlow2	Ya	Ya	Ya	Contoh	-	Didukung	Ya	-
EfisienNet v1-B4	TensorFlow2	Ya	Ya	Ya	Contoh	-	Didukung	Ya	-
EfisienNet v2-S	TensorFlow2	Ya	Ya	Ya	Contoh	-	Didukung	Ya	-
GPUNet	PyTorch	Ya	Ya	-	Contoh	Ya	Contoh	Ya	-
Topeng R-CNN	PyTorch	Ya	Ya	-	Contoh	-	Didukung	-	Ya
Topeng R-CNN	TensorFlow2	Ya	Ya	-	Contoh	-	Didukung	Ya	-
nnUNet	PyTorch	Ya	Ya	-	Didukung	-	Didukung	Ya	-
ResNet-50	MXNet	Ya	Ya	-	Didukung	-	Didukung	-	-
ResNet-50	DayungPaddle	Ya	Ya	-	Contoh	-	Didukung	-	-
ResNet-50	PyTorch	Ya	Ya	-	Contoh	-	Contoh	Ya	-
ResNet-50	Aliran Tensor	Ya	Ya	-	Didukung	-	Didukung	Ya	-
ResNeXt-101	PyTorch	Ya	Ya	-	Contoh	-	Contoh	Ya	-
ResNeXt-101	Aliran Tensor	Ya	Ya	-	Didukung	-	Didukung	Ya	-
SE-ResNeXt-101	PyTorch	Ya	Ya	-	Contoh	-	Contoh	Ya	-
SE-ResNeXt-101	Aliran Tensor	Ya	Ya	-	Didukung	-	Didukung	Ya	-
SSD	PyTorch	Ya	Ya	-	Didukung	-	Didukung	-	Ya
SSD	Aliran Tensor	Ya	Ya	-	Didukung	-	Didukung	Ya	Ya
Kedokteran U-Net	TensorFlow2	Ya	Ya	-	Contoh	-	Didukung	Ya	-

Pemrosesan Bahasa Alami

Model	Kerangka	AMP	Multi-GPU	Multi-Node	TensorRT	ONNX	Triton	DLC	catatan
BERT	PyTorch	Ya	Ya	Ya	Contoh	-	Contoh	Ya	-
GNMT	PyTorch	Ya	Ya	-	Didukung	-	Didukung	-	-
ELEKTRA	TensorFlow2	Ya	Ya	Ya	Didukung	-	Didukung	Ya	-
BERT	Aliran Tensor	Ya	Ya	Ya	Contoh	-	Contoh	Ya	Ya
BERT	TensorFlow2	Ya	Ya	Ya	Didukung	-	Didukung	Ya	-
GNMT	Aliran Tensor	Ya	Ya	-	Didukung	-	Didukung	-	-
Transformator Lebih Cepat	Aliran Tensor	-	-	-	Contoh	-	Didukung	-	-

Sistem Rekomendasi

Model	Kerangka	AMP	Multi-GPU	Multi-Node	ONNX	Triton	DLC	catatan
DLRM	PyTorch	Ya	Ya	-	Ya	Contoh	Ya	Ya
DLRM	TensorFlow2	Ya	Ya	Ya	-	Didukung	Ya	-
NCF	PyTorch	Ya	Ya	-	-	Didukung	-	-
Lebar & Dalam	Aliran Tensor	Ya	Ya	-	-	Didukung	Ya	-
Lebar & Dalam	TensorFlow2	Ya	Ya	-	-	Didukung	Ya	-
NCF	Aliran Tensor	Ya	Ya	-	-	Didukung	Ya	-
VAE-CF	Aliran Tensor	Ya	Ya	-	-	Didukung	-	-
SIM	TensorFlow2	Ya	Ya	-	-	Didukung	Ya	-

Pidato ke Teks

Model	Kerangka	AMP	Multi-GPU	Multi-Node	TensorRT	ONNX	Triton	DLC	catatan
jasper	PyTorch	Ya	Ya	-	Contoh	Ya	Contoh	Ya	Ya
Jaring Kuarsa	PyTorch	Ya	Ya	-	Didukung	-	Didukung	Ya	-

Teks ke Ucapan

Model	Kerangka	AMP	Multi-GPU	Multi-Node	TensorRT	ONNX	Triton	DLC	catatan
Pitch Cepat	PyTorch	Ya	Ya	-	Contoh	-	Contoh	Ya	Ya
Pidato Cepat	PyTorch	Ya	Ya	-	Contoh	-	Didukung	-	-
Tacotron 2 dan WaveGlow	PyTorch	Ya	Ya	-	Contoh	Ya	Contoh	Ya	-
HiFi-GAN	PyTorch	Ya	Ya	-	Didukung	-	Didukung	Ya	-

Grafik Jaringan Syaraf Tiruan

Model	Kerangka	AMP	Multi-GPU	Multi-Node	ONNX	Triton	DLC	catatan
SE(3)-Transformator	PyTorch	Ya	Ya	-	-	Didukung	-	-
Aliran Mo	PyTorch	Ya	Ya	-	-	Didukung	-	-

Peramalan Rangkaian Waktu

Model	Kerangka	AMP	Multi-GPU	Multi-Node	TensorRT	ONNX	Triton	DLC	catatan
Transformator Fusi Temporal	PyTorch	Ya	Ya	-	Contoh	Ya	Contoh	Ya	-

dukungan NVIDIA

Di setiap README jaringan, kami menunjukkan tingkat dukungan yang akan diberikan. Rentangnya mulai dari pembaruan dan penyempurnaan berkelanjutan hingga rilis tepat waktu untuk kepemimpinan pemikiran.

Glosarium

Pelatihan Multinode Didukung pada cluster Slurm pyxis/enroot.

Kompiler Pembelajaran Mendalam (DLC) TensorFlow XLA dan PyTorch JIT dan/atau TorchScript

Aljabar Linear yang Dipercepat (XLA) XLA adalah compiler khusus domain untuk aljabar linier yang dapat mempercepat model TensorFlow tanpa kemungkinan perubahan kode sumber. Hasilnya adalah peningkatan kecepatan dan penggunaan memori.

PyTorch JIT dan/atau TorchScript TorchScript adalah cara untuk membuat model yang dapat diserialkan dan dioptimalkan dari kode PyTorch. TorchScript, representasi perantara model PyTorch (subkelas nn.Module) yang kemudian dapat dijalankan di lingkungan berkinerja tinggi seperti C++.

Presisi Campuran Otomatis (AMP) Presisi Campuran Otomatis (AMP) memungkinkan pelatihan presisi campuran pada arsitektur GPU Volta, Turing, dan NVIDIA Ampere secara otomatis.

TensorFloat-32 (TF32) TensorFloat-32 (TF32) adalah mode matematika baru di GPU NVIDIA A100 untuk menangani matematika matriks yang juga disebut operasi tensor. TF32 yang dijalankan pada Tensor Cores di GPU A100 dapat memberikan peningkatan kecepatan hingga 10x dibandingkan dengan matematika floating-point presisi tunggal (FP32) pada GPU Volta. TF32 didukung dalam arsitektur GPU NVIDIA Ampere dan diaktifkan secara default.

Jupyter Notebooks (NB) Jupyter Notebook adalah aplikasi web sumber terbuka yang memungkinkan Anda membuat dan berbagi dokumen yang berisi kode langsung, persamaan, visualisasi, dan teks naratif.

Umpan Balik / Kontribusi

Kami memposting contoh-contoh ini di GitHub untuk memberikan dukungan yang lebih baik kepada komunitas, memfasilitasi masukan, serta mengumpulkan dan menerapkan kontribusi menggunakan Masalah GitHub dan permintaan penarikan. Kami menyambut semua kontribusi!

Masalah yang diketahui

Di setiap README jaringan, kami menunjukkan masalah apa pun yang diketahui dan mendorong komunitas untuk memberikan umpan balik.