ai reference models
v3.2
Repositori ini berisi tautan ke model terlatih, contoh skrip, praktik terbaik, dan tutorial langkah demi langkah untuk banyak model pembelajaran mesin sumber terbuka populer yang dioptimalkan oleh Intel untuk dijalankan pada prosesor Intel® Xeon® yang Dapat Diskalakan dan GPU Pusat Data Intel® .
Kontainer untuk menjalankan beban kerja dapat ditemukan di Intel® AI Containers.
Model Referensi Intel® AI di Notebook Jupyter juga tersedia untuk beban kerja yang tercantum
Intel mengoptimalkan kerangka kerja pembelajaran mendalam yang populer seperti TensorFlow* dan PyTorch* dengan berkontribusi pada proyek upstream. Pengoptimalan tambahan disertakan dalam plugin/ekstensi seperti Intel Extension untuk Pytorch* dan Intel Extension untuk TensorFlow*. Model jaringan neural populer yang dijalankan pada kumpulan data umum adalah target beban kerja yang mendorong pengoptimalan ini.
Tujuan dari repositori Model Referensi Intel® AI (dan kontainer terkait) adalah dengan cepat mereplikasi lingkungan perangkat lunak lengkap yang menunjukkan performa paling terkenal dari setiap kombinasi model target/kumpulan data ini. Ketika dijalankan di lingkungan perangkat keras yang dikonfigurasi secara optimal, lingkungan perangkat lunak ini menampilkan kemampuan AI platform Intel.
PENOLAKAN: Skrip ini tidak dimaksudkan untuk melakukan benchmark pada platform Intel. Untuk informasi performa dan/atau tolok ukur apa pun pada platform Intel tertentu, kunjungi https://www.intel.ai/blog.
Intel berkomitmen untuk menghormati hak asasi manusia dan menghindari menyebabkan atau berkontribusi terhadap dampak buruk terhadap hak asasi manusia. Lihat Prinsip Hak Asasi Manusia Global Intel. Produk dan perangkat lunak Intel dimaksudkan hanya untuk digunakan dalam aplikasi yang tidak menyebabkan atau berkontribusi terhadap dampak buruk terhadap hak asasi manusia.
Model Referensi Intel® AI dilisensikan di bawah Lisensi Apache Versi 2.0.
Sejauh kumpulan data publik apa pun direferensikan oleh Intel atau diakses menggunakan alat atau kode di situs ini, kumpulan data tersebut disediakan oleh pihak ketiga yang diindikasikan sebagai sumber data. Intel tidak membuat data, atau kumpulan data, dan tidak menjamin keakuratan atau kualitasnya. Dengan mengakses kumpulan data publik, Anda menyetujui persyaratan yang terkait dengan kumpulan data tersebut dan bahwa penggunaan Anda mematuhi lisensi yang berlaku.
Silakan periksa daftar kumpulan data yang digunakan dalam Model Referensi Intel® AI di direktori kumpulan data.
Intel secara tegas menyangkal keakuratan, kecukupan, atau kelengkapan kumpulan data publik apa pun, dan tidak bertanggung jawab atas kesalahan, kelalaian, atau cacat apa pun pada data, atau atas ketergantungan apa pun pada data tersebut. Intel tidak bertanggung jawab atas kewajiban atau kerugian apa pun terkait dengan penggunaan Anda atas kumpulan data publik.
Dokumentasi model pada tabel di bawah berisi informasi tentang prasyarat untuk menjalankan setiap model. Skrip model dijalankan di Linux. Model tertentu juga dapat dijalankan menggunakan bare metal di Windows. Untuk informasi lebih lanjut dan daftar model yang didukung di Windows, lihat dokumentasinya di sini.
Petunjuk tersedia untuk dijalankan di Sapphire Rapids.
Untuk performa terbaik pada Intel® Data Center GPU Flex dan Max Series, silakan periksa daftar beban kerja yang didukung. Ini memberikan instruksi untuk menjalankan inferensi dan pelatihan menggunakan Intel(R) Extension untuk PyTorch atau Intel(R) Extension untuk TensorFlow.
| Model | Kerangka | Mode | Dokumentasi Model | Kumpulan Data Tolok Ukur/Uji |
|---|---|---|---|---|
| ResNet 50v1.5 Jeram Safir | Aliran Tensor | Kesimpulan | Int8 FP32 BFloat16 BFloat32 | GambarNet 2012 |
| ResNet 50v1.5 Jeram Safir | Aliran Tensor | Pelatihan | FP32 BFloat16 BFloat32 | GambarNet 2012 |
| ResNet 50 | PyTorch | Kesimpulan | Int8 FP32 BFloat16 BFloat32 | [ImageNet 2012] |
| ResNet 50 | PyTorch | Pelatihan | FP32 BFloat16 BFloat32 | [ImageNet 2012] |
| Transformator Visi | PyTorch | Kesimpulan | FP32 BFloat16 BFloat32 FP16 INT8 | [ImageNet 2012] |
| Model | Kerangka | Mode | Dokumentasi Model | Kumpulan Data Tolok Ukur/Uji |
|---|---|---|---|---|
| U-Net 3D | Aliran Tensor | Kesimpulan | FP32 BFloat16 Int8 | ANAK 2018 |
| Model | Kerangka | Mode | Dokumentasi Model | Kumpulan Data Tolok Ukur/Uji |
|---|---|---|---|---|
| BERT Jeram Safir besar | Aliran Tensor | Kesimpulan | FP32 BFloat16 Int8 BFloat32 | Pasukan |
| BERT Jeram Safir besar | Aliran Tensor | Pelatihan | FP32 BFloat16 BFloat32 | Pasukan |
| BERT besar (Memeluk Wajah) | Aliran Tensor | Kesimpulan | FP32 FP16 BFloat16 BFloat32 | Pasukan |
| BERT besar | PyTorch | Kesimpulan | FP32 Int8 BFloat16 BFloat32 | BERT SQuAD Besar1.1 |
| BERT besar | PyTorch | Pelatihan | FP32 BFloat16 BFloat32 | kumpulan data teks yang telah diproses sebelumnya |
| Basis DistilBERT | PyTorch | Kesimpulan | FP32 BF32 BF16Int8-FP32 Int8-BFloat16 BFloat32 | Basis DistilBERT SQuAD1.1 |
| RNN-T | PyTorch | Kesimpulan | FP32 BFloat16 BFloat32 | Kumpulan data RNN-T |
| RNN-T | PyTorch | Pelatihan | FP32 BFloat16 BFloat32 | Kumpulan data RNN-T |
| GPTJ 6B | PyTorch | Kesimpulan | FP32 FP16 BFloat16 BF32 INT8 | |
| GPTJ 6B MLPerf | PyTorch | Kesimpulan | INT4 | Kumpulan data CNN-Daily Mail |
| LLAMA2 7B | PyTorch | Kesimpulan | FP32 FP16 BFloat16 BF32 INT8 | |
| LLAMA2 7B | PyTorch | Pelatihan | FP32 FP16 BFloat16 BF32 | |
| LLAMA2 13B | PyTorch | Kesimpulan | FP32 FP16 BFloat16 BF32 INT8 | |
| ObrolanGLMv3 6B | PyTorch | Kesimpulan | FP32 FP16 BFloat16 BF32 INT8 |
| Model | Kerangka | Mode | Dokumentasi Model | Kumpulan Data Tolok Ukur/Uji |
|---|---|---|---|---|
| BERT | Aliran Tensor | Kesimpulan | FP32 | MRPC |
| Model | Kerangka | Mode | Dokumentasi Model | Kumpulan Data Tolok Ukur/Uji |
|---|---|---|---|---|
| Topeng R-CNN | PyTorch | Kesimpulan | FP32 BFloat16 BFloat32 | COCO 2017 |
| Topeng R-CNN | PyTorch | Pelatihan | FP32 BFloat16 BFloat32 | COCO 2017 |
| SSD-ResNet34 | PyTorch | Kesimpulan | FP32 Int8 BFloat16 BFloat32 | COCO 2017 |
| SSD-ResNet34 | PyTorch | Pelatihan | FP32 BFloat16 BFloat32 | COCO 2017 |
| Yolo V7 | PyTorch | Kesimpulan | Int8 FP32 FP16 BFloat16 BFloat32 | [COCO 2017](/models_v2/pytorch/yolov7/inference/cpu/README.md## Siapkan Kumpulan Data) |
| Model | Kerangka | Mode | Dokumentasi Model | Kumpulan Data Tolok Ukur/Uji |
|---|---|---|---|---|
| Lebar & Dalam | Aliran Tensor | Kesimpulan | FP32 | Kumpulan data Pendapatan Sensus |
| DLRM | PyTorch | Kesimpulan | FP32 Int8 BFloat16 BFloat32 | Kriteria Terabyte |
| DLRM | PyTorch | Pelatihan | FP32 BFloat16 BFloat32 | Kriteria Terabyte |
| DLRM v2 | PyTorch | Kesimpulan | FP32 FP16 BFloat16 BFloat32 Int8 | Kumpulan data Criteo 1TB Klik Log |
| Model | Kerangka | Mode | Dokumentasi Model | Kumpulan Data Tolok Ukur/Uji |
|---|---|---|---|---|
| Difusi Stabil | Aliran Tensor | Kesimpulan | FP32 BFloat16 FP16 | Kumpulan data validasi COCO 2017 |
| Difusi Stabil | PyTorch | Kesimpulan | FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16 | Kumpulan data validasi COCO 2017 |
| Difusi Stabil | PyTorch | Pelatihan | FP32 BFloat16 FP16 BFloat32 | gambar kucing |
| Model Konsistensi Laten (LCM) | PyTorch | Kesimpulan | FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16 | Kumpulan data validasi COCO 2017 |
| Model | Kerangka | Mode | Dokumentasi Model | Kumpulan Data Tolok Ukur/Uji |
|---|---|---|---|---|
| GrafikSAGE | Aliran Tensor | Kesimpulan | FP32 BFloat16 FP16 Int8 BFloat32 | Interaksi Protein Protein |
*Berarti model tersebut termasuk model MLPerf dan akan didukung dalam jangka panjang.
| Model | Kerangka | Mode | Tipe GPU | Dokumentasi Model |
|---|---|---|---|---|
| ResNet 50v1.5 | Aliran Tensor | Kesimpulan | Seri Fleksibel | Float32 TF32 Float16 BFloat16 Int8 |
| ResNet 50 v1.5 | Aliran Tensor | Pelatihan | Seri Maks | BFloat16 FP32 |
| ResNet 50 v1.5 | PyTorch | Kesimpulan | Seri Fleksibel, Seri Maks, Seri Arc | Int8 FP32 FP16 TF32 |
| ResNet 50 v1.5 | PyTorch | Pelatihan | Seri Maks, Seri Arc | BFloat16 TF32 FP32 |
| DistilBERT | PyTorch | Kesimpulan | Seri Fleksibel, Seri Maks | FP32 FP16 BF16 TF32 |
| DLRM v1 | PyTorch | Kesimpulan | Seri Fleksibel | FP16 FP32 |
| SSD-MobileNet* | PyTorch | Kesimpulan | Seri Busur | INT8 FP16 FP32 |
| EfisienNet | PyTorch | Kesimpulan | Seri Fleksibel | FP16 BF16 FP32 |
| EfisienNet | Aliran Tensor | Kesimpulan | Seri Fleksibel | FP16 |
| FBNet | PyTorch | Kesimpulan | Seri Fleksibel | FP16 BF16 FP32 |
| Kumpulan Data Besar Dalam Yang Luas | Aliran Tensor | Kesimpulan | Seri Fleksibel | FP16 |
| YOLO V5 | PyTorch | Kesimpulan | Seri Fleksibel | FP16 |
| BERT besar | PyTorch | Kesimpulan | Seri Maks, Seri Arc | BFloat16 FP32 FP16 |
| BERT besar | PyTorch | Pelatihan | Seri Maks, Seri Arc | BFloat16 FP32 TF32 |
| BERT besar | Aliran Tensor | Pelatihan | Seri Maks | BFloat16 TF32 FP32 |
| DLRM v2 | PyTorch | Kesimpulan | Seri Maks | FP32 BF16 |
| DLRM v2 | PyTorch | Pelatihan | Seri Maks | FP32 TF32 BF16 |
| 3D-Unet | PyTorch | Kesimpulan | Seri Maks | FP16 INT8 FP32 |
| 3D-Unet | Aliran Tensor | Pelatihan | Seri Maks | BFloat16 FP32 |
| Difusi Stabil | PyTorch | Kesimpulan | Seri Fleksibel, Seri Maks, Seri Arc | FP16 FP32 |
| Difusi Stabil | Aliran Tensor | Kesimpulan | Seri Fleksibel | FP16 FP32 |
| Topeng R-CNN | Aliran Tensor | Kesimpulan | Seri Fleksibel | FP32 Mengambang16 |
| Topeng R-CNN | Aliran Tensor | Pelatihan | Seri Maks | FP32 BMengambang16 |
| Transformator Babi | PyTorch | Kesimpulan | Seri Fleksibel | FP16 |
| Pitch Cepat | PyTorch | Kesimpulan | Seri Fleksibel | FP16 |
| UNet++ | PyTorch | Kesimpulan | Seri Fleksibel | FP16 |
| RNN-T | PyTorch | Kesimpulan | Seri Maks | FP16 BF16 FP32 |
| RNN-T | PyTorch | Pelatihan | Seri Maks | FP32 BF16 TF32 |
| IFRNet | PyTorch | Kesimpulan | Seri Fleksibel | FP16 |
| PENUH | PyTorch | Kesimpulan | Seri Fleksibel | FP16 |
Jika Anda ingin menambahkan skrip benchmarking baru, silakan gunakan panduan ini.
