ai reference models
v3.2
Dieses Repository enthält Links zu vorab trainierten Modellen, Beispielskripten, Best Practices und Schritt-für-Schritt-Anleitungen für viele beliebte Open-Source-Modelle für maschinelles Lernen, die von Intel für die Ausführung auf skalierbaren Intel® Xeon® Prozessoren und Intel® Data Center GPUs optimiert wurden .
Container zum Ausführen der Workloads finden Sie unter Intel® AI Containers.
Für die aufgeführten Workloads sind auch Intel® AI-Referenzmodelle in einem Jupyter-Notebook verfügbar
Intel optimiert beliebte Deep-Learning-Frameworks wie TensorFlow* und PyTorch*, indem es zu den Upstream-Projekten beiträgt. Zusätzliche Optimierungen sind in Plugins/Erweiterungen wie der Intel Extension für Pytorch* und der Intel Extension für TensorFlow* integriert. Beliebte neuronale Netzwerkmodelle, die mit gängigen Datensätzen laufen, sind die Ziel-Workloads, die diese Optimierungen vorantreiben.
Der Zweck des Intel® AI Reference Models Repository (und der zugehörigen Container) besteht darin, schnell die komplette Softwareumgebung zu replizieren, die die bekannteste Leistung jeder dieser Zielmodell-/Datensatzkombinationen demonstriert. Bei der Ausführung in optimal konfigurierten Hardwareumgebungen demonstrieren diese Softwareumgebungen die KI-Fähigkeiten der Intel-Plattformen.
HAFTUNGSAUSSCHLUSS: Diese Skripte sind nicht für das Benchmarking von Intel-Plattformen gedacht. Für Leistungs- und/oder Benchmarking-Informationen zu bestimmten Intel-Plattformen besuchen Sie https://www.intel.ai/blog.
Intel verpflichtet sich, die Menschenrechte zu respektieren und keine negativen Auswirkungen auf die Menschenrechte zu verursachen oder zu solchen beizutragen. Siehe Intels globale Menschenrechtsgrundsätze. Die Produkte und Software von Intel sind nur für den Einsatz in Anwendungen bestimmt, die keine negativen Auswirkungen auf die Menschenrechte haben oder dazu beitragen.
Die Intel® AI-Referenzmodelle sind unter der Apache-Lizenzversion 2.0 lizenziert.
Soweit Intel auf öffentliche Datensätze verweist oder mithilfe von Tools oder Code auf dieser Website darauf zugreift, werden diese Datensätze von dem als Datenquelle angegebenen Dritten bereitgestellt. Intel erstellt die Daten oder Datensätze nicht und übernimmt keine Gewähr für deren Genauigkeit oder Qualität. Durch den Zugriff auf die öffentlichen Datensätze stimmen Sie den mit diesen Datensätzen verbundenen Bedingungen zu und erklären, dass Ihre Nutzung der geltenden Lizenz entspricht.
Bitte überprüfen Sie die Liste der in den Intel® AI-Referenzmodellen verwendeten Datensätze im Datensatzverzeichnis.
Intel lehnt ausdrücklich die Richtigkeit, Angemessenheit oder Vollständigkeit öffentlicher Datensätze ab und haftet nicht für Fehler, Auslassungen oder Mängel in den Daten oder für das Vertrauen auf die Daten. Intel übernimmt keine Haftung für jegliche Haftung oder Schäden im Zusammenhang mit Ihrer Nutzung öffentlicher Datensätze.
Die Modelldokumentation in den folgenden Tabellen enthält Informationen zu den Voraussetzungen für die Ausführung jedes Modells. Die Modellskripte laufen unter Linux. Bestimmte Modelle können auch mit Bare-Metal unter Windows ausgeführt werden. Weitere Informationen und eine Liste der unter Windows unterstützten Modelle finden Sie in der Dokumentation hier.
Anweisungen zum Laufen auf Sapphire Rapids verfügbar.
Die beste Leistung auf Intel® Data Center GPU Flex und Max Series finden Sie in der Liste der unterstützten Workloads. Es enthält Anweisungen zum Ausführen von Inferenz und Training mit der Intel(R) Extension für PyTorch oder der Intel(R) Extension für TensorFlow.
| Modell | Rahmen | Modus | Modelldokumentation | Benchmark-/Testdatensatz |
|---|---|---|---|---|
| ResNet 50v1.5 Sapphire Rapids | TensorFlow | Schlussfolgerung | Int8 FP32 BFloat16 BFloat32 | ImageNet 2012 |
| ResNet 50v1.5 Sapphire Rapids | TensorFlow | Ausbildung | FP32 BFloat16 BFloat32 | ImageNet 2012 |
| ResNet 50 | PyTorch | Schlussfolgerung | Int8 FP32 BFloat16 BFloat32 | [ImageNet 2012] |
| ResNet 50 | PyTorch | Ausbildung | FP32 BFloat16 BFloat32 | [ImageNet 2012] |
| Vision-Transformer | PyTorch | Schlussfolgerung | FP32 BFloat16 BFloat32 FP16 INT8 | [ImageNet 2012] |
| Modell | Rahmen | Modus | Modelldokumentation | Benchmark-/Testdatensatz |
|---|---|---|---|---|
| 3D-U-Net | TensorFlow | Schlussfolgerung | FP32 BFloat16 Int8 | Gören 2018 |
| Modell | Rahmen | Modus | Modelldokumentation | Benchmark-/Testdatensatz |
|---|---|---|---|---|
| BERT große Sapphire Rapids | Tensorflow | Schlussfolgerung | FP32 BFloat16 Int8 BFloat32 | Kader |
| BERT große Sapphire Rapids | Tensorflow | Ausbildung | FP32 BFloat16 BFloat32 | Kader |
| BERT groß (Umarmendes Gesicht) | TensorFlow | Schlussfolgerung | FP32 FP16 BFloat16 BFloat32 | Kader |
| BERT groß | PyTorch | Schlussfolgerung | FP32 Int8 BFloat16 BFloat32 | BERT Large SQuAD1.1 |
| BERT groß | PyTorch | Ausbildung | FP32 BFloat16 BFloat32 | vorverarbeiteter Textdatensatz |
| DistilBERT-Basis | PyTorch | Schlussfolgerung | FP32 BF32 BF16Int8-FP32 Int8-BFloat16 BFloat32 | DistilBERT Base SQuAD1.1 |
| RNN-T | PyTorch | Schlussfolgerung | FP32 BFloat16 BFloat32 | RNN-T-Datensatz |
| RNN-T | PyTorch | Ausbildung | FP32 BFloat16 BFloat32 | RNN-T-Datensatz |
| GPTJ 6B | PyTorch | Schlussfolgerung | FP32 FP16 BFloat16 BF32 INT8 | |
| GPTJ 6B MLPerf | PyTorch | Schlussfolgerung | INT4 | CNN-Daily Mail-Datensatz |
| LAMA2 7B | PyTorch | Schlussfolgerung | FP32 FP16 BFloat16 BF32 INT8 | |
| LAMA2 7B | PyTorch | Ausbildung | FP32 FP16 BFloat16 BF32 | |
| LAMA2 13B | PyTorch | Schlussfolgerung | FP32 FP16 BFloat16 BF32 INT8 | |
| ChatGLMv3 6B | PyTorch | Schlussfolgerung | FP32 FP16 BFloat16 BF32 INT8 |
| Modell | Rahmen | Modus | Modelldokumentation | Benchmark-/Testdatensatz |
|---|---|---|---|---|
| BERT | TensorFlow | Schlussfolgerung | FP32 | MRPC |
| Modell | Rahmen | Modus | Modelldokumentation | Benchmark-/Testdatensatz |
|---|---|---|---|---|
| Maske R-CNN | PyTorch | Schlussfolgerung | FP32 BFloat16 BFloat32 | COCO 2017 |
| Maske R-CNN | PyTorch | Ausbildung | FP32 BFloat16 BFloat32 | COCO 2017 |
| SSD-ResNet34 | PyTorch | Schlussfolgerung | FP32 Int8 BFloat16 BFloat32 | COCO 2017 |
| SSD-ResNet34 | PyTorch | Ausbildung | FP32 BFloat16 BFloat32 | COCO 2017 |
| Yolo V7 | PyTorch | Schlussfolgerung | Int8 FP32 FP16 BFloat16 BFloat32 | [COCO 2017](/models_v2/pytorch/yolov7/inference/cpu/README.md## Datensatz vorbereiten) |
| Modell | Rahmen | Modus | Modelldokumentation | Benchmark-/Testdatensatz |
|---|---|---|---|---|
| Breit und tief | TensorFlow | Schlussfolgerung | FP32 | Zensus-Einkommensdatensatz |
| DLRM | PyTorch | Schlussfolgerung | FP32 Int8 BFloat16 BFloat32 | Criteo Terabyte |
| DLRM | PyTorch | Ausbildung | FP32 BFloat16 BFloat32 | Criteo Terabyte |
| DLRM v2 | PyTorch | Schlussfolgerung | FP32 FP16 BFloat16 BFloat32 Int8 | Criteo 1 TB Click Logs-Datensatz |
| Modell | Rahmen | Modus | Modelldokumentation | Benchmark-/Testdatensatz |
|---|---|---|---|---|
| Stabile Verbreitung | TensorFlow | Schlussfolgerung | FP32 BFloat16 FP16 | COCO 2017-Validierungsdatensatz |
| Stabile Verbreitung | PyTorch | Schlussfolgerung | FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16 | COCO 2017-Validierungsdatensatz |
| Stabile Verbreitung | PyTorch | Ausbildung | FP32 BFloat16 FP16 BFloat32 | Katzenbilder |
| Latente Konsistenzmodelle (LCM) | PyTorch | Schlussfolgerung | FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16 | COCO 2017-Validierungsdatensatz |
| Modell | Rahmen | Modus | Modelldokumentation | Benchmark-/Testdatensatz |
|---|---|---|---|---|
| GraphSAGE | TensorFlow | Schlussfolgerung | FP32 BFloat16 FP16 Int8 BFloat32 | Protein-Protein-Interaktion |
*Bedeutet, dass das Modell zu den MLPerf-Modellen gehört und langfristig unterstützt wird.
| Modell | Rahmen | Modus | GPU-Typ | Modelldokumentation |
|---|---|---|---|---|
| ResNet 50v1.5 | TensorFlow | Schlussfolgerung | Flex-Serie | Float32 TF32 Float16 BFloat16 Int8 |
| ResNet 50 v1.5 | TensorFlow | Ausbildung | Max-Serie | BFloat16 FP32 |
| ResNet 50 v1.5 | PyTorch | Schlussfolgerung | Flex-Serie, Max-Serie, Arc-Serie | Int8 FP32 FP16 TF32 |
| ResNet 50 v1.5 | PyTorch | Ausbildung | Max-Serie, Arc-Serie | BFloat16 TF32 FP32 |
| DistilBERT | PyTorch | Schlussfolgerung | Flex-Serie, Max-Serie | FP32 FP16 BF16 TF32 |
| DLRM v1 | PyTorch | Schlussfolgerung | Flex-Serie | FP16 FP32 |
| SSD-MobileNet* | PyTorch | Schlussfolgerung | Arc-Serie | INT8 FP16 FP32 |
| EfficientNet | PyTorch | Schlussfolgerung | Flex-Serie | FP16 BF16 FP32 |
| EfficientNet | TensorFlow | Schlussfolgerung | Flex-Serie | FP16 |
| FBNet | PyTorch | Schlussfolgerung | Flex-Serie | FP16 BF16 FP32 |
| Breiter, tiefer, großer Datensatz | TensorFlow | Schlussfolgerung | Flex-Serie | FP16 |
| YOLO V5 | PyTorch | Schlussfolgerung | Flex-Serie | FP16 |
| BERT groß | PyTorch | Schlussfolgerung | Max-Serie, Arc-Serie | BFloat16 FP32 FP16 |
| BERT groß | PyTorch | Ausbildung | Max-Serie, Arc-Serie | BFloat16 FP32 TF32 |
| BERT groß | TensorFlow | Ausbildung | Max-Serie | BFloat16 TF32 FP32 |
| DLRM v2 | PyTorch | Schlussfolgerung | Max-Serie | FP32 BF16 |
| DLRM v2 | PyTorch | Ausbildung | Max-Serie | FP32 TF32 BF16 |
| 3D-Unet | PyTorch | Schlussfolgerung | Max-Serie | FP16 INT8 FP32 |
| 3D-Unet | TensorFlow | Ausbildung | Max-Serie | BFloat16 FP32 |
| Stabile Verbreitung | PyTorch | Schlussfolgerung | Flex-Serie, Max-Serie, Arc-Serie | FP16 FP32 |
| Stabile Verbreitung | TensorFlow | Schlussfolgerung | Flex-Serie | FP16 FP32 |
| Maske R-CNN | TensorFlow | Schlussfolgerung | Flex-Serie | FP32 Float16 |
| Maske R-CNN | TensorFlow | Ausbildung | Max-Serie | FP32 BFloat16 |
| Swin-Transformator | PyTorch | Schlussfolgerung | Flex-Serie | FP16 |
| FastPitch | PyTorch | Schlussfolgerung | Flex-Serie | FP16 |
| UNet++ | PyTorch | Schlussfolgerung | Flex-Serie | FP16 |
| RNN-T | PyTorch | Schlussfolgerung | Max-Serie | FP16 BF16 FP32 |
| RNN-T | PyTorch | Ausbildung | Max-Serie | FP32 BF16 TF32 |
| IFRNet | PyTorch | Schlussfolgerung | Flex-Serie | FP16 |
| WEIT VERBREITET | PyTorch | Schlussfolgerung | Flex-Serie | FP16 |
Wenn Sie ein neues Benchmarking-Skript hinzufügen möchten, verwenden Sie bitte diese Anleitung.
