このリポジトリには、インテル® Xeon® スケーラブル プロセッサーおよびインテル® データセンター GPU で実行するためにインテルによって最適化された多くの人気のあるオープンソース機械学習モデルの事前トレーニング済みモデル、サンプル スクリプト、ベスト プラクティス、およびステップバイステップのチュートリアルへのリンクが含まれています。 。
ワークロードを実行するためのコンテナーは、インテル® AI コンテナーで見つけることができます。
Jupyter Notebook のインテル® AI リファレンス モデルも、リストされているワークロードで利用できます
インテルは、上流プロジェクトに貢献することで、TensorFlow* や PyTorch* などの一般的な深層学習フレームワークを最適化します。追加の最適化は、Intel Extension for Pytorch* や Intel Extension for TensorFlow* などのプラグイン/拡張機能に組み込まれています。一般的なデータセットに対して実行される一般的なニューラル ネットワーク モデルは、これらの最適化を推進するターゲット ワークロードです。
インテル® AI リファレンス・モデル・リポジトリー (および関連コンテナー) の目的は、これらのターゲット・モデルとデータセットの各組み合わせの最もよく知られているパフォーマンスを実証する完全なソフトウェア環境を迅速に複製することです。最適に構成されたハードウェア環境で実行すると、これらのソフトウェア環境はインテル プラットフォームの AI 機能を発揮します。
免責事項: これらのスクリプトは、Intel プラットフォームのベンチマークを目的としたものではありません。特定のインテル プラットフォームのパフォーマンスやベンチマーク情報については、https://www.intel.ai/blog を参照してください。
インテルは、人権を尊重し、人権に対する悪影響を引き起こしたり、悪影響を及ぼしたりすることを回避することに取り組んでいます。インテルのグローバル人権原則を参照してください。インテルの製品およびソフトウェアは、人権に悪影響を与えたり、悪影響を与えたりしないアプリケーションでの使用のみを目的としています。
インテル® AI リファレンス モデルは、Apache ライセンス バージョン 2.0 に基づいてライセンスされています。
公開データセットがインテルによって参照されている場合、またはこのサイトのツールやコードを使用してアクセスされている場合、それらのデータセットはデータ ソースとして示されているサードパーティによって提供されます。インテルはデータまたはデータセットを作成せず、その正確性や品質を保証しません。公開データセットにアクセスすると、それらのデータセットに関連付けられた条件に同意し、その使用が該当するライセンスに準拠することに同意したことになります。
データセットディレクトリ内のインテル® AI リファレンスモデルで使用されるデータセットのリストを確認してください。
インテルは、公開データセットの正確性、適切性、または完全性を明示的に否認し、データ内の誤り、欠落、欠陥、またはデータへの依存に対して責任を負いません。インテルは、公開データセットの使用に関連するいかなる責任または損害についても責任を負いません。
以下の表のモデルのドキュメントには、各モデルを実行するための前提条件に関する情報が記載されています。モデル スクリプトは Linux 上で実行されます。特定のモデルは、Windows 上でベア メタルを使用して実行することもできます。 Windows でサポートされるモデルの詳細とリストについては、こちらのドキュメントを参照してください。
サファイア急流で実行するための手順が利用可能です。
インテル® データセンター GPU Flex および Max シリーズで最高のパフォーマンスを得るには、サポートされているワークロードのリストを確認してください。 PyTorch 用インテル(R) 拡張機能または TensorFlow 用インテル(R) 拡張機能を使用して推論とトレーニングを実行する手順を説明します。
モデル | フレームワーク | モード | モデルのドキュメント | ベンチマーク/テスト データセット |
---|---|---|---|---|
ResNet 50v1.5 サファイア急流 | TensorFlow | 推論 | Int8 FP32 BFloat16 BFloat32 | イメージネット 2012 |
ResNet 50v1.5 サファイア急流 | TensorFlow | トレーニング | FP32 BFloat16 BFloat32 | イメージネット 2012 |
レスネット50 | パイトーチ | 推論 | Int8 FP32 BFloat16 BFloat32 | 【イメージネット2012】 |
レスネット50 | パイトーチ | トレーニング | FP32 BFloat16 BFloat32 | 【イメージネット2012】 |
ビジョントランスフォーマー | パイトーチ | 推論 | FP32 BFloat16 BFloat32 FP16 INT8 | 【イメージネット2012】 |
モデル | フレームワーク | モード | モデルのドキュメント | ベンチマーク/テスト データセット |
---|---|---|---|---|
3D Uネット | TensorFlow | 推論 | FP32 BFloat16 Int8 | ブラッツ2018 |
モデル | フレームワーク | モード | モデルのドキュメント | ベンチマーク/テスト データセット |
---|---|---|---|---|
BERT ラージ サファイア急流 | テンソルフロー | 推論 | FP32 BFloat16 Int8 BFloat32 | 分隊 |
BERT ラージ サファイア急流 | テンソルフロー | トレーニング | FP32 BFloat16 BFloat32 | 分隊 |
BERT大(ハグフェイス) | TensorFlow | 推論 | FP32 FP16 BFloat16 BFloat32 | 分隊 |
バート大 | パイトーチ | 推論 | FP32 Int8 BFloat16 BFloat32 | BERT ラージ SQuaAD1.1 |
バート大 | パイトーチ | トレーニング | FP32 BFloat16 BFloat32 | 前処理されたテキスト データセット |
DitilBERT ベース | パイトーチ | 推論 | FP32 BF32 BF16Int8-FP32 Int8-BFloat16 BFloat32 | DistilBERT ベース SQuAD1.1 |
RNN-T | パイトーチ | 推論 | FP32 BFloat16 BFloat32 | RNN-T データセット |
RNN-T | パイトーチ | トレーニング | FP32 BFloat16 BFloat32 | RNN-T データセット |
GPTJ 6B | パイトーチ | 推論 | FP32 FP16 BFloat16 BF32 INT8 | |
GPTJ 6B MLPerf | パイトーチ | 推論 | INT4 | CNN-Daily Mail データセット |
ラマ2 7B | パイトーチ | 推論 | FP32 FP16 BFloat16 BF32 INT8 | |
ラマ2 7B | パイトーチ | トレーニング | FP32 FP16 BFloat16 BF32 | |
ラマ2 13B | パイトーチ | 推論 | FP32 FP16 BFloat16 BF32 INT8 | |
チャットGLMv3 6B | パイトーチ | 推論 | FP32 FP16 BFloat16 BF32 INT8 |
モデル | フレームワーク | モード | モデルのドキュメント | ベンチマーク/テスト データセット |
---|---|---|---|---|
バート | TensorFlow | 推論 | FP32 | MRPC |
モデル | フレームワーク | モード | モデルのドキュメント | ベンチマーク/テスト データセット |
---|---|---|---|---|
マスク R-CNN | パイトーチ | 推論 | FP32 BFloat16 BFloat32 | ココ2017 |
マスク R-CNN | パイトーチ | トレーニング | FP32 BFloat16 BFloat32 | ココ2017 |
SSD-ResNet34 | パイトーチ | 推論 | FP32 Int8 BFloat16 BFloat32 | ココ2017 |
SSD-ResNet34 | パイトーチ | トレーニング | FP32 BFloat16 BFloat32 | ココ2017 |
ヨロ V7 | パイトーチ | 推論 | Int8 FP32 FP16 BFloat16 BFloat32 | [COCO 2017](/models_v2/pytorch/yolov7/inference/cpu/README.md## データセットの準備) |
モデル | フレームワーク | モード | モデルのドキュメント | ベンチマーク/テスト データセット |
---|---|---|---|---|
ワイド&ディープ | TensorFlow | 推論 | FP32 | 国勢調査収入データセット |
DLRM | パイトーチ | 推論 | FP32 Int8 BFloat16 BFloat32 | Criteoテラバイト |
DLRM | パイトーチ | トレーニング | FP32 BFloat16 BFloat32 | Criteoテラバイト |
DLRM v2 | パイトーチ | 推論 | FP32 FP16 BFloat16 BFloat32 Int8 | Criteo 1TB クリック ログ データセット |
モデル | フレームワーク | モード | モデルのドキュメント | ベンチマーク/テスト データセット |
---|---|---|---|---|
安定した拡散 | TensorFlow | 推論 | FP32 BFloat16 FP16 | COCO 2017 検証データセット |
安定した拡散 | パイトーチ | 推論 | FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16 | COCO 2017 検証データセット |
安定した拡散 | パイトーチ | トレーニング | FP32 BFloat16 FP16 BFloat32 | 猫の画像 |
潜在整合性モデル(LCM) | パイトーチ | 推論 | FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16 | COCO 2017 検証データセット |
モデル | フレームワーク | モード | モデルのドキュメント | ベンチマーク/テスト データセット |
---|---|---|---|---|
グラフSAGE | TensorFlow | 推論 | FP32 BFloat16 FP16 Int8 BFloat32 | タンパク質 タンパク質相互作用 |
*このモデルは MLPerf モデルに属し、長期的にサポートされることを意味します。
モデル | フレームワーク | モード | GPUの種類 | モデルのドキュメント |
---|---|---|---|---|
レスネット 50v1.5 | TensorFlow | 推論 | フレックスシリーズ | Float32 TF32 Float16 BFloat16 Int8 |
レスネット 50 v1.5 | TensorFlow | トレーニング | マックスシリーズ | BFloat16 FP32 |
レスネット 50 v1.5 | パイトーチ | 推論 | フレックスシリーズ、マックスシリーズ、アークシリーズ | Int8 FP32 FP16 TF32 |
レスネット 50 v1.5 | パイトーチ | トレーニング | マックスシリーズ、アークシリーズ | BFloat16 TF32 FP32 |
蒸留BERT | パイトーチ | 推論 | フレックスシリーズ、マックスシリーズ | FP32 FP16 BF16 TF32 |
DLRM v1 | パイトーチ | 推論 | フレックスシリーズ | FP16 FP32 |
SSD-モバイルネット* | パイトーチ | 推論 | アークシリーズ | INT8 FP16 FP32 |
EfficientNet | パイトーチ | 推論 | フレックスシリーズ | FP16 BF16 FP32 |
EfficientNet | TensorFlow | 推論 | フレックスシリーズ | FP16 |
FBネット | パイトーチ | 推論 | フレックスシリーズ | FP16 BF16 FP32 |
ワイドディープ大規模データセット | TensorFlow | 推論 | フレックスシリーズ | FP16 |
ヨロV5 | パイトーチ | 推論 | フレックスシリーズ | FP16 |
バート大 | パイトーチ | 推論 | マックスシリーズ、アークシリーズ | BFloat16 FP32 FP16 |
バート大 | パイトーチ | トレーニング | マックスシリーズ、アークシリーズ | BFloat16 FP32 TF32 |
バート大 | TensorFlow | トレーニング | マックスシリーズ | BFloat16 TF32 FP32 |
DLRM v2 | パイトーチ | 推論 | マックスシリーズ | FP32 BF16 |
DLRM v2 | パイトーチ | トレーニング | マックスシリーズ | FP32 TF32 BF16 |
3D-Unet | パイトーチ | 推論 | マックスシリーズ | FP16 INT8 FP32 |
3D-Uネット | TensorFlow | トレーニング | マックスシリーズ | BFloat16 FP32 |
安定した拡散 | パイトーチ | 推論 | フレックスシリーズ、マックスシリーズ、アークシリーズ | FP16 FP32 |
安定した拡散 | TensorFlow | 推論 | フレックスシリーズ | FP16 FP32 |
マスク R-CNN | TensorFlow | 推論 | フレックスシリーズ | FP32 フロート 16 |
マスク R-CNN | TensorFlow | トレーニング | マックスシリーズ | FP32 BFloat16 |
スイングトランス | パイトーチ | 推論 | フレックスシリーズ | FP16 |
ファストピッチ | パイトーチ | 推論 | フレックスシリーズ | FP16 |
UNet++ | パイトーチ | 推論 | フレックスシリーズ | FP16 |
RNN-T | パイトーチ | 推論 | マックスシリーズ | FP16 BF16 FP32 |
RNN-T | パイトーチ | トレーニング | マックスシリーズ | FP32 BF16 TF32 |
IFRNet | パイトーチ | 推論 | フレックスシリーズ | FP16 |
ライフ | パイトーチ | 推論 | フレックスシリーズ | FP16 |
新しいベンチマーク スクリプトを追加する場合は、このガイドを使用してください。