ai reference models

英特尔® AI 参考模型

此存储库包含预训练模型、示例脚本、最佳实践和分步教程的链接，这些模型均经过英特尔优化，可在英特尔® 至强® 可扩展处理器和英特尔® 数据中心 GPU 上运行。

用于运行工作负载的容器可以在英特尔® AI 容器中找到。

Jupyter 笔记本中的英特尔® AI 参考模型也可用于列出的工作负载

英特尔® AI 参考模型的目的

英特尔通过为上游项目做出贡献来优化 TensorFlow* 和 PyTorch* 等流行的深度学习框架。其他优化内置于插件/扩展中，例如适用于 Pytorch* 的英特尔扩展和适用于 TensorFlow* 的英特尔扩展。针对常见数据集运行的流行神经网络模型是驱动这些优化的目标工作负载。

英特尔® AI 参考模型存储库（及相关容器）的目的是快速复制完整的软件环境，展示每个目标模型/数据集组合的最著名性能。当在优化配置的硬件环境中执行时，这些软件环境展示了英特尔平台的人工智能功能。

免责声明：这些脚本不适用于对英特尔平台进行基准测试。有关特定英特尔平台的任何性能和/或基准测试信息，请访问 https://www.intel.ai/blog。

英特尔致力于尊重人权并避免对人权造成或促成不利影响。请参阅英特尔的全球人权原则。英特尔的产品和软件仅用于不会对人权造成或促成不利影响的应用。

执照

英特尔® AI 参考模型根据 Apache 许可证版本 2.0 获得许可。

数据集

如果英特尔引用或使用本网站上的工具或代码访问任何公共数据集，则这些数据集由指定为数据源的第三方提供。英特尔不创建这些数据或数据集，也不保证其准确性或质量。通过访问公共数据集，您同意与这些数据集相关的条款，并且您的使用符合适用的许可。

请检查数据集目录中英特尔® AI 参考模型中使用的数据集列表。

英特尔明确否认任何公共数据集的准确性、充分性或完整性，并且对数据中的任何错误、遗漏或缺陷或对数据的任何依赖不承担任何责任。英特尔对与您使用公共数据集相关的任何责任或损害不承担任何责任。

使用案例

下表中的模型文档包含有关运行每个模型的先决条件的信息。模型脚本在 Linux 上运行。某些型号还可以在 Windows 上使用裸机运行。有关 Windows 支持的详细信息和型号列表，请参阅此处的文档。

可在 Sapphire Rapids 上运行的说明。

为了在英特尔® 数据中心 GPU Flex 和 Max 系列上获得最佳性能，请查看支持的工作负载列表。它提供了使用适用于 PyTorch 的英特尔(R) 扩展或适用于 TensorFlow 的英特尔(R) 扩展运行推理和训练的说明。

图像识别

模型	框架	模式	模型文档	基准/测试数据集
ResNet 50v1.5 蓝宝石急流	TensorFlow	推理	Int8 FP32 BFloat16 BFloat32	图像网 2012
ResNet 50v1.5 蓝宝石急流	TensorFlow	训练	FP32 BFloat16 BFloat32	图像网 2012
残差网络 50	火炬	推理	Int8 FP32 BFloat16 BFloat32	[图像网 2012]
残差网络 50	火炬	训练	FP32 BFloat16 BFloat32	[图像网 2012]
视觉变压器	火炬	推理	FP32 BFloat16 BFloat32 FP16 INT8	[图像网 2012]

图像分割

模型	框架	模式	模型文档	基准/测试数据集
3D U 网	TensorFlow	推理	FP32 BFloat16 Int8	2018 年小子们

语言建模

模型	框架	模式	模型文档	基准/测试数据集
BERT 大型蓝宝石急流	张量流	推理	FP32 BFloat16 Int8 BFloat32	队
BERT 大型蓝宝石急流	张量流	训练	FP32 BFloat16 BFloat32	队
BERT 大号（抱脸）	TensorFlow	推理	FP32 FP16 BFloat16 BFloat32	队
BERT 大号	火炬	推理	FP32 Int8 BFloat16 BFloat32	BERT 大 SQuAD1.1
BERT 大号	火炬	训练	FP32 BFloat16 BFloat32	预处理的文本数据集
DistilBERT 基础	火炬	推理	FP32 BF32 BF16Int8-FP32 Int8-BFloat16 BFloat32	DistilBERT 基础 SQuAD1.1
RNN-T	火炬	推理	FP32 BFloat16 BFloat32	RNN-T 数据集
RNN-T	火炬	训练	FP32 BFloat16 BFloat32	RNN-T 数据集
GPTJ 6B	火炬	推理	FP32 FP16 BFloat16 BF32 INT8
GPTJ 6B MLPerf	火炬	推理	INT4	CNN-每日邮报数据集
美洲驼2 7B	火炬	推理	FP32 FP16 BFloat16 BF32 INT8
美洲驼2 7B	火炬	训练	FP32 FP16 BFloat16 BF32
美洲驼2 13B	火炬	推理	FP32 FP16 BFloat16 BF32 INT8
聊天GLMv3 6B	火炬	推理	FP32 FP16 BFloat16 BF32 INT8

语言翻译

模型	框架	模式	模型文档	基准/测试数据集
伯特	TensorFlow	推理	FP32	物料循环过程控制

物体检测

模型	框架	模式	模型文档	基准/测试数据集
Mask R-CNN	火炬	推理	FP32 BFloat16 BFloat32	可可2017
Mask R-CNN	火炬	训练	FP32 BFloat16 BFloat32	可可2017
SSD-ResNet34	火炬	推理	FP32 Int8 BFloat16 BFloat32	可可2017
SSD-ResNet34	火炬	训练	FP32 BFloat16 BFloat32	可可2017
优洛V7	火炬	推理	Int8 FP32 FP16 BFloat16 BFloat32	[COCO 2017](/models_v2/pytorch/yolov7/inference/cpu/README.md## 准备数据集)

推荐

模型	框架	模式	模型文档	基准/测试数据集
宽而深	TensorFlow	推理	FP32	人口普查收入数据集
DLRM	火炬	推理	FP32 Int8 BFloat16 BFloat32	Criteo 太字节
DLRM	火炬	训练	FP32 BFloat16 BFloat32	Criteo 太字节
DLRM v2	火炬	推理	FP32 FP16 BFloat16 BFloat32 Int8	Criteo 1TB 点击日志数据集

扩散

模型	框架	模式	模型文档	基准/测试数据集
稳定扩散	TensorFlow	推理	FP32 BFloat16 FP16	COCO 2017 验证数据集
稳定扩散	火炬	推理	FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16	COCO 2017 验证数据集
稳定扩散	火炬	训练	FP32 BFloat16 FP16 BFloat32	猫 图片
潜在一致性模型（LCM）	火炬	推理	FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16	COCO 2017 验证数据集

图网络

模型	框架	模式	模型文档	基准/测试数据集
图圣人	TensorFlow	推理	FP32 BFloat16 FP16 Int8 BFloat32	蛋白质 蛋白质相互作用

*表示该模型属于MLPerf模型，将得到长期支持。

英特尔® 数据中心 GPU 工作负载

模型	框架	模式	图形处理器类型	模型文档
残差网络 50v1.5	TensorFlow	推理	弹性系列	Float32 TF32 Float16 BFloat16 Int8
ResNet 50 v1.5	TensorFlow	训练	最大系列	BFloat16 FP32
ResNet 50 v1.5	火炬	推理	Flex系列、Max系列、Arc系列	Int8 FP32 FP16 TF32
ResNet 50 v1.5	火炬	训练	Max系列、Arc系列	BFloat16 TF32 FP32
蒸馏伯特	火炬	推理	Flex系列、Max系列	FP32 FP16 BF16 TF32
DLRM v1	火炬	推理	弹性系列	FP16 FP32
SSD-MobileNet*	火炬	推理	圆弧系列	INT8 FP16 FP32
高效网络	火炬	推理	弹性系列	FP16 BF16 FP32
高效网络	TensorFlow	推理	弹性系列	FP16
FB网络	火炬	推理	弹性系列	FP16 BF16 FP32
宽深大数据集	TensorFlow	推理	弹性系列	FP16
优洛V5	火炬	推理	弹性系列	FP16
BERT 大号	火炬	推理	Max系列、Arc系列	BFloat16 FP32 FP16
BERT 大号	火炬	训练	Max系列、Arc系列	BFloat16 FP32 TF32
BERT 大号	TensorFlow	训练	最大系列	BFloat16 TF32 FP32
DLRM v2	火炬	推理	最大系列	FP32 BF16
DLRM v2	火炬	训练	最大系列	FP32 TF32 BF16
3D-Unet	火炬	推理	最大系列	FP16 INT8 FP32
3D-Unet	TensorFlow	训练	最大系列	BFloat16 FP32
稳定扩散	火炬	推理	Flex系列、Max系列、Arc系列	FP16 FP32
稳定扩散	TensorFlow	推理	弹性系列	FP16 FP32
Mask R-CNN	TensorFlow	推理	弹性系列	FP32 浮点16
Mask R-CNN	TensorFlow	训练	最大系列	FP32 BFloat16
斯温变压器	火炬	推理	弹性系列	FP16
快投	火炬	推理	弹性系列	FP16
大学网++	火炬	推理	弹性系列	FP16
RNN-T	火炬	推理	最大系列	FP16 BF16 FP32
RNN-T	火炬	训练	最大系列	FP32 BF16 TF32
IFR网	火炬	推理	弹性系列	FP16
RIFE	火炬	推理	弹性系列	FP16

如何贡献

如果您想添加新的基准测试脚本，请使用本指南。