ai reference models

Modelos de referencia de IA Intel®

Este repositorio contiene enlaces a modelos previamente entrenados, scripts de muestra, mejores prácticas y tutoriales paso a paso para muchos modelos populares de aprendizaje automático de código abierto optimizados por Intel para ejecutarse en procesadores escalables Intel® Xeon® y GPU Intel® para centros de datos. .

Los contenedores para ejecutar las cargas de trabajo se pueden encontrar en Intel® AI Containers.

Los modelos de referencia de IA Intel® en una computadora portátil Jupyter también están disponibles para las cargas de trabajo enumeradas

Propósito de los modelos de referencia de IA Intel®

Intel optimiza marcos de aprendizaje profundo populares como TensorFlow* y PyTorch* contribuyendo a los proyectos upstream. Se incluyen optimizaciones adicionales en complementos/extensiones como Intel Extension para Pytorch* y Intel Extension para TensorFlow*. Los modelos de redes neuronales populares que se ejecutan en conjuntos de datos comunes son las cargas de trabajo de destino que impulsan estas optimizaciones.

El propósito del repositorio de modelos de referencia de IA Intel® (y los contenedores asociados) es replicar rápidamente el entorno de software completo que demuestra el rendimiento más conocido de cada una de estas combinaciones de modelo de destino y conjunto de datos. Cuando se ejecutan en entornos de hardware óptimamente configurados, estos entornos de software muestran las capacidades de IA de las plataformas Intel.

DESCARGO DE RESPONSABILIDAD: Estos scripts no están destinados a realizar evaluaciones comparativas de plataformas Intel. Para obtener información sobre rendimiento y/o evaluación comparativa en plataformas Intel específicas, visite https://www.intel.ai/blog.

Intel se compromete a respetar los derechos humanos y a evitar causar o contribuir a impactos adversos sobre los derechos humanos. Consulte los Principios globales de derechos humanos de Intel. Los productos y el software de Intel están destinados únicamente a ser utilizados en aplicaciones que no causen ni contribuyan a impactos adversos sobre los derechos humanos.

Licencia

Los modelos de referencia Intel® AI tienen la licencia Apache versión 2.0.

Conjuntos de datos

En la medida en que Intel haga referencia a conjuntos de datos públicos o acceda a ellos mediante herramientas o códigos en este sitio, esos conjuntos de datos son proporcionados por el tercero indicado como fuente de datos. Intel no crea los datos ni los conjuntos de datos y no garantiza su precisión o calidad. Al acceder a los conjuntos de datos públicos, usted acepta los términos asociados con esos conjuntos de datos y que su uso cumple con la licencia aplicable.

Consulte la lista de conjuntos de datos utilizados en los modelos de referencia de IA Intel® en el directorio de conjuntos de datos.

Intel niega expresamente la exactitud, idoneidad o integridad de cualquier conjunto de datos públicos y no es responsable de ningún error, omisión o defecto en los datos, ni de la confianza en los datos. Intel no es responsable de ninguna responsabilidad o daño relacionado con su uso de conjuntos de datos públicos.

Casos de uso

La documentación del modelo en las tablas siguientes tiene información sobre los requisitos previos para ejecutar cada modelo. Los scripts del modelo se ejecutan en Linux. Ciertos modelos también pueden ejecutarse sin sistema operativo en Windows. Para obtener más información y una lista de modelos compatibles con Windows, consulte la documentación aquí.

Instrucciones disponibles para ejecutar en Sapphire Rapids.

Para obtener el mejor rendimiento en Intel® Data Center GPU Flex y Max Series, consulte la lista de cargas de trabajo compatibles. Proporciona instrucciones para ejecutar inferencia y entrenamiento utilizando Intel(R) Extension para PyTorch o Intel(R) Extension para TensorFlow.

Reconocimiento de imágenes

Modelo	Estructura	Modo	Documentación del modelo	Conjunto de datos de prueba/comparación
Rápidos de zafiro ResNet 50v1.5	TensorFlow	Inferencia	Int8 FP32 BFloat16 BFloat32	ImagenNet 2012
Rápidos de zafiro ResNet 50v1.5	TensorFlow	Capacitación	FP32 BFloat16 BFloat32	ImagenNet 2012
Red 50	PyTorch	Inferencia	Int8 FP32 BFloat16 BFloat32	[ImageNet 2012]
Red 50	PyTorch	Capacitación	FP32 BFloat16 BFloat32	[ImageNet 2012]
Transformador de visión	PyTorch	Inferencia	FP32 BFloat16 BFloat32 FP16 INT8	[ImageNet 2012]

Segmentación de imágenes

Modelo	Estructura	Modo	Documentación del modelo	Conjunto de datos de prueba/comparación
U-Net modelo 3d	TensorFlow	Inferencia	FP32 BFloat16 Int8	MOCOSOS 2018

Modelado de lenguaje

Modelo	Estructura	Modo	Documentación del modelo	Conjunto de datos de prueba/comparación
BERT grandes rápidos de zafiro	flujo tensor	Inferencia	FP32 BFloat16 Int8 BFloat32	Equipo
BERT grandes rápidos de zafiro	flujo tensor	Capacitación	FP32 BFloat16 BFloat32	Equipo
BERT grande (Cara abrazada)	TensorFlow	Inferencia	FP32 FP16 BFloat16 BFloat32	Equipo
BERT grande	PyTorch	Inferencia	FP32 Int8 BFloat16 BFloat32	BERT Gran escuadrón 1.1
BERT grande	PyTorch	Capacitación	FP32 BFloat16 BFloat32	conjunto de datos de texto preprocesado
base destilbert	PyTorch	Inferencia	FP32 BF32 BF16Int8-FP32 Int8-BFloat16 BFloat32	DistilBERT Base SQuaAD1.1
RNN-T	PyTorch	Inferencia	FP32 BFloat16 BFloat32	Conjunto de datos RNN-T
RNN-T	PyTorch	Capacitación	FP32 BFloat16 BFloat32	Conjunto de datos RNN-T
GPTJ 6B	PyTorch	Inferencia	FP32 FP16 BFloat16 BF32 INT8
GPTJ 6B MLPerf	PyTorch	Inferencia	INT4	Conjunto de datos de CNN-Daily Mail
LLAMA2 7B	PyTorch	Inferencia	FP32 FP16 BFloat16 BF32 INT8
LLAMA2 7B	PyTorch	Capacitación	FP32 FP16 BFloat16 BF32
LLAMA2 13B	PyTorch	Inferencia	FP32 FP16 BFloat16 BF32 INT8
ChatGLMv3 6B	PyTorch	Inferencia	FP32 FP16 BFloat16 BF32 INT8

Traducción de idiomas

Modelo	Estructura	Modo	Documentación del modelo	Conjunto de datos de prueba/comparación
BERT	TensorFlow	Inferencia	FP32	MRPC

Detección de objetos

Modelo	Estructura	Modo	Documentación del modelo	Conjunto de datos de prueba/comparación
Máscara R-CNN	PyTorch	Inferencia	FP32 BFloat16 BFloat32	COCO 2017
Máscara R-CNN	PyTorch	Capacitación	FP32 BFloat16 BFloat32	COCO 2017
SSD-ResNet34	PyTorch	Inferencia	FP32 Int8 BFloat16 BFloat32	COCO 2017
SSD-ResNet34	PyTorch	Capacitación	FP32 BFloat16 BFloat32	COCO 2017
Yolo V7	PyTorch	Inferencia	Int8 FP32 FP16 BFloat16 BFloat32	[COCO 2017](/models_v2/pytorch/yolov7/inference/cpu/README.md## Preparar conjunto de datos)

Recomendación

Modelo	Estructura	Modo	Documentación del modelo	Conjunto de datos de prueba/comparación
Amplio y profundo	TensorFlow	Inferencia	FP32	Conjunto de datos de ingresos del censo
DLRM	PyTorch	Inferencia	FP32 Int8 BFloat16 BFloat32	Criteo Terabyte
DLRM	PyTorch	Capacitación	FP32 BFloat16 BFloat32	Criteo Terabyte
DLRM v2	PyTorch	Inferencia	FP32 FP16 BFloat16 BFloat32 Int8	Conjunto de datos de registros de clics de Criteo de 1 TB

Difusión

Modelo	Estructura	Modo	Documentación del modelo	Conjunto de datos de prueba/comparación
Difusión estable	TensorFlow	Inferencia	FP32 BFloat16 FP16	Conjunto de datos de validación de COCO 2017
Difusión estable	PyTorch	Inferencia	FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16	Conjunto de datos de validación de COCO 2017
Difusión estable	PyTorch	Capacitación	FP32 BFloat16 FP16 BFloat32	Imágenes de gato
Modelos de consistencia latente (LCM)	PyTorch	Inferencia	FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16	Conjunto de datos de validación de COCO 2017

Redes de gráficos

Modelo	Estructura	Modo	Documentación del modelo	Conjunto de datos de prueba/comparación
GráficoSAGE	TensorFlow	Inferencia	FP32 BFloat16 FP16 Int8 BFloat32	Interacción proteína proteína

*Significa que el modelo pertenece a los modelos MLPerf y será compatible a largo plazo.

Cargas de trabajo de GPU del centro de datos Intel®

Modelo	Estructura	Modo	Tipo de GPU	Documentación del modelo
ResNet 50v1.5	TensorFlow	Inferencia	Serie flexible	Flotador32 TF32 Flotador16 BFloat16 Int8
ResNet 50 v1.5	TensorFlow	Capacitación	Serie máxima	BFloat16 FP32
ResNet 50 v1.5	PyTorch	Inferencia	Serie Flex, Serie Max, Serie Arc	Int8 FP32 FP16 TF32
ResNet 50 v1.5	PyTorch	Capacitación	Serie Max, Serie Arco	BFloat16 TF32 FP32
destilbert	PyTorch	Inferencia	Serie Flex, Serie Max	FP32 FP16 BF16 TF32
DLRMv1	PyTorch	Inferencia	Serie flexible	FP16 FP32
SSD-MobileNet*	PyTorch	Inferencia	Serie de arco	INT8 FP16 FP32
Red eficiente	PyTorch	Inferencia	Serie flexible	FP16 BF16 FP32
Red eficiente	TensorFlow	Inferencia	Serie flexible	FP16
FBNet	PyTorch	Inferencia	Serie flexible	FP16 BF16 FP32
Amplio y profundo conjunto de datos de gran tamaño	TensorFlow	Inferencia	Serie flexible	FP16
Yolo V5	PyTorch	Inferencia	Serie flexible	FP16
BERT grande	PyTorch	Inferencia	Serie Max, Serie Arco	BFloat16 FP32 FP16
BERT grande	PyTorch	Capacitación	Serie Max, Serie Arco	BFloat16 FP32 TF32
BERT grande	TensorFlow	Capacitación	Serie máxima	BFloat16 TF32 FP32
DLRM v2	PyTorch	Inferencia	Serie máxima	FP32 BF16
DLRM v2	PyTorch	Capacitación	Serie máxima	FP32 TF32 BF16
3D-Unet	PyTorch	Inferencia	Serie máxima	FP16 INT8 FP32
3D-Unet	TensorFlow	Capacitación	Serie máxima	BFloat16 FP32
Difusión estable	PyTorch	Inferencia	Serie Flex, Serie Max, Serie Arc	FP16 FP32
Difusión estable	TensorFlow	Inferencia	Serie flexible	FP16 FP32
Máscara R-CNN	TensorFlow	Inferencia	Serie flexible	FP32 Flotador16
Máscara R-CNN	TensorFlow	Capacitación	Serie máxima	FP32 BFloat16
Transformador giratorio	PyTorch	Inferencia	Serie flexible	FP16
Lanzamiento rápido	PyTorch	Inferencia	Serie flexible	FP16
UNet++	PyTorch	Inferencia	Serie flexible	FP16
RNN-T	PyTorch	Inferencia	Serie máxima	FP16 BF16 FP32
RNN-T	PyTorch	Capacitación	Serie máxima	FP32 BF16 TF32
IFRNet	PyTorch	Inferencia	Serie flexible	FP16
ABUNDANTE	PyTorch	Inferencia	Serie flexible	FP16

Cómo contribuir

Si desea agregar un nuevo script de evaluación comparativa, utilice esta guía.