ai reference models

Эталонные модели Intel® AI

Этот репозиторий содержит ссылки на предварительно обученные модели, примеры сценариев, передовые практики и пошаговые руководства для многих популярных моделей машинного обучения с открытым исходным кодом, оптимизированных Intel для работы на масштабируемых процессорах Intel® Xeon® и графических процессорах Intel® Data Center. .

Контейнеры для выполнения рабочих нагрузок можно найти на сайте Intel® AI Containers.

Эталонные модели Intel® AI в ноутбуке Jupyter также доступны для перечисленных рабочих нагрузок.

Назначение эталонных моделей Intel® AI

Intel оптимизирует популярные платформы глубокого обучения, такие как TensorFlow* и PyTorch*, внося свой вклад в основные проекты. Дополнительные оптимизации встроены в плагины/расширения, такие как расширение Intel для Pytorch* и расширение Intel для TensorFlow*. Популярные модели нейронных сетей, работающие с общими наборами данных, являются целевыми рабочими нагрузками, которые стимулируют эту оптимизацию.

Целью репозитория эталонных моделей искусственного интеллекта Intel® (и связанных с ним контейнеров) является быстрая репликация всей программной среды, которая демонстрирует наиболее известную производительность каждой из этих комбинаций целевой модели и набора данных. При выполнении в оптимально настроенных аппаратных средах эти программные среды демонстрируют возможности искусственного интеллекта платформ Intel.

ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Эти сценарии не предназначены для тестирования платформ Intel. Для получения любой информации о производительности и/или сравнительном тестировании на конкретных платформах Intel посетите https://www.intel.ai/blog.

Intel стремится уважать права человека и избегать причинения или содействия неблагоприятному воздействию на права человека. См. Глобальные принципы Intel в области прав человека. Продукты и программное обеспечение Intel предназначены для использования только в приложениях, которые не оказывают и не способствуют неблагоприятному воздействию на права человека.

Лицензия

Эталонные модели Intel® AI лицензируются по лицензии Apache версии 2.0.

Наборы данных

В той степени, в которой Intel ссылается на какие-либо общедоступные наборы данных или доступ к ним осуществляется с помощью инструментов или кода на этом сайте, эти наборы данных предоставляются третьей стороной, указанной в качестве источника данных. Корпорация Intel не создает данные или наборы данных и не гарантирует их точность и качество. Получая доступ к общедоступным наборам данных, вы соглашаетесь с условиями, связанными с этими наборами данных, и что ваше использование соответствует применимой лицензии.

Пожалуйста, проверьте список наборов данных, используемых в эталонных моделях Intel® AI, в каталоге наборов данных.

Intel прямо отказывается от точности, адекватности или полноты любых общедоступных наборов данных и не несет ответственности за любые ошибки, упущения или дефекты в данных, а также за любое доверие к данным. Intel не несет ответственности за какую-либо ответственность или ущерб, связанный с использованием вами общедоступных наборов данных.

Варианты использования

В документации модели в таблицах ниже содержится информация о предварительных требованиях для запуска каждой модели. Сценарии модели работают в Linux. Некоторые модели также могут работать на «голом железе» в Windows. Дополнительную информацию и список моделей, которые поддерживаются в Windows, см. в документации здесь.

Доступны инструкции для запуска на Sapphire Rapids.

Для достижения максимальной производительности на процессорах Intel® Data Center GPU серий Flex и Max ознакомьтесь со списком поддерживаемых рабочих нагрузок. Он предоставляет инструкции по выполнению выводов и обучению с использованием расширения Intel(R) для PyTorch или расширения Intel(R) для TensorFlow.

Распознавание изображений

Модель	Рамки	Режим	Документация модели	Набор контрольных/тестовых данных
ResNet 50v1.5 Сапфир Рапидс	Тензорфлоу	Вывод	Int8 FP32 BFloat16 BFloat32	Имиджнет 2012
ResNet 50v1.5 Сапфир Рапидс	Тензорфлоу	Обучение	FP32 BFloat16 BFloat32	Имиджнет 2012
Реснет 50	PyTorch	Вывод	Int8 FP32 BFloat16 BFloat32	[ImageNet 2012]
Реснет 50	PyTorch	Обучение	FP32 BFloat16 BFloat32	[ImageNet 2012]
Видение Трансформатор	PyTorch	Вывод	FP32 BFloat16 BFloat32 FP16 INT8	[ImageNet 2012]

Сегментация изображений

Модель	Рамки	Режим	Документация модели	Набор контрольных/тестовых данных
3D U-Net	Тензорфлоу	Вывод	FP32 BFloat16 Int8	БРАТС 2018

Языковое моделирование

Модель	Рамки	Режим	Документация модели	Набор контрольных/тестовых данных
BERT большие сапфировые пороги	Тензорный поток	Вывод	FP32 BFloat16 Int8 BFloat32	Отряд
BERT большие сапфировые пороги	Тензорный поток	Обучение	FP32 BFloat16 BFloat32	Отряд
БЕРТ большой (обнимая лицо)	Тензорфлоу	Вывод	FP32 FP16 BFloat16 BFloat32	Отряд
БЕРТ большой	PyTorch	Вывод	FP32 Int8 BFloat16 BFloat32	БЕРТ Большой SQuAD1.1
БЕРТ большой	PyTorch	Обучение	FP32 BFloat16 BFloat32	предварительно обработанный набор текстовых данных
База ДистилБЕРТ	PyTorch	Вывод	FP32 BF32 BF16Int8-FP32 Int8-BFloat16 BFloat32	База DistilBERT SQuAD1.1
РНН-Т	PyTorch	Вывод	FP32 BFloat16 BFloat32	Набор данных РНН-Т
РНН-Т	PyTorch	Обучение	FP32 BFloat16 BFloat32	Набор данных РНН-Т
ГПТЖ 6Б	PyTorch	Вывод	FP32 FP16 BFloat16 BF32 INT8
GPTJ 6B MLPerf	PyTorch	Вывод	ИНТ4	Набор данных CNN-Daily Mail
ЛЛАМА2 7Б	PyTorch	Вывод	FP32 FP16 BFloat16 BF32 INT8
ЛЛАМА2 7Б	PyTorch	Обучение	FP32 FP16 BFloat16 BF32
ЛЛАМА2 13Б	PyTorch	Вывод	FP32 FP16 BFloat16 BF32 INT8
ЧатGLMv3 6B	PyTorch	Вывод	FP32 FP16 BFloat16 BF32 INT8

Языковой перевод

Модель	Рамки	Режим	Документация модели	Набор контрольных/тестовых данных
БЕРТ	Тензорфлоу	Вывод	ФП32	МРПК

Обнаружение объектов

Модель	Рамки	Режим	Документация модели	Набор контрольных/тестовых данных
Маска R-CNN	PyTorch	Вывод	FP32 BFloat16 BFloat32	КОКО 2017
Маска R-CNN	PyTorch	Обучение	FP32 BFloat16 BFloat32	КОКО 2017
SSD-ResNet34	PyTorch	Вывод	FP32 Int8 BFloat16 BFloat32	КОКО 2017
SSD-ResNet34	PyTorch	Обучение	FP32 BFloat16 BFloat32	КОКО 2017
Йоло V7	PyTorch	Вывод	Int8 FP32 FP16 BFloat16 BFloat32	[COCO 2017](/models_v2/pytorch/yolov7/inference/cpu/README.md## Подготовьте набор данных)

Рекомендация

Модель	Рамки	Режим	Документация модели	Набор контрольных/тестовых данных
Широкий и глубокий	Тензорфлоу	Вывод	ФП32	Набор данных о доходах переписи населения
ДЛРМ	PyTorch	Вывод	FP32 Int8 BFloat16 BFloat32	Критео Терабайт
ДЛРМ	PyTorch	Обучение	FP32 BFloat16 BFloat32	Критео Терабайт
ДЛРМ v2	PyTorch	Вывод	FP32 FP16 BFloat16 BFloat32 Int8	Набор данных Criteo Click Logs объемом 1 ТБ

Диффузия

Модель	Рамки	Режим	Документация модели	Набор контрольных/тестовых данных
Стабильная диффузия	Тензорфлоу	Вывод	FP32 BFloat16 FP16	Набор проверочных данных COCO 2017
Стабильная диффузия	PyTorch	Вывод	FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16	Набор проверочных данных COCO 2017
Стабильная диффузия	PyTorch	Обучение	FP32 BFloat16 FP16 BFloat32	изображения кошек
Модели скрытой согласованности (LCM)	PyTorch	Вывод	FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16	Набор проверочных данных COCO 2017

Графовые сети

Модель	Рамки	Режим	Документация модели	Набор контрольных/тестовых данных
ГрафSAGE	Тензорфлоу	Вывод	FP32 BFloat16 FP16 Int8 BFloat32	Белок-белок Взаимодействие

*Означает, что модель относится к моделям MLPerf и будет поддерживаться в течение длительного времени.

Рабочие нагрузки графических процессоров Intel® для центров обработки данных

Модель	Рамки	Режим	Тип графического процессора	Документация модели
Реснет 50v1.5	Тензорфлоу	Вывод	Гибкая серия	Float32 TF32 Float16 BFloat16 Int8
Реснет 50 v1.5	Тензорфлоу	Обучение	Макс Серия	BFloat16 FP32
Реснет 50 v1.5	PyTorch	Вывод	Серия Flex, серия Max, серия Arc	Int8 FP32 FP16 TF32
Реснет 50 v1.5	PyTorch	Обучение	Серия Макс, Серия Дуги	BFloat16 TF32 FP32
ДистилБЕРТ	PyTorch	Вывод	Серия Flex, серия Max	ФП32 ФП16 БФ16 ТФ32
ДЛРМ v1	PyTorch	Вывод	Гибкая серия	ФП16 ФП32
SSD-MobileNet*	PyTorch	Вывод	Дуговая серия	INT8 ФП16 ФП32
Эффективная сеть	PyTorch	Вывод	Гибкая серия	ФП16 БФ16 ФП32
Эффективная сеть	Тензорфлоу	Вывод	Гибкая серия	РП16
ФБНет	PyTorch	Вывод	Гибкая серия	ФП16 БФ16 ФП32
Широкий, глубокий, большой набор данных	Тензорфлоу	Вывод	Гибкая серия	РП16
ЙОЛО V5	PyTorch	Вывод	Гибкая серия	РП16
БЕРТ большой	PyTorch	Вывод	Серия Макс, Серия Дуга	BFloat16 ФП32 ФП16
БЕРТ большой	PyTorch	Обучение	Серия Макс, Серия Дуга	BFloat16 FP32 TF32
БЕРТ большой	Тензорфлоу	Обучение	Макс Серия	BFloat16 TF32 FP32
ДЛРМ v2	PyTorch	Вывод	Макс Серия	ФП32 БФ16
ДЛРМ v2	PyTorch	Обучение	Макс Серия	ФП32 ТФ32 БФ16
3D-Юнет	PyTorch	Вывод	Макс Серия	ФП16 INT8 ФП32
3D-Юнет	Тензорфлоу	Обучение	Макс Серия	BFloat16 FP32
Стабильная диффузия	PyTorch	Вывод	Серия Flex, серия Max, серия Arc	ФП16 ФП32
Стабильная диффузия	Тензорфлоу	Вывод	Гибкая серия	ФП16 ФП32
Маска R-CNN	Тензорфлоу	Вывод	Гибкая серия	FP32 Плавающее16
Маска R-CNN	Тензорфлоу	Обучение	Макс Серия	FP32 BFloat16
Свин Трансформатор	PyTorch	Вывод	Гибкая серия	РП16
FastPitch	PyTorch	Вывод	Гибкая серия	РП16
UNet++	PyTorch	Вывод	Гибкая серия	РП16
РНН-Т	PyTorch	Вывод	Макс Серия	ФП16 БФ16 ФП32
РНН-Т	PyTorch	Обучение	Макс Серия	ФП32 БФ16 ТФ32
ИФРНет	PyTorch	Вывод	Гибкая серия	РП16
Райф	PyTorch	Вывод	Гибкая серия	РП16

Как внести свой вклад

Если вы хотите добавить новый сценарий сравнительного тестирования, воспользуйтесь этим руководством.