이 리포지토리에는 인텔® 제온® 확장 가능 프로세서 및 인텔® 데이터 센터 GPU에서 실행되도록 인텔이 최적화한 다양한 인기 오픈 소스 기계 학습 모델에 대한 사전 훈련된 모델, 샘플 스크립트, 모범 사례 및 단계별 튜토리얼에 대한 링크가 포함되어 있습니다. .
워크로드 실행을 위한 컨테이너는 인텔® AI 컨테이너에서 찾을 수 있습니다.
Jupyter 노트북의 인텔® AI 참조 모델은 나열된 워크로드에도 사용할 수 있습니다.
인텔은 업스트림 프로젝트에 기여하여 TensorFlow* 및 PyTorch*와 같은 널리 사용되는 딥 러닝 프레임워크를 최적화합니다. 추가 최적화 기능은 Pytorch*용 인텔 확장 및 TensorFlow*용 인텔 확장과 같은 플러그인/확장 기능에 내장되어 있습니다. 공통 데이터 세트에 대해 실행되는 인기 있는 신경망 모델은 이러한 최적화를 추진하는 대상 워크로드입니다.
인텔® AI 참조 모델 리포지토리(및 관련 컨테이너)의 목적은 이러한 각 대상 모델/데이터 세트 조합의 가장 잘 알려진 성능을 보여주는 전체 소프트웨어 환경을 신속하게 복제하는 것입니다. 최적으로 구성된 하드웨어 환경에서 실행될 때 이러한 소프트웨어 환경은 인텔 플랫폼의 AI 기능을 보여줍니다.
면책조항: 이 스크립트는 Intel 플랫폼 벤치마킹을 위한 것이 아닙니다. 특정 Intel 플랫폼에 대한 성능 및/또는 벤치마킹 정보를 보려면 https://www.intel.ai/blog를 방문하십시오.
인텔은 인권을 존중하고 인권에 부정적인 영향을 끼치거나 이에 기여하는 것을 방지하기 위해 최선을 다하고 있습니다. 인텔의 글로벌 인권 원칙을 참조하십시오. 인텔의 제품과 소프트웨어는 인권에 부정적인 영향을 끼치거나 이에 기여하지 않는 응용 프로그램에서만 사용되도록 고안되었습니다.
인텔® AI 참조 모델은 Apache 라이센스 버전 2.0에 따라 라이센스가 부여됩니다.
공개 데이터 세트가 인텔에서 참조되거나 이 사이트의 도구나 코드를 사용하여 액세스되는 경우 해당 데이터 세트는 데이터 소스로 표시된 제3자에 의해 제공됩니다. 인텔은 데이터나 데이터 세트를 생성하지 않으며 그 정확성이나 품질을 보증하지 않습니다. 공개 데이터세트에 액세스함으로써 귀하는 해당 데이터세트와 관련된 약관에 동의하고 귀하의 사용이 해당 라이선스를 준수한다는 점에 동의하게 됩니다.
데이터세트 디렉토리에서 인텔® AI 참조 모델에 사용되는 데이터세트 목록을 확인하세요.
인텔은 공개 데이터 세트의 정확성, 적절성 또는 완전성을 명시적으로 부인하며 데이터의 오류, 누락 또는 결함이나 데이터에 대한 의존에 대해 책임을 지지 않습니다. 인텔은 귀하의 공개 데이터 세트 사용과 관련된 어떠한 책임이나 손해에 대해서도 책임을 지지 않습니다.
아래 표의 모델 문서에는 각 모델을 실행하기 위한 전제 조건에 대한 정보가 포함되어 있습니다. 모델 스크립트는 Linux에서 실행됩니다. 특정 모델은 Windows에서 베어메탈을 사용하여 실행할 수도 있습니다. Windows에서 지원되는 모델 목록과 자세한 내용은 여기에서 설명서를 참조하세요.
Sapphire Rapids에서 실행할 수 있는 지침입니다.
Intel® Data Center GPU Flex 및 Max 시리즈에서 최상의 성능을 얻으려면 지원되는 워크로드 목록을 확인하십시오. PyTorch용 Intel(R) Extension 또는 TensorFlow용 Intel(R) Extension을 사용하여 추론 및 교육을 실행하는 지침을 제공합니다.
모델 | 뼈대 | 방법 | 모델 문서 | 벤치마크/테스트 데이터세트 |
---|---|---|---|---|
ResNet 50v1.5 사파이어 래피즈 | 텐서플로우 | 추론 | Int8 FP32 BFloat16 BFloat32 | 이미지넷 2012 |
ResNet 50v1.5 사파이어 래피즈 | 텐서플로우 | 훈련 | FP32 BFloat16 BFloat32 | 이미지넷 2012 |
레스넷 50 | 파이토치 | 추론 | Int8 FP32 BFloat16 BFloat32 | [이미지넷 2012] |
레스넷 50 | 파이토치 | 훈련 | FP32 BFloat16 BFloat32 | [이미지넷 2012] |
비전 트랜스포머 | 파이토치 | 추론 | FP32 BFloat16 BFloat32 FP16 INT8 | [이미지넷 2012] |
모델 | 뼈대 | 방법 | 모델 문서 | 벤치마크/테스트 데이터세트 |
---|---|---|---|---|
3D U-넷 | 텐서플로우 | 추론 | FP32 BFloat16 Int8 | 브라츠 2018 |
모델 | 뼈대 | 방법 | 모델 문서 | 벤치마크/테스트 데이터세트 |
---|---|---|---|---|
BERT 대형 사파이어 래피즈 | 텐서플로우 | 추론 | FP32 BFloat16 Int8 BFloat32 | 분대 |
BERT 대형 사파이어 래피즈 | 텐서플로우 | 훈련 | FP32 BFloat16 BFloat32 | 분대 |
BERT 대형(허깅 페이스) | 텐서플로우 | 추론 | FP32 FP16 BFloat16 BFloat32 | 분대 |
BERT 대형 | 파이토치 | 추론 | FP32 Int8 BFloat16 BFloat32 | BERT 대형 SQuAD1.1 |
BERT 대형 | 파이토치 | 훈련 | FP32 BFloat16 BFloat32 | 전처리된 텍스트 데이터세트 |
DistilBERT 베이스 | 파이토치 | 추론 | FP32 BF32 BF16Int8-FP32 Int8-BFloat16 BFloat32 | DistilBERT 베이스 SQuAD1.1 |
RNN-T | 파이토치 | 추론 | FP32 BFloat16 BFloat32 | RNN-T 데이터세트 |
RNN-T | 파이토치 | 훈련 | FP32 BFloat16 BFloat32 | RNN-T 데이터 세트 |
GPTJ 6B | 파이토치 | 추론 | FP32 FP16 BFloat16 BF32 INT8 | |
GPTJ 6B MLPerf | 파이토치 | 추론 | INT4 | CNN-Daily Mail 데이터 세트 |
라마2 7B | 파이토치 | 추론 | FP32 FP16 BFloat16 BF32 INT8 | |
라마2 7B | 파이토치 | 훈련 | FP32 FP16 BFloat16 BF32 | |
라마2 13B | 파이토치 | 추론 | FP32 FP16 BFloat16 BF32 INT8 | |
채팅GLMv3 6B | 파이토치 | 추론 | FP32 FP16 BFloat16 BF32 INT8 |
모델 | 뼈대 | 방법 | 모델 문서 | 벤치마크/테스트 데이터세트 |
---|---|---|---|---|
버트 | 텐서플로우 | 추론 | FP32 | MRPC |
모델 | 뼈대 | 방법 | 모델 문서 | 벤치마크/테스트 데이터세트 |
---|---|---|---|---|
마스크 R-CNN | 파이토치 | 추론 | FP32 BFloat16 BFloat32 | 코코 2017 |
마스크 R-CNN | 파이토치 | 훈련 | FP32 BFloat16 BFloat32 | 코코 2017 |
SSD-ResNet34 | 파이토치 | 추론 | FP32 Int8 BFloat16 BFloat32 | 코코 2017 |
SSD-ResNet34 | 파이토치 | 훈련 | FP32 BFloat16 BFloat32 | 코코 2017 |
욜로 V7 | 파이토치 | 추론 | Int8 FP32 FP16 BFloat16 BFloat32 | [COCO 2017](/models_v2/pytorch/yolov7/inference/cpu/README.md## 데이터셋 준비) |
모델 | 뼈대 | 방법 | 모델 문서 | 벤치마크/테스트 데이터세트 |
---|---|---|---|---|
와이드 앤 딥 | 텐서플로우 | 추론 | FP32 | 인구 조사 소득 데이터세트 |
DLRM | 파이토치 | 추론 | FP32 Int8 BFloat16 BFloat32 | 크리테오 테라바이트 |
DLRM | 파이토치 | 훈련 | FP32 BFloat16 BFloat32 | 크리테오 테라바이트 |
DLRM v2 | 파이토치 | 추론 | FP32 FP16 BFloat16 BFloat32 Int8 | Criteo 1TB 클릭 로그 데이터세트 |
모델 | 뼈대 | 방법 | 모델 문서 | 벤치마크/테스트 데이터세트 |
---|---|---|---|---|
안정적인 확산 | 텐서플로우 | 추론 | FP32 B플로트16 FP16 | COCO 2017 검증 데이터세트 |
안정적인 확산 | 파이토치 | 추론 | FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16 | COCO 2017 검증 데이터세트 |
안정적인 확산 | 파이토치 | 훈련 | FP32 BFloat16 FP16 BFloat32 | 고양이 이미지 |
잠재 일관성 모델(LCM) | 파이토치 | 추론 | FP32 BFloat16 FP16 BFloat32 Int8-FP32 Int8-BFloat16 | COCO 2017 검증 데이터세트 |
모델 | 뼈대 | 방법 | 모델 문서 | 벤치마크/테스트 데이터세트 |
---|---|---|---|---|
그래프SAGE | 텐서플로우 | 추론 | FP32 BFloat16 FP16 Int8 BFloat32 | 단백질 단백질 상호작용 |
*모델이 MLPerf 모델에 속하며 장기적으로 지원된다는 의미입니다.
모델 | 뼈대 | 방법 | GPU 유형 | 모델 문서 |
---|---|---|---|---|
레스넷 50v1.5 | 텐서플로우 | 추론 | 플렉스 시리즈 | Float32 TF32 Float16 BFloat16 Int8 |
레스넷 50 v1.5 | 텐서플로우 | 훈련 | 맥스 시리즈 | BFloat16 FP32 |
레스넷 50 v1.5 | 파이토치 | 추론 | Flex 시리즈, Max 시리즈, Arc 시리즈 | Int8 FP32 FP16 TF32 |
레스넷 50 v1.5 | 파이토치 | 훈련 | 맥스 시리즈, 아크 시리즈 | BFloat16 TF32 FP32 |
디스틸버트 | 파이토치 | 추론 | Flex 시리즈, Max 시리즈 | FP32 FP16 BF16 TF32 |
DLRM v1 | 파이토치 | 추론 | 플렉스 시리즈 | FP16 FP32 |
SSD-MobileNet* | 파이토치 | 추론 | 아크 시리즈 | INT8 FP16 FP32 |
EfficientNet | 파이토치 | 추론 | 플렉스 시리즈 | FP16 BF16 FP32 |
EfficientNet | 텐서플로우 | 추론 | 플렉스 시리즈 | FP16 |
FBNet | 파이토치 | 추론 | 플렉스 시리즈 | FP16 BF16 FP32 |
넓고 깊은 대규모 데이터세트 | 텐서플로우 | 추론 | 플렉스 시리즈 | FP16 |
욜로 V5 | 파이토치 | 추론 | 플렉스 시리즈 | FP16 |
BERT 대형 | 파이토치 | 추론 | 맥스 시리즈, 아크 시리즈 | BFloat16 FP32 FP16 |
BERT 대형 | 파이토치 | 훈련 | 맥스 시리즈, 아크 시리즈 | BFloat16 FP32 TF32 |
BERT 대형 | 텐서플로우 | 훈련 | 맥스 시리즈 | BFloat16 TF32 FP32 |
DLRM v2 | 파이토치 | 추론 | 맥스 시리즈 | FP32 BF16 |
DLRM v2 | 파이토치 | 훈련 | 맥스 시리즈 | FP32 TF32 BF16 |
3D-Unet | 파이토치 | 추론 | 맥스 시리즈 | FP16 INT8 FP32 |
3D-Unet | 텐서플로우 | 훈련 | 맥스 시리즈 | BFloat16 FP32 |
안정적인 확산 | 파이토치 | 추론 | Flex 시리즈, Max 시리즈, Arc 시리즈 | FP16 FP32 |
안정적인 확산 | 텐서플로우 | 추론 | 플렉스 시리즈 | FP16 FP32 |
마스크 R-CNN | 텐서플로우 | 추론 | 플렉스 시리즈 | FP32 플로트16 |
마스크 R-CNN | 텐서플로우 | 훈련 | 맥스 시리즈 | FP32 BFloat16 |
스윈 트랜스포머 | 파이토치 | 추론 | 플렉스 시리즈 | FP16 |
패스트피치 | 파이토치 | 추론 | 플렉스 시리즈 | FP16 |
유넷++ | 파이토치 | 추론 | 플렉스 시리즈 | FP16 |
RNN-T | 파이토치 | 추론 | 맥스 시리즈 | FP16 BF16 FP32 |
RNN-T | 파이토치 | 훈련 | 맥스 시리즈 | FP32 BF16 TF32 |
IFRNet | 파이토치 | 추론 | 플렉스 시리즈 | FP16 |
라이프 | 파이토치 | 추론 | 플렉스 시리즈 | FP16 |
새로운 벤치마킹 스크립트를 추가하려면 이 가이드를 사용하세요.