ai hub models

Modèles de hub Qualcomm® AI

Les modèles Qualcomm® AI Hub sont une collection de modèles d'apprentissage automatique de pointe optimisés pour le déploiement sur les appareils Qualcomm®.

• Liste des modèles par catégorie
• Données de performances sur l'appareil
• Exemples d'applications natives pour l'appareil

Voir pris en charge : environnements d'exécution sur l'appareil, cibles et précision matérielles, chipsets, appareils

Installation

1. Installez le package Python

Le package est disponible via pip :

 # NOTE for Snapdragon X Elite users:
# Only AMDx64 (64-bit) Python in supported on Windows.
# Installation will fail when using Windows ARM64 Python.

pip install qai_hub_models

Certains modèles (par exemple YOLOv7) nécessitent des dépendances supplémentaires qui peuvent être installées comme suit :

pip install " qai_hub_models[yolov7] "

2. Configurer l'accès à AI Hub

De nombreuses fonctionnalités des modèles AI Hub (telles que la compilation de modèles, le profilage sur l'appareil, etc.) nécessitent un accès à Qualcomm® AI Hub :

• Créez un identifiant Qualcomm® et utilisez-le pour vous connecter à Qualcomm® AI Hub.
• Configurez votre jeton API : qai-hub configure --api_token API_TOKEN

Commencer

Exporter et exécuter un modèle sur un appareil physique

Tous les modèles de notre répertoire peuvent être compilés et profilés sur un appareil Qualcomm® hébergé :

pip install " qai_hub_models[yolov7] "

python -m qai_hub_models.models.yolov7.export [--target-runtime ...] [--device ...] [--help]

À l'aide de Qualcomm® AI Hub , le script d'exportation :

1. Compilez le modèle pour l'appareil choisi et l'environnement d'exécution cible (voir : Compilation de modèles sur AI Hub).
2. Le cas échéant, quantifiez le modèle (voir : Quantisation sur AI Hub)
3. Profilez le modèle compilé sur un appareil réel dans le cloud (voir : Profilage de modèles sur AI Hub).
4. Exécutez l'inférence avec un exemple de données d'entrée sur un appareil réel dans le cloud et comparez la sortie du modèle sur l'appareil avec la sortie PyTorch (voir : Exécution de l'inférence sur AI Hub)
5. Téléchargez le modèle compilé sur le disque.

Démonstrations de modèles de bout en bout

La plupart des modèles de notre répertoire contiennent des démos CLI qui exécutent le modèle de bout en bout :

pip install " qai_hub_models[yolov7] "
# Predict and draw bounding boxes on the provided image
python -m qai_hub_models.models.yolov7.demo [--image ...] [--on-device] [--help]

Démonstrations de bout en bout :

1. Prétraiter les entrées lisibles par l'homme dans les entrées du modèle
2. Exécuter l'inférence de modèle
3. Post-traiter la sortie du modèle dans un format lisible par l'homme

De nombreuses démos de bout en bout utilisent AI Hub pour exécuter l'inférence sur un véritable appareil hébergé dans le cloud (si l'indicateur --on-device est défini) . Toutes les démos de bout en bout s'exécutent également localement via PyTorch.

Exemples d'applications

Les applications natives pouvant exécuter nos modèles (avec pré- et post-traitement) sur des appareils physiques sont publiées dans le référentiel AI Hub Apps.

Les applications Python sont définies pour tous les modèles (à partir de qai_hub_models.models.<model_name> import App). Ces applications enveloppent l'inférence de modèle avec des étapes de pré- et post-traitement écrites à l'aide de torch & numpy. Ces applications sont optimisées pour être un exemple facile à suivre, plutôt que pour minimiser le temps de prédiction.

Données de prise en charge du modèle

Durées d'exécution sur l'appareil

Durée d'exécution	Système d'exploitation pris en charge
Moteur IA Qualcomm Direct	Android, Linux, Windows
LiteRT (TensorFlow Lite)	Android, Linux
ONNX	Android, Linux, Windows

Matériel et précision de l'appareil

Unité de calcul du périphérique	Précision prise en charge
Processeur	FP32, INT16, INT8
GPU	FP32, FP16
NPU (inclut Hexagon DSP, HTP)	FP16*, INT16, INT8

*Certains chipsets plus anciens ne prennent pas en charge l'inférence fp16 sur leur NPU.

Chipsets

• Plates-formes mobiles Snapdragon 8 Elite, 8 Gen 3, 8 Gen 2 et 8 Gen 1
• Plateforme de calcul Snapdragon X Elite
• Plateformes automobiles SA8255P, SA8295P, SA8650P et SA8775P
• Plateformes IoT QCS 6490, QCS 8250 et QCS 8550
• Plateforme QCS8450 XR

et bien d'autres encore.

Appareils

• Samsung Galaxy Séries S21, S22, S23 et S24
• Xiaomi 12 et 13
• Snapdragon X Elite CRD (dispositif de référence de calcul)
• Qualcomm RB3 Gen 2, RB5

et bien d'autres encore.

Répertoire des modèles

Vision par ordinateur

Modèle	LISEZMOI
Classement des images
ConvNext-Petit	qai_hub_models.models.convnext_tiny
ConvNext-Tiny-w8a16-Quantisé	qai_hub_models.models.convnext_tiny_w8a16_quantized
ConvNext-Tiny-w8a8-Quantisé	qai_hub_models.models.convnext_tiny_w8a8_quantized
DenseNet-121	qai_hub_models.models.densenet121
DenseNet-121-Quantisé	qai_hub_models.models.densenet121_quantized
EfficaceNet-B0	qai_hub_models.models.efficacenet_b0
EfficaceNet-B4	qai_hub_models.models.efficacenet_b4
EfficaceViT-b2-cls	qai_hub_models.models.efficientvit_b2_cls
EfficaceViT-l2-cls	qai_hub_models.models.efficientvit_l2_cls
GoogleLeNet	qai_hub_models.models.googlenet
GoogLeNetQuantisé	qai_hub_models.models.googlenet_quantized
Création-v3	qai_hub_models.models.inception_v3
Inception-v3-Quantisé	qai_hub_models.models.inception_v3_quantized
MNASNet05	qai_hub_models.models.mnasnet05
MobileNet-v2	qai_hub_models.models.mobilenet_v2
MobileNet-v2-Quantisé	qai_hub_models.models.mobilenet_v2_quantized
MobileNet-v3-Large	qai_hub_models.models.mobilenet_v3_large
MobileNet-v3-Large-Quantisé	qai_hub_models.models.mobilenet_v3_large_quantized
MobileNet-v3-Petit	qai_hub_models.models.mobilenet_v3_small
RegNet	qai_hub_models.models.regnet
RegNetQuantisé	qai_hub_models.models.regnet_quantized
ResNeXt101	qai_hub_models.models.resnext101
ResNeXt101Quantisé	qai_hub_models.models.resnext101_quantized
ResNeXt50	qai_hub_models.models.resnext50
ResNeXt50Quantisé	qai_hub_models.models.resnext50_quantized
ResNet101	qai_hub_models.models.resnet101
ResNet101Quantisé	qai_hub_models.models.resnet101_quantized
ResNet18	qai_hub_models.models.resnet18
ResNet18Quantisé	qai_hub_models.models.resnet18_quantized
ResNet50	qai_hub_models.models.resnet50
ResNet50Quantisé	qai_hub_models.models.resnet50_quantized
Shufflenet-v2	qai_hub_models.models.shufflenet_v2
Shufflenet-v2Quantisé	qai_hub_models.models.shufflenet_v2_quantized
PresseNet-1_1	qai_hub_models.models.squeezenet1_1
SqueezeNet-1_1Quantisé	qai_hub_models.models.squeezenet1_1_quantized
Swin-Base	qai_hub_models.models.swin_base
Swin-Petit	qai_hub_models.models.swin_small
Swin-Tiny	qai_hub_models.models.swin_tiny
VIT	qai_hub_models.models.vit
VITQuantisé	qai_hub_models.models.vit_quantized
LargeResNet50	qai_hub_models.models.wideresnet50
WideResNet50-Quantisé	qai_hub_models.models.wideresnet50_quantized
Édition d'images
AOT-GAN	qai_hub_models.models.aotgan
LaMa-Dilated	qai_hub_models.models.lama_dilated
Super résolution
ESRGAN	qai_hub_models.models.esrgan
QuickSRNetLarge	qai_hub_models.models.quicksrnetlarge
QuickSRNetLarge-Quantisé	qai_hub_models.models.quicksrnetlarge_quantized
QuickSRNetMoyen	qai_hub_models.models.quicksrnetmedium
QuickSRNetMedium-Quantized	qai_hub_models.models.quicksrnetmedium_quantized
QuickSRNetPetit	qai_hub_models.models.quicksrnetsmall
QuickSRNetSmall-Quantized	qai_hub_models.models.quicksrnetsmall_quantized
Réel-ESRGAN-Général-x4v3	qai_hub_models.models.real_esrgan_general_x4v3
Réel-ESRGAN-x4plus	qai_hub_models.models.real_esrgan_x4plus
SESR-M5	qai_hub_models.models.sesr_m5
SESR-M5-Quantisé	qai_hub_models.models.sesr_m5_quantized
XLSR	qai_hub_models.models.xlsr
XLSR-Quantisé	qai_hub_models.models.xlsr_quantized
Segmentation sémantique
DDRNet23-Slim	qai_hub_models.models.ddrnet23_slim
DeepLabV3-Plus-MobileNet	qai_hub_models.models.deeplabv3_plus_mobilenet
DeepLabV3-Plus-MobileNet-Quantisé	qai_hub_models.models.deeplabv3_plus_mobilenet_quantized
DeepLabV3-ResNet50	qai_hub_models.models.deeplabv3_resnet50
FCN-ResNet50	qai_hub_models.models.fcn_resnet50
FCN-ResNet50-Quantisé	qai_hub_models.models.fcn_resnet50_quantized
FFNet-122NS-LowRes	qai_hub_models.models.ffnet_122ns_lowres
FFNet-40S	qai_hub_models.models.ffnet_40s
FFNet-40S-Quantisé	qai_hub_models.models.ffnet_40s_quantized
FFNet-54S	qai_hub_models.models.ffnet_54s
FFNet-54S-Quantisé	qai_hub_models.models.ffnet_54s_quantized
FFNet-78S	qai_hub_models.models.ffnet_78s
FFNet-78S-LowRes	qai_hub_models.models.ffnet_78s_lowres
FFNet-78S-Quantisé	qai_hub_models.models.ffnet_78s_quantized
FastSam-S	qai_hub_models.models.fastsam_s
FastSam-X	qai_hub_models.models.fastsam_x
Segmentation MediaPipe-Selfie	qai_hub_models.models.mediapipe_selfie
SINet	qai_hub_models.models.sinet
Modèle de segmentation n'importe quoi	qai_hub_models.models.sam
Unet-Segmentation	qai_hub_models.models.unet_segmentation
Segmentation YOLOv8	qai_hub_models.models.yolov8_seg
Détection d'objet
DETR-ResNet101	qai_hub_models.models.detr_resnet101
DETR-ResNet101-DC5	qai_hub_models.models.detr_resnet101_dc5
DETR-ResNet50	qai_hub_models.models.detr_resnet50
DETR-ResNet50-DC5	qai_hub_models.models.detr_resnet50_dc5
FaceAttribNet	qai_hub_models.models.face_attrib_net
Détection de visage légère	qai_hub_models.models.face_det_lite
MediaPipe-Face-Détection	qai_hub_models.models.mediapipe_face
MediaPipe-Face-Detection-Quantisé	qai_hub_models.models.mediapipe_face_quantized
MediaPipe-Hand-Détection	qai_hub_models.models.mediapipe_hand
Détection EPI	qai_hub_models.models.gear_guard_net
Détection EPI quantifiée	qai_hub_models.models.gear_guard_net_quantized
Détection personne-pied	qai_hub_models.models.foot_track_net
Personne-Pied-Détection-Quantisée	qai_hub_models.models.foot_track_net_quantized
YOLOv11-Détection	qai_hub_models.models.yolov11_det
YOLOv8-Détection	qai_hub_models.models.yolov8_det
YOLOv8-Détection-Quantisé	qai_hub_models.models.yolov8_det_quantized
Yolo-NAS	qai_hub_models.models.yolonas
Yolo-NAS-Quantisé	qai_hub_models.models.yolonas_quantized
Yolo-v6	qai_hub_models.models.yolov6
Yolo-v7	qai_hub_models.models.yolov7
Yolo-v7-Quantisé	qai_hub_models.models.yolov7_quantized
Estimation de pose
Détection de points de repère faciaux	qai_hub_models.models.facemap_3dmm
HRNetPose	qai_hub_models.models.hrnet_pose
HRNetPoseQuantized	qai_hub_models.models.hrnet_pose_quantized
LiteHRNet	qai_hub_models.models.litehrnet
Estimation de pose MediaPipe	qai_hub_models.models.mediapipe_pose
Pose ouverte	qai_hub_models.models.openpose
Posenet-Mobilenet	qai_hub_models.models.posenet_mobilenet
Posenet-Mobilenet-Quantisé	qai_hub_models.models.posenet_mobilenet_quantized
Estimation de la profondeur
Midas-V2	qai_hub_models.models.midas
Midas-V2-Quantisé	qai_hub_models.models.midas_quantized

Audio

Modèle	LISEZMOI
Reconnaissance vocale
HuggingFace-WavLM-Base-Plus	qai_hub_models.models.huggingface_wavlm_base_plus
Whisper-Base-Fr	qai_hub_models.models.whisper_base_fr
Whisper-Small-Fr	qai_hub_models.models.whisper_small_fr
Whisper-Tiny-Fr	qai_hub_models.models.whisper_tiny_fr

Multimodal

Modèle	LISEZMOI
OpenAI-Clip	qai_hub_models.models.openai_clip
TroCR	qai_hub_models.models.trocr

Ai générative

Modèle	LISEZMOI
Génération d'images
ContrôleNet	qai_hub_models.models.controlnet_quantized
Riffusion	qai_hub_models.models.riffusion_quantized
Stable-Diffusion-v1.5	qai_hub_models.models.stable_diffusion_v1_5_quantized
Diffusion-stable-v2.1	qai_hub_models.models.stable_diffusion_v2_1_quantized
Génération de texte
Baichuan2-7B	qai_hub_models.models.baichuan2_7b_quantized
IBM-Granit-3B-Code-Instruct	qai_hub_models.models.ibm_granite_3b_code_instruct
IndusQ-1.1B	qai_hub_models.models.indus_1b_quantized
JAIS-6p7b-Chat	qai_hub_models.models.jais_6p7b_chat_quantized
Lama-v2-7B-Chat	qai_hub_models.models.llama_v2_7b_chat_quantized
Lama-v3-8B-Chat	qai_hub_models.models.llama_v3_8b_chat_quantized
Lama-v3.1-8B-Chat	qai_hub_models.models.llama_v3_1_8b_chat_quantized
Lama-v3.2-3B-Chat	qai_hub_models.models.llama_v3_2_3b_chat_quantized
Mistral-3B	qai_hub_models.models.mistral_3b_quantized
Mistral-7B-Instruct-v0.3	qai_hub_models.models.mistral_7b_instruct_v0_3_quantized
PLAMo-1B	qai_hub_models.models.plamo_1b_quantized
Qwen2-7B-Instruction	qai_hub_models.models.qwen2_7b_instruct_quantized

Besoin d'aide ?

Slack : https://aihub.qualcomm.com/community/slack

Problèmes GitHub : https://github.com/quic/ai-hub-models/issues

E-mail : [email protected].

LICENCE

Les modèles Qualcomm® AI Hub sont sous licence BSD-3. Voir le fichier LICENCE.