Download ai hub models - download de código-fonte ai hub models

ai hub models

Outro código-fonte

1.0.0

Baixar

Modelos de hub de IA da Qualcomm®

Os modelos Qualcomm® AI Hub são uma coleção de modelos de aprendizado de máquina de última geração otimizados para implantação em dispositivos Qualcomm®.

Lista de modelos por categoria
Dados de desempenho no dispositivo
Aplicativos de amostra nativos do dispositivo

Veja com suporte: tempos de execução no dispositivo, alvos e precisão de hardware, chipsets, dispositivos

Configurar

1. Instale o pacote Python

O pacote está disponível via pip:

 # NOTE for Snapdragon X Elite users:
# Only AMDx64 (64-bit) Python in supported on Windows.
# Installation will fail when using Windows ARM64 Python.

pip install qai_hub_models

Alguns modelos (por exemplo, YOLOv7) requerem dependências adicionais que podem ser instaladas da seguinte forma:

pip install " qai_hub_models[yolov7] "

2. Configurar o acesso ao AI Hub

Muitos recursos dos modelos AI Hub (como compilação de modelo, criação de perfil no dispositivo etc.) exigem acesso ao Qualcomm® AI Hub:

Crie um ID Qualcomm® e use-o para fazer login no Qualcomm® AI Hub.
Configure seu token de API: qai-hub configure --api_token API_TOKEN

Começando

Exportar e executar um modelo em um dispositivo físico

Todos os modelos em nosso diretório podem ser compilados e perfilados em um dispositivo Qualcomm® hospedado:

pip install " qai_hub_models[yolov7] "

python -m qai_hub_models.models.yolov7.export [--target-runtime ...] [--device ...] [--help]

Usando o Qualcomm® AI Hub , o script de exportação irá:

Compile o modelo para o dispositivo escolhido e o tempo de execução de destino (consulte: Compilando modelos no AI Hub).
Se aplicável, quantize o modelo (consulte: Quantização no AI Hub)
Crie o perfil do modelo compilado em um dispositivo real na nuvem (consulte: Criação de perfil de modelos no AI Hub).
Execute a inferência com dados de entrada de amostra em um dispositivo real na nuvem e compare a saída do modelo no dispositivo com a saída do PyTorch (consulte: Executando a inferência no AI Hub)
Baixe o modelo compilado para o disco.

Demonstrações de modelos ponta a ponta

A maioria dos modelos em nosso diretório contém demonstrações CLI que executam o modelo de ponta a ponta :

pip install " qai_hub_models[yolov7] "
# Predict and draw bounding boxes on the provided image
python -m qai_hub_models.models.yolov7.demo [--image ...] [--on-device] [--help]

Demonstrações completas :

Pré-processe a entrada legível por humanos na entrada do modelo
Executar inferência de modelo
Saída do modelo pós-processamento em um formato legível por humanos

Muitas demonstrações completas usam o AI Hub para executar inferências em um dispositivo real hospedado na nuvem (se o sinalizador --on-device estiver definido) . Todas as demonstrações ponta a ponta também são executadas localmente via PyTorch.

Exemplos de aplicativos

Os aplicativos nativos que podem executar nossos modelos (com pré e pós-processamento) em dispositivos físicos são publicados no repositório de aplicativos do AI Hub.

Os aplicativos Python são definidos para todos os modelos (de qai_hub_models.models.<model_name> import App). Esses aplicativos envolvem inferência de modelo com etapas de pré e pós-processamento escritas usando torch & numpy. Esses aplicativos são otimizados para serem um exemplo fácil de seguir, em vez de minimizar o tempo de previsão.

Dados de suporte do modelo

Tempos de execução no dispositivo

Tempo de execução	SO compatível
Qualcomm AI Engine direto	Android, Linux, Windows
LiteRT (TensorFlow Lite)	Android, Linux
ONNX	Android, Linux, Windows

Hardware e precisão do dispositivo

Unidade de computação de dispositivo	Precisão suportada
CPU	FP32, INT16, INT8
GPU	FP32, FP16
NPU (inclui Hexagon DSP, HTP)	FP16*, INT16, INT8

*Alguns chipsets mais antigos não suportam inferência fp16 em seu NPU.

Chipsets

Plataformas móveis Snapdragon 8 Elite, 8 Gen 3, 8 Gen 2 e 8 Gen 1
Plataforma de computação Snapdragon X Elite
Plataformas automotivas SA8255P, SA8295P, SA8650P e SA8775P
Plataformas IoT QCS 6490, QCS 8250 e QCS 8550
Plataforma QCS8450 XR

e muito mais.

Dispositivos

Samsung Galaxy S21, S22, S23 e S24 Séries
Xiaomi 12 e 13
Snapdragon X Elite CRD (dispositivo de referência de computação)
Qualcomm RB3 geração 2, RB5

e muito mais.

Diretório de modelos

Visão Computacional

Modelo	LEIA-ME

Classificação de imagens
ConvNext-Tiny	qai_hub_models.models.convnext_tiny
ConvNext-Tiny-w8a16-Quantizado	qai_hub_models.models.convnext_tiny_w8a16_quantized
ConvNext-Tiny-w8a8-Quantizado	qai_hub_models.models.convnext_tiny_w8a8_quantized
DenseNet-121	qai_hub_models.models.densenet121
DenseNet-121-Quantizado	qai_hub_models.models.densenet121_quantized
EficienteNet-B0	qai_hub_models.models.eficientenet_b0
EficienteNet-B4	qai_hub_models.models.eficientenet_b4
EficienteViT-b2-cls	qai_hub_models.models.efficientvit_b2_cls
EficienteViT-l2-cls	qai_hub_models.models.efficientvit_l2_cls
GoogleLeNet	qai_hub_models.models.googlenet
GoogLeNetQuantizado	qai_hub_models.models.googlenet_quantized
Início-v3	qai_hub_models.models.inception_v3
Inception-v3-Quantizado	qai_hub_models.models.inception_v3_quantized
MNASNet05	qai_hub_models.models.mnasnet05
MobileNet-v2	qai_hub_models.models.mobilenet_v2
MobileNet-v2-Quantizado	qai_hub_models.models.mobilenet_v2_quantized
MobileNet-v3-Grande	qai_hub_models.models.mobilenet_v3_large
MobileNet-v3-Large-Quantizado	qai_hub_models.models.mobilenet_v3_large_quantized
MobileNet-v3-Pequeno	qai_hub_models.models.mobilenet_v3_small
RegNet	qai_hub_models.models.regnet
RegNetQuantizado	qai_hub_models.models.regnet_quantized
ResNeXt101	qai_hub_models.models.resnext101
ResNeXt101Quantizado	qai_hub_models.models.resnext101_quantized
ResNeXt50	qai_hub_models.models.resnext50
ResNeXt50Quantizado	qai_hub_models.models.resnext50_quantized
ResNet101	qai_hub_models.models.resnet101
ResNet101Quantizado	qai_hub_models.models.resnet101_quantized
ResNet18	qai_hub_models.models.resnet18
ResNet18Quantizado	qai_hub_models.models.resnet18_quantized
ResNet50	qai_hub_models.models.resnet50
ResNet50Quantizado	qai_hub_models.models.resnet50_quantized
Shufflenet-v2	qai_hub_models.models.shufflenet_v2
Shufflenet-v2Quantizado	qai_hub_models.models.shufflenet_v2_quantized
SqueezeNet-1_1	qai_hub_models.models.squeezenet1_1
SqueezeNet-1_1Quantizado	qai_hub_models.models.squeezenet1_1_quantized
Base Swin	qai_hub_models.models.swin_base
Swin-Pequeno	qai_hub_models.models.swin_small
Swin-Tiny	qai_hub_models.models.swin_tiny
VITA	qai_hub_models.models.vit
VITQuantizado	qai_hub_models.models.vit_quantized
WideResNet50	qai_hub_models.models.wideresnet50
WideResNet50-Quantizado	qai_hub_models.models.wideresnet50_quantized

Edição de imagem
AOT-GAN	qai_hub_models.models.aotgan
LaMa-dilatado	qai_hub_models.models.lama_dilated

Super resolução
ESRGAN	qai_hub_models.models.esrgan
QuickSRNetLarge	qai_hub_models.models.quicksrnetlarge
QuickSRNetLarge-Quantizado	qai_hub_models.models.quicksrnetlarge_quantized
QuickSRNet Médio	qai_hub_models.models.quicksrnetmedium
QuickSRNetMedium-Quantizado	qai_hub_models.models.quicksrnetmedium_quantized
QuickSRNetSmall	qai_hub_models.models.quicksrnetsmall
QuickSRNetSmall-Quantizado	qai_hub_models.models.quicksrnetsmall_quantized
Real-ESRGAN-Geral-x4v3	qai_hub_models.models.real_esrgan_general_x4v3
Real-ESRGAN-x4plus	qai_hub_models.models.real_esrgan_x4plus
SESR-M5	qai_hub_models.models.sesr_m5
SESR-M5-Quantizado	qai_hub_models.models.sesr_m5_quantized
XLSR	qai_hub_models.models.xlsr
XLSR-Quantizado	qai_hub_models.models.xlsr_quantized

Segmentação Semântica
DDRNet23-Slim	qai_hub_models.models.ddrnet23_slim
DeepLabV3-Plus-MobileNet	qai_hub_models.models.deeplabv3_plus_mobilenet
DeepLabV3-Plus-MobileNet-Quantizado	qai_hub_models.models.deeplabv3_plus_mobilenet_quantized
DeepLabV3-ResNet50	qai_hub_models.models.deeplabv3_resnet50
FCN-ResNet50	qai_hub_models.models.fcn_resnet50
FCN-ResNet50-Quantizado	qai_hub_models.models.fcn_resnet50_quantized
FFNet-122NS-Baixa resolução	qai_hub_models.models.ffnet_122ns_lowres
FFNet-40S	qai_hub_models.models.ffnet_40s
FFNet-40S-Quantizado	qai_hub_models.models.ffnet_40s_quantized
FFNet-54S	qai_hub_models.models.ffnet_54s
FFNet-54S-Quantizado	qai_hub_models.models.ffnet_54s_quantized
FFNet-78S	qai_hub_models.models.ffnet_78s
FFNet-78S-Baixa resolução	qai_hub_models.models.ffnet_78s_lowres
FFNet-78S-Quantizado	qai_hub_models.models.ffnet_78s_quantized
FastSam-S	qai_hub_models.models.fastsam_s
FastSam-X	qai_hub_models.models.fastsam_x
MediaPipe-Selfie-Segmentação	qai_hub_models.models.mediapipe_selfie
SINet	qai_hub_models.models.sinet
Modelo de segmento-qualquer coisa	qai_hub_models.models.sam
Segmentação Unet	qai_hub_models.models.unet_segmentation
Segmentação YOLOv8	qai_hub_models.models.yolov8_seg

Detecção de objetos
DETR-ResNet101	qai_hub_models.models.detr_resnet101
DETR-ResNet101-DC5	qai_hub_models.models.detr_resnet101_dc5
DETR-ResNet50	qai_hub_models.models.detr_resnet50
DETR-ResNet50-DC5	qai_hub_models.models.detr_resnet50_dc5
FaceAttribNet	qai_hub_models.models.face_attrib_net
Detecção facial leve	qai_hub_models.models.face_det_lite
Detecção de rosto MediaPipe	qai_hub_models.models.mediapipe_face
MediaPipe-Face-Detection-Quantizado	qai_hub_models.models.mediapipe_face_quantized
Detecção de mão MediaPipe	qai_hub_models.models.mediapipe_hand
Detecção de EPI	qai_hub_models.models.gear_guard_net
EPI-Detecção-Quantizada	qai_hub_models.models.gear_guard_net_quantized
Detecção de pés de pessoa	qai_hub_models.models.foot_track_net
Detecção de pés de pessoa quantizada	qai_hub_models.models.foot_track_net_quantized
Detecção YOLOv11	qai_hub_models.models.yolov11_det
Detecção YOLOv8	qai_hub_models.models.yolov8_det
YOLOv8-Detecção-Quantizada	qai_hub_models.models.yolov8_det_quantized
Yolo-NAS	qai_hub_models.models.yolonas
Yolo-NAS-Quantizado	qai_hub_models.models.yolonas_quantized
Yolo-v6	qai_hub_models.models.yolov6
Yolo-v7	qai_hub_models.models.yolov7
Yolo-v7-Quantizado	qai_hub_models.models.yolov7_quantized

Estimativa de pose
Detecção de marco facial	qai_hub_models.models.facemap_3dmm
HRNetPose	qai_hub_models.models.hrnet_pose
HRNetPoseQuantizado	qai_hub_models.models.hrnet_pose_quantized
LiteHRNet	qai_hub_models.models.litehrnet
Estimativa de pose de MediaPipe	qai_hub_models.models.mediapipe_pose
OpenPose	qai_hub_models.models.openpose
Posenet-Mobilenet	qai_hub_models.models.posenet_mobilenet
Posenet-Mobilenet-Quantizado	qai_hub_models.models.posenet_mobilenet_quantized

Estimativa de profundidade
Midas-V2	qai_hub_models.models.midas
Midas-V2-Quantizado	qai_hub_models.models.midas_quantized

Áudio

Modelo	LEIA-ME

Reconhecimento de fala
AbraçandoFace-WavLM-Base-Plus	qai_hub_models.models.huggingface_wavlm_base_plus
Whisper-Base-En	qai_hub_models.models.whisper_base_en
Sussurro-Pequeno-En	qai_hub_models.models.whisper_small_en
Sussurro-Tiny-En	qai_hub_models.models.whisper_tiny_en

Multimodal

Modelo	LEIA-ME

Clipe OpenAI	qai_hub_models.models.openai_clip
TrOCR	qai_hub_models.models.trocr

IA generativa

Modelo	LEIA-ME

Geração de imagem
ControlNet	qai_hub_models.models.controlnet_quantized
Rifusão	qai_hub_models.models.riffusion_quantized
Difusão Estável-v1.5	qai_hub_models.models.stable_diffusion_v1_5_quantized
Difusão Estável-v2.1	qai_hub_models.models.stable_diffusion_v2_1_quantized

Geração de texto
Baichuan2-7B	qai_hub_models.models.baichuan2_7b_quantized
IBM-Granite-3B-Code-Instrução	qai_hub_models.models.ibm_granite_3b_code_instruct
IndusQ-1.1B	qai_hub_models.models.indus_1b_quantized
JAIS-6p7b-Bate-papo	qai_hub_models.models.jais_6p7b_chat_quantized
Lhama-v2-7B-Chat	qai_hub_models.models.llama_v2_7b_chat_quantized
Lhama-v3-8B-Bate-papo	qai_hub_models.models.llama_v3_8b_chat_quantized
Lhama-v3.1-8B-Bate-papo	qai_hub_models.models.llama_v3_1_8b_chat_quantized
Lhama-v3.2-3B-Bate-papo	qai_hub_models.models.llama_v3_2_3b_chat_quantized
Mistral-3B	qai_hub_models.models.mistral_3b_quantized
Mistral-7B-Instruir-v0.3	qai_hub_models.models.mistral_7b_instruct_v0_3_quantized
PLAMo-1B	qai_hub_models.models.plamo_1b_quantized
Qwen2-7B-Instrução	qai_hub_models.models.qwen2_7b_instruct_quantized