Inicio>Relacionado con la programación>Otro código fuente
Descargar

Modelos de centros de IA de Qualcomm®

Los modelos Qualcomm® AI Hub son una colección de modelos de aprendizaje automático de última generación optimizados para su implementación en dispositivos Qualcomm®.

  • Lista de modelos por categoría
  • Datos de rendimiento en el dispositivo
  • Aplicaciones de muestra nativas del dispositivo

Ver compatibilidad: tiempos de ejecución en el dispositivo, objetivos y precisión de hardware, conjuntos de chips, dispositivos

Configuración

1. Instalar el paquete Python

El paquete está disponible a través de pip: 

 # NOTE for Snapdragon X Elite users:
# Only AMDx64 (64-bit) Python in supported on Windows.
# Installation will fail when using Windows ARM64 Python.

pip install qai_hub_models

Algunos modelos (por ejemplo, YOLOv7) requieren dependencias adicionales que se pueden instalar de la siguiente manera: 

pip install " qai_hub_models[yolov7] "

2. Configurar el acceso al centro AI

Muchas funciones de AI Hub Models (como la compilación de modelos, la creación de perfiles en el dispositivo, etc.) requieren acceso a Qualcomm® AI Hub:

  • Cree una ID de Qualcomm® y úsela para iniciar sesión en Qualcomm® AI Hub.
  • Configure su token API: qai-hub configure --api_token API_TOKEN

Empezando

Exportar y ejecutar un modelo en un dispositivo físico

Todos los modelos de nuestro directorio se pueden compilar y perfilar en un dispositivo Qualcomm® alojado: 

pip install " qai_hub_models[yolov7] "

python -m qai_hub_models.models.yolov7.export [--target-runtime ...] [--device ...] [--help]

Usando Qualcomm® AI Hub , el script de exportación:

  1. Compile el modelo para el dispositivo elegido y el tiempo de ejecución de destino (consulte: Compilación de modelos en AI Hub).
  2. Si corresponde, cuantice el modelo (consulte: Cuantización en AI Hub)
  3. Perfile el modelo compilado en un dispositivo real en la nube (consulte: Creación de perfiles de modelos en AI Hub).
  4. Ejecute la inferencia con datos de entrada de muestra en un dispositivo real en la nube y compare la salida del modelo en el dispositivo con la salida de PyTorch (consulte: Ejecución de la inferencia en AI Hub)
  5. Descargue el modelo compilado al disco.

Demostraciones de modelos de un extremo a otro

La mayoría de los modelos de nuestro directorio contienen demostraciones de CLI que ejecutan el modelo de un extremo a otro : 

pip install " qai_hub_models[yolov7] "
# Predict and draw bounding boxes on the provided image
python -m qai_hub_models.models.yolov7.demo [--image ...] [--on-device] [--help]

Demostraciones de un extremo a otro :

  1. Preprocesar la entrada legible por humanos en la entrada del modelo
  2. Ejecutar inferencia de modelo
  3. Salida del modelo de posprocesamiento en un formato legible por humanos

Muchas demostraciones de un extremo a otro utilizan AI Hub para ejecutar inferencias en un dispositivo real alojado en la nube (si el indicador --on-device está configurado) . Todas las demostraciones de un extremo a otro también se ejecutan localmente a través de PyTorch.

Aplicaciones de muestra

Las aplicaciones nativas que pueden ejecutar nuestros modelos (con procesamiento previo y posterior) en dispositivos físicos se publican en el repositorio de aplicaciones AI Hub.

Las aplicaciones Python están definidas para todos los modelos (desde qai_hub_models.models.<model_name> import App). Estas aplicaciones envuelven la inferencia del modelo con pasos previos y posteriores al procesamiento escritos con torch & numpy. Estas aplicaciones están optimizadas para ser un ejemplo fácil de seguir, en lugar de minimizar el tiempo de predicción.

Datos de soporte del modelo

Tiempos de ejecución en el dispositivo

Tiempo de ejecución SO compatible
Motor de IA Qualcomm directo Android, Linux, Windows
LiteRT (TensorFlow Lite) androide, linux
ONNX Android, Linux, Windows

Hardware y precisión del dispositivo

Unidad de cómputo del dispositivo Precisión admitida
UPC FP32, INT16, INT8
GPU FP32, FP16
NPU (incluye Hexagon DSP, HTP) FP16*, INT16, INT8

*Algunos conjuntos de chips más antiguos no admiten la inferencia fp16 en su NPU.

Conjuntos de chips

  • Plataformas móviles Snapdragon 8 Elite, 8 Gen 3, 8 Gen 2 y 8 Gen 1
  • Plataforma informática Snapdragon X Elite
  • Plataformas automotrices SA8255P, SA8295P, SA8650P y SA8775P
  • Plataformas IoT QCS 6490, QCS 8250 y QCS 8550
  • Plataforma QCS8450 XR

y muchos más.

Dispositivos

  • Serie Samsung Galaxy S21, S22, S23 y S24
  • Xiaomi 12 y 13
  • Snapdragon X Elite CRD (dispositivo de referencia informática)
  • Qualcomm RB3 Gen 2, RB5

y muchos más.

Directorio de modelos

Visión por computadora

Modelo LÉAME
Clasificación de imágenes
ConvNext-Tiny qai_hub_models.models.convnext_tiny
ConvNext-Tiny-w8a16-cuantizado qai_hub_models.models.convnext_tiny_w8a16_quantized
ConvNext-Tiny-w8a8-cuantizado qai_hub_models.models.convnext_tiny_w8a8_quantized
DensoNet-121 qai_hub_models.models.densenet121
DenseNet-121-cuantizado qai_hub_models.models.densenet121_cuantizado
EfficientNet-B0 qai_hub_models.models.ficientnet_b0
EfficientNet-B4 qai_hub_models.models.ficientnet_b4
EfficientViT-b2-cls qai_hub_models.models.eficientevit_b2_cls
EfficientViT-l2-cls qai_hub_models.models.eficientevit_l2_cls
GoogleLeNet qai_hub_models.models.googlenet
GoogLeNetCuantizado qai_hub_models.models.googlenet_quantized
Inicio-v3 qai_hub_models.models.inception_v3
Inception-v3-Cuantizado qai_hub_models.models.inception_v3_cuantizado
MNASNet05 qai_hub_models.models.mnasnet05
MobileNet-v2 qai_hub_models.models.mobilenet_v2
MobileNet-v2-cuantizado qai_hub_models.models.mobilenet_v2_cuantizado
MobileNet-v3-grande qai_hub_models.models.mobilenet_v3_large
MobileNet-v3-grande-cuantizado qai_hub_models.models.mobilenet_v3_large_quantized
MobileNet-v3-Pequeño qai_hub_models.models.mobilenet_v3_small
RegNet qai_hub_models.models.regnet
RegNetCuantizado qai_hub_models.models.regnet_cuantizado
ResNext101 qai_hub_models.models.resnext101
ResNeXt101cuantizado qai_hub_models.models.resnext101_cuantizado
ResNext50 qai_hub_models.models.resnext50
ResNeXt50cuantizado qai_hub_models.models.resnext50_cuantizado
ResNet101 qai_hub_models.models.resnet101
ResNet101cuantizado qai_hub_models.models.resnet101_cuantizado
ResNet18 qai_hub_models.models.resnet18
ResNet18Cuantizado qai_hub_models.models.resnet18_cuantizado
ResNet50 qai_hub_models.models.resnet50
ResNet50cuantizado qai_hub_models.models.resnet50_cuantizado
Shufflenet-v2 qai_hub_models.models.shufflenet_v2
Shufflenet-v2Cuantizado qai_hub_models.models.shufflenet_v2_cuantizado
SqueezeNet-1_1 qai_hub_models.models.squeezenet1_1
SqueezeNet-1_1Cuantizado qai_hub_models.models.squeezenet1_1_cuantizado
Base de natación qai_hub_models.models.swin_base
Piscina pequeña qai_hub_models.models.swin_small
Swin-pequeño qai_hub_models.models.swin_tiny
VIT qai_hub_models.models.vit
VITCuantizado qai_hub_models.models.vit_quantized
WideResNet50 qai_hub_models.models.wideresnet50
WideResNet50-cuantizado qai_hub_models.models.wideresnet50_cuantizado
Edición de imágenes
AOT-GAN qai_hub_models.models.aotgan
LaMa-dilatada qai_hub_models.models.lama_dilated
Súper resolución
ESRGAN qai_hub_models.models.esrgan
QuickSRNetGrande qai_hub_models.models.quicksrnetlarge
QuickSRNetCuantizado grande qai_hub_models.models.quicksrnetlarge_quantized
QuickSRNetMedio qai_hub_models.models.quicksrnetmedio
QuickSRNetMedium-cuantizado qai_hub_models.models.quicksrnetmedium_quantized
QuickSRNetPequeño qai_hub_models.models.quicksrnetsmall
QuickSRNetCuantizado pequeño qai_hub_models.models.quicksrnetsmall_quantized
Real-ESRGAN-General-x4v3 qai_hub_models.models.real_esrgan_general_x4v3
Real-ESRGAN-x4plus qai_hub_models.models.real_esrgan_x4plus
SESR-M5 qai_hub_models.models.sesr_m5
SESR-M5-Cuantizado qai_hub_models.models.sesr_m5_cuantizado
XLSR qai_hub_models.models.xlsr
XLSR-cuantizado qai_hub_models.models.xlsr_cuantizado
Segmentación semántica
DDRNet23-Delgado qai_hub_models.models.ddrnet23_slim
DeepLabV3-Plus-MobileNet qai_hub_models.models.deeplabv3_plus_mobilenet
DeepLabV3-Plus-MobileNet-cuantizado qai_hub_models.models.deeplabv3_plus_mobilenet_quantized
DeepLabV3-ResNet50 qai_hub_models.models.deeplabv3_resnet50
FCN-ResNet50 qai_hub_models.models.fcn_resnet50
FCN-ResNet50-cuantizado qai_hub_models.models.fcn_resnet50_cuantizado
FFNet-122NS-baja resolución qai_hub_models.models.ffnet_122ns_lowres
FFNet-40S qai_hub_models.models.ffnet_40s
FFNet-40S-Cuantizado qai_hub_models.models.ffnet_40s_cuantizado
FFNet-54S qai_hub_models.models.ffnet_54s
FFNet-54S-Cuantizado qai_hub_models.models.ffnet_54s_cuantizado
FFNet-78S qai_hub_models.models.ffnet_78s
FFNet-78S-baja resolución qai_hub_models.models.ffnet_78s_lowres
FFNet-78S-Cuantizado qai_hub_models.models.ffnet_78s_cuantizado
FastSam-S qai_hub_models.models.fastsam_s
FastSam-X qai_hub_models.models.fastsam_x
MediaPipe-Selfie-Segmentación qai_hub_models.models.mediapipe_selfie
SINet qai_hub_models.models.sinet
Modelo de segmento cualquier cosa qai_hub_models.models.sam
Segmentación Unet qai_hub_models.models.unet_segmentation
YOLOv8-Segmentación qai_hub_models.models.yolov8_seg
Detección de objetos
DETR-ResNet101 qai_hub_models.models.detr_resnet101
DETR-ResNet101-DC5 qai_hub_models.models.detr_resnet101_dc5
DETR-ResNet50 qai_hub_models.models.detr_resnet50
DETR-ResNet50-DC5 qai_hub_models.models.detr_resnet50_dc5
FaceAttribNet qai_hub_models.models.face_attrib_net
Detección de rostros ligeros qai_hub_models.models.face_det_lite
Detección de caras de MediaPipe qai_hub_models.models.mediapipe_face
MediaPipe-Detección-de-caras-Cuantizada qai_hub_models.models.mediapipe_face_quantized
MediaPipe-Detección de manos qai_hub_models.models.mediapipe_hand
Detección de EPI qai_hub_models.models.gear_guard_net
EPI-Detección-Cuantizada qai_hub_models.models.gear_guard_net_cuantizado
Detección de pies de persona qai_hub_models.models.foot_track_net
Persona-Pie-Detección-Cuantizada qai_hub_models.models.foot_track_net_cuantizado
YOLOv11-Detección qai_hub_models.models.yolov11_det
YOLOv8-Detección qai_hub_models.models.yolov8_det
YOLOv8-Detección-Cuantizada qai_hub_models.models.yolov8_det_cuantizado
Yolo-NAS qai_hub_models.models.yolonas
Yolo-NAS-cuantizado qai_hub_models.models.yolonas_cuantizado
Yolo-v6 qai_hub_models.models.yolov6
Yolo-v7 qai_hub_models.models.yolov7
Yolo-v7-cuantizado qai_hub_models.models.yolov7_cuantizado
Estimación de postura
Detección de puntos de referencia faciales qai_hub_models.models.facemap_3dmm
HRNetPose qai_hub_models.models.hrnet_pose
HRNetPoseCuantizado qai_hub_models.models.hrnet_pose_cuantizado
LiteHRNet qai_hub_models.models.litehrnet
Estimación de pose de MediaPipe qai_hub_models.models.mediapipe_pose
Pose abierta qai_hub_models.models.openpose
Posenet-Mobilenet qai_hub_models.models.posenet_mobilenet
Posenet-Mobilenet-Cuantizado qai_hub_models.models.posenet_mobilenet_cuantizado
Estimación de profundidad
Midas-V2 qai_hub_models.models.midas
Midas-V2-Cuantizado qai_hub_models.models.midas_cuantizado

Audio

Modelo LÉAME
Reconocimiento de voz
HuggingFace-WavLM-Base-Plus qai_hub_models.models.huggingface_wavlm_base_plus
Whisper-Base-En qai_hub_models.models.whisper_base_en
Whisper-Small-En qai_hub_models.models.whisper_small_en
Whisper-Tiny-En qai_hub_models.models.whisper_tiny_en

Multimodal

Modelo LÉAME
Clip OpenAI qai_hub_models.models.openai_clip
TROCR qai_hub_models.models.trocr

IA generativa

Modelo LÉAME
Generación de imágenes
ControlNet qai_hub_models.models.controlnet_cuantizado
Rifusión qai_hub_models.models.riffusion_quantized
Difusión estable v1.5 qai_hub_models.models.stable_diffusion_v1_5_cuantizado
Difusión-estable-v2.1 qai_hub_models.models.stable_diffusion_v2_1_cuantizado
Generación de texto
Baichuan2-7B qai_hub_models.models.baichuan2_7b_cuantizado
IBM-Granite-3B-Code-Instrucción qai_hub_models.models.ibm_granite_3b_code_instruct
IndusQ-1.1B qai_hub_models.models.indus_1b_cuantizado
JAIS-6p7b-Chat qai_hub_models.models.jais_6p7b_chat_quantized
Llama-v2-7B-Chat qai_hub_models.models.llama_v2_7b_chat_quantized
Llama-v3-8B-Chat qai_hub_models.models.llama_v3_8b_chat_quantized
Llama-v3.1-8B-Chat qai_hub_models.models.llama_v3_1_8b_chat_quantized
Llama-v3.2-3B-Chat qai_hub_models.models.llama_v3_2_3b_chat_quantized
Mistral-3B qai_hub_models.models.mistral_3b_cuantizado
Mistral-7B-Instrucción-v0.3 qai_hub_models.models.mistral_7b_instruct_v0_3_cuantizado
PlaMo-1B qai_hub_models.models.plamo_1b_cuantizado
Qwen2-7B-Instrucción qai_hub_models.models.qwen2_7b_instruct_quantized

¿Necesitar ayuda?

Holgura: https://aihub.qualcomm.com/community/slack

Problemas de GitHub: https://github.com/quic/ai-hub-models/issues

Correo electrónico: [email protected].

LICENCIA

Los modelos Qualcomm® AI Hub tienen licencia BSD-3. Ver el archivo de LICENCIA.

Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo