ai hub models herunterladen - ai hub models Quellcode herunterladen

ai hub models

Anderer Quellcode

1.0.0

Herunterladen

Qualcomm® AI Hub-Modelle

Die Qualcomm® AI Hub-Modelle sind eine Sammlung hochmoderner Modelle für maschinelles Lernen, die für den Einsatz auf Qualcomm®-Geräten optimiert sind.

Liste der Modelle nach Kategorie
Leistungsdaten auf dem Gerät
Gerätenative Beispiel-Apps

Siehe unterstützt: Laufzeiten auf dem Gerät, Hardwareziele und -präzision, Chipsätze, Geräte

Aufstellen

1. Installieren Sie das Python-Paket

Das Paket ist über pip erhältlich:

 # NOTE for Snapdragon X Elite users:
# Only AMDx64 (64-bit) Python in supported on Windows.
# Installation will fail when using Windows ARM64 Python.

pip install qai_hub_models

Einige Modelle (z. B. YOLOv7) erfordern zusätzliche Abhängigkeiten, die wie folgt installiert werden können:

pip install " qai_hub_models[yolov7] "

2. Konfigurieren Sie den AI Hub-Zugriff

Viele Funktionen von AI Hub-Modellen (z. B. Modellkompilierung, Profilerstellung auf dem Gerät usw.) erfordern Zugriff auf Qualcomm® AI Hub:

Erstellen Sie eine Qualcomm®-ID und melden Sie sich damit beim Qualcomm® AI Hub an.
Konfigurieren Sie Ihr API-Token: qai-hub configure --api_token API_TOKEN

Erste Schritte

Exportieren und Ausführen eines Modells auf einem physischen Gerät

Alle Modelle in unserem Verzeichnis können auf einem gehosteten Qualcomm®-Gerät kompiliert und profiliert werden:

pip install " qai_hub_models[yolov7] "

python -m qai_hub_models.models.yolov7.export [--target-runtime ...] [--device ...] [--help]

Mit Qualcomm® AI Hub führt das Exportskript Folgendes aus:

Kompilieren Sie das Modell für das ausgewählte Gerät und die Ziellaufzeit (siehe: Modelle auf AI Hub kompilieren).
Quantisieren Sie gegebenenfalls das Modell (siehe: Quantisierung auf AI Hub).
Profilieren Sie das kompilierte Modell auf einem realen Gerät in der Cloud (siehe: Profilerstellung für Modelle auf AI Hub).
Führen Sie eine Inferenz mit Beispieleingabedaten auf einem realen Gerät in der Cloud aus und vergleichen Sie die Modellausgabe auf dem Gerät mit der PyTorch-Ausgabe (siehe: Ausführen von Inferenz auf AI Hub).
Laden Sie das kompilierte Modell auf die Festplatte herunter .

End-to-End-Modelldemos

Die meisten Modelle in unserem Verzeichnis enthalten CLI-Demos, die das Modell End-to-End ausführen:

pip install " qai_hub_models[yolov7] "
# Predict and draw bounding boxes on the provided image
python -m qai_hub_models.models.yolov7.demo [--image ...] [--on-device] [--help]

End-to-End- Demos:

Verarbeiten Sie menschenlesbare Eingaben in Modelleingaben
Modellinferenz ausführen
Nachbearbeitung der Modellausgabe in einem für Menschen lesbaren Format

Viele End-to-End-Demos verwenden AI Hub, um Inferenz auf einem echten, in der Cloud gehosteten Gerät auszuführen (sofern das Flag --on-device gesetzt ist) . Alle End-to-End-Demos laufen auch lokal über PyTorch.

Beispielanwendungen

Native Anwendungen, die unsere Modelle (mit Vor- und Nachbearbeitung) auf physischen Geräten ausführen können, werden im AI Hub Apps-Repository veröffentlicht.

Python- Anwendungen sind für alle Modelle definiert (von qai_hub_models.models.<model_name> import App). Diese Apps umschließen die Modellinferenz mit Vor- und Nachbearbeitungsschritten, die mit Torch & Numpy geschrieben wurden. Diese Apps sind so optimiert, dass sie ein leicht verständliches Beispiel darstellen und nicht darauf, die Vorhersagezeit zu minimieren.

Modellunterstützungsdaten

Laufzeiten auf dem Gerät

Laufzeit	Unterstütztes Betriebssystem
Qualcomm AI Engine Direct	Android, Linux, Windows
LiteRT (TensorFlow Lite)	Android, Linux
ONNX	Android, Linux, Windows

Gerätehardware und Präzision

Geräte-Recheneinheit	Unterstützte Präzision
CPU	FP32, INT16, INT8
GPU	FP32, FP16
NPU (einschließlich Hexagon DSP, HTP)	FP16*, INT16, INT8

*Einige ältere Chipsätze unterstützen keine fp16-Inferenz auf ihrer NPU.

Chipsätze

Snapdragon 8 Elite, 8 Gen 3, 8 Gen 2 und 8 Gen 1 mobile Plattformen
Snapdragon X Elite Compute-Plattform
Automobilplattformen SA8255P, SA8295P, SA8650P und SA8775P
QCS 6490, QCS 8250 und QCS 8550 IoT-Plattformen
QCS8450 XR-Plattform

und viele mehr.

Geräte

Samsung Galaxy S21-, S22-, S23- und S24-Serie
Xiaomi 12 und 13
Snapdragon X Elite CRD (Compute Reference Device)
Qualcomm RB3 Gen 2, RB5

und viele mehr.

Modellverzeichnis

Computer Vision

Modell	README

Bildklassifizierung
ConvNext-Tiny	qai_hub_models.models.convnext_tiny
ConvNext-Tiny-w8a16-Quantized	qai_hub_models.models.convnext_tiny_w8a16_quantized
ConvNext-Tiny-w8a8-Quantized	qai_hub_models.models.convnext_tiny_w8a8_quantized
DenseNet-121	qai_hub_models.models.densenet121
DenseNet-121-Quantized	qai_hub_models.models.densenet121_quantized
EfficientNet-B0	qai_hub_models.models.efficientnet_b0
EfficientNet-B4	qai_hub_models.models.efficientnet_b4
EffizientViT-b2-cls	qai_hub_models.models.efficientvit_b2_cls
EffizientViT-l2-cls	qai_hub_models.models.efficientvit_l2_cls
GoogLeNet	qai_hub_models.models.googlenet
GoogLeNetQuantized	qai_hub_models.models.googlenet_quantized
Inception-v3	qai_hub_models.models.inception_v3
Inception-v3-Quantized	qai_hub_models.models.inception_v3_quantized
MNASNet05	qai_hub_models.models.mnasnet05
MobileNet-v2	qai_hub_models.models.mobilenet_v2
MobileNet-v2-Quantized	qai_hub_models.models.mobilenet_v2_quantized
MobileNet-v3-Large	qai_hub_models.models.mobilenet_v3_large
MobileNet-v3-Large-Quantized	qai_hub_models.models.mobilenet_v3_large_quantized
MobileNet-v3-Small	qai_hub_models.models.mobilenet_v3_small
RegNet	qai_hub_models.models.regnet
RegNetQuantized	qai_hub_models.models.regnet_quantized
ResNeXt101	qai_hub_models.models.resnext101
ResNeXt101Quantisiert	qai_hub_models.models.resnext101_quantized
ResNeXt50	qai_hub_models.models.resnext50
ResNeXt50Quantisiert	qai_hub_models.models.resnext50_quantized
ResNet101	qai_hub_models.models.resnet101
ResNet101Quantized	qai_hub_models.models.resnet101_quantized
ResNet18	qai_hub_models.models.resnet18
ResNet18Quantized	qai_hub_models.models.resnet18_quantized
ResNet50	qai_hub_models.models.resnet50
ResNet50Quantisiert	qai_hub_models.models.resnet50_quantized
Shufflenet-v2	qai_hub_models.models.shufflenet_v2
Shufflenet-v2Quantized	qai_hub_models.models.shufflenet_v2_quantized
SqueezeNet-1_1	qai_hub_models.models.squeezenet1_1
SqueezeNet-1_1Quantisiert	qai_hub_models.models.squeezenet1_1_quantized
Swin-Basis	qai_hub_models.models.swin_base
Swin-Small	qai_hub_models.models.swin_small
Swin-Tiny	qai_hub_models.models.swin_tiny
VIT	qai_hub_models.models.vit
VITQuantisiert	qai_hub_models.models.vit_quantized
WideResNet50	qai_hub_models.models.wideresnet50
WideResNet50-Quantisiert	qai_hub_models.models.wideresnet50_quantized

Bildbearbeitung
AOT-GAN	qai_hub_models.models.aotgan
LaMa-erweitert	qai_hub_models.models.lama_dilated

Superauflösung
ESRGAN	qai_hub_models.models.esrgan
QuickSRNetLarge	qai_hub_models.models.quicksrnetlarge
QuickSRNetLarge-Quantized	qai_hub_models.models.quicksrnetlarge_quantized
QuickSRNetMedium	qai_hub_models.models.quicksrnetmedium
QuickSRNetMedium-Quantized	qai_hub_models.models.quicksrnetmedium_quantized
QuickSRNetSmall	qai_hub_models.models.quicksrnetsmall
QuickSRNetSmall-Quantized	qai_hub_models.models.quicksrnetsmall_quantized
Real-ESRGAN-General-x4v3	qai_hub_models.models.real_esrgan_general_x4v3
Echt-ESRGAN-x4plus	qai_hub_models.models.real_esrgan_x4plus
SESR-M5	qai_hub_models.models.sesr_m5
SESR-M5-Quantisiert	qai_hub_models.models.sesr_m5_quantized
XLSR	qai_hub_models.models.xlsr
XLSR-quantisiert	qai_hub_models.models.xlsr_quantized

Semantische Segmentierung
DDRNet23-Slim	qai_hub_models.models.ddrnet23_slim
DeepLabV3-Plus-MobileNet	qai_hub_models.models.deeplabv3_plus_mobilenet
DeepLabV3-Plus-MobileNet-Quantized	qai_hub_models.models.deeplabv3_plus_mobilenet_quantized
DeepLabV3-ResNet50	qai_hub_models.models.deeplabv3_resnet50
FCN-ResNet50	qai_hub_models.models.fcn_resnet50
FCN-ResNet50-Quantized	qai_hub_models.models.fcn_resnet50_quantized
FFNet-122NS-LowRes	qai_hub_models.models.ffnet_122ns_lowres
FFNet-40S	qai_hub_models.models.ffnet_40s
FFNet-40S-Quantisiert	qai_hub_models.models.ffnet_40s_quantized
FFNet-54S	qai_hub_models.models.ffnet_54s
FFNet-54S-Quantisiert	qai_hub_models.models.ffnet_54s_quantized
FFNet-78S	qai_hub_models.models.ffnet_78s
FFNet-78S-LowRes	qai_hub_models.models.ffnet_78s_lowres
FFNet-78S-Quantisiert	qai_hub_models.models.ffnet_78s_quantized
FastSam-S	qai_hub_models.models.fastsam_s
FastSam-X	qai_hub_models.models.fastsam_x
MediaPipe-Selfie-Segmentierung	qai_hub_models.models.mediapipe_selfie
SINet	qai_hub_models.models.sinet
Segment-Anything-Modell	qai_hub_models.models.sam
Unet-Segmentierung	qai_hub_models.models.unet_segmentation
YOLOv8-Segmentierung	qai_hub_models.models.yolov8_seg

Objekterkennung
DETR-ResNet101	qai_hub_models.models.detr_resnet101
DETR-ResNet101-DC5	qai_hub_models.models.detr_resnet101_dc5
DETR-ResNet50	qai_hub_models.models.detr_resnet50
DETR-ResNet50-DC5	qai_hub_models.models.detr_resnet50_dc5
FaceAttribNet	qai_hub_models.models.face_attrib_net
Leichte Gesichtserkennung	qai_hub_models.models.face_det_lite
MediaPipe-Gesichtserkennung	qai_hub_models.models.mediapipe_face
MediaPipe-Face-Detection-Quantized	qai_hub_models.models.mediapipe_face_quantized
MediaPipe-Handerkennung	qai_hub_models.models.mediapipe_hand
PSA-Erkennung	qai_hub_models.models.gear_guard_net
PSA-Erkennung quantisiert	qai_hub_models.models.gear_guard_net_quantized
Personenfußerkennung	qai_hub_models.models.foot_track_net
Personenfußerkennung quantisiert	qai_hub_models.models.foot_track_net_quantized
YOLOv11-Erkennung	qai_hub_models.models.yolov11_det
YOLOv8-Erkennung	qai_hub_models.models.yolov8_det
YOLOv8-Erkennung-quantisiert	qai_hub_models.models.yolov8_det_quantized
Yolo-NAS	qai_hub_models.models.yolonas
Yolo-NAS-quantisiert	qai_hub_models.models.yolonas_quantized
Yolo-v6	qai_hub_models.models.yolov6
Yolo-v7	qai_hub_models.models.yolov7
Yolo-v7-Quantisiert	qai_hub_models.models.yolov7_quantized

Posenschätzung
Gesichts-Landmark-Erkennung	qai_hub_models.models.facemap_3dmm
HRNetPose	qai_hub_models.models.hrnet_pose
HRNetPoseQuantized	qai_hub_models.models.hrnet_pose_quantized
LiteHRNet	qai_hub_models.models.litehrnet
MediaPipe-Pose-Schätzung	qai_hub_models.models.mediapipe_pose
OpenPose	qai_hub_models.models.openpose
Posenet-Mobilenet	qai_hub_models.models.posenet_mobilenet
Posenet-Mobilenet-quantisiert	qai_hub_models.models.posenet_mobilenet_quantized

Tiefenschätzung
Midas-V2	qai_hub_models.models.midas
Midas-V2-Quantisiert	qai_hub_models.models.midas_quantized

Audio

Modell	README

Spracherkennung
HuggingFace-WavLM-Base-Plus	qai_hub_models.models.huggingface_wavlm_base_plus
Whisper-Base-En	qai_hub_models.models.whisper_base_en
Whisper-Small-En	qai_hub_models.models.whisper_small_en
Whisper-Tiny-En	qai_hub_models.models.whisper_tiny_en

Multimodal

Modell	README

OpenAI-Clip	qai_hub_models.models.openai_clip
TrOCR	qai_hub_models.models.trocr

Generative KI

Modell	README

Bilderzeugung
ControlNet	qai_hub_models.models.controlnet_quantized
Riffusion	qai_hub_models.models.riffusion_quantized
Stable-Diffusion-v1.5	qai_hub_models.models.stable_diffusion_v1_5_quantized
Stable-Diffusion-v2.1	qai_hub_models.models.stable_diffusion_v2_1_quantized

Textgenerierung
Baichuan2-7B	qai_hub_models.models.baichuan2_7b_quantized
IBM-Granite-3B-Code-Instruct	qai_hub_models.models.ibm_granite_3b_code_instruct
IndusQ-1.1B	qai_hub_models.models.indus_1b_quantized
JAIS-6p7b-Chat	qai_hub_models.models.jais_6p7b_chat_quantized
Lama-v2-7B-Chat	qai_hub_models.models.llama_v2_7b_chat_quantized
Lama-v3-8B-Chat	qai_hub_models.models.llama_v3_8b_chat_quantized
Lama-v3.1-8B-Chat	qai_hub_models.models.llama_v3_1_8b_chat_quantized
Lama-v3.2-3B-Chat	qai_hub_models.models.llama_v3_2_3b_chat_quantized
Mistral-3B	qai_hub_models.models.mistral_3b_quantized
Mistral-7B-Instruct-v0.3	qai_hub_models.models.mistral_7b_instruct_v0_3_quantized
PLaMo-1B	qai_hub_models.models.plamo_1b_quantized
Qwen2-7B-Anleitung	qai_hub_models.models.qwen2_7b_instruct_quantized