Beranda>Terkait pemrograman>Kode sumber lainnya
Unduh

Model Hub AI Qualcomm®

Model Qualcomm® AI Hub adalah kumpulan model pembelajaran mesin canggih yang dioptimalkan untuk diterapkan pada perangkat Qualcomm®.

  • Daftar Model berdasarkan Kategori
  • Data Performa Pada Perangkat
  • Contoh Aplikasi Asli Perangkat

Lihat yang didukung: Runtime Pada Perangkat, Target & Presisi Perangkat Keras, Chipset, Perangkat

Pengaturan

1. Instal Paket Python

Paket tersedia melalui pip: 

 # NOTE for Snapdragon X Elite users:
# Only AMDx64 (64-bit) Python in supported on Windows.
# Installation will fail when using Windows ARM64 Python.

pip install qai_hub_models

Beberapa model (misalnya YOLOv7) memerlukan dependensi tambahan yang dapat diinstal sebagai berikut: 

pip install " qai_hub_models[yolov7] "

2. Konfigurasikan Akses AI Hub

Banyak fitur Model AI Hub (seperti kompilasi model, pembuatan profil pada perangkat, dll.) yang memerlukan akses ke Qualcomm® AI Hub:

  • Buat ID Qualcomm®, dan gunakan untuk masuk ke Qualcomm® AI Hub.
  • Konfigurasikan token API Anda: qai-hub configure --api_token API_TOKEN

Memulai

Ekspor dan Jalankan Model pada Perangkat Fisik

Semua model di direktori kami dapat dikompilasi dan diprofilkan pada perangkat Qualcomm® yang dihosting: 

pip install " qai_hub_models[yolov7] "

python -m qai_hub_models.models.yolov7.export [--target-runtime ...] [--device ...] [--help]

Menggunakan Qualcomm® AI Hub , skrip ekspor akan:

  1. Kompilasi model untuk perangkat yang dipilih dan runtime target (lihat: Mengompilasi Model di AI Hub).
  2. Jika memungkinkan, Kuantisasi modelnya (lihat: Kuantisasi di AI Hub)
  3. Membuat profil model yang dikompilasi pada perangkat nyata di cloud (lihat: Membuat Profil Model di AI Hub).
  4. Jalankan inferensi dengan contoh data masukan pada perangkat nyata di cloud, dan bandingkan keluaran model pada perangkat dengan keluaran PyTorch (lihat: Menjalankan Inferensi di AI Hub)
  5. Unduh model yang dikompilasi ke disk.

Demo Model Ujung Ke Ujung

Sebagian besar model di direktori kami berisi demo CLI yang menjalankan model end-to-end : 

pip install " qai_hub_models[yolov7] "
# Predict and draw bounding boxes on the provided image
python -m qai_hub_models.models.yolov7.demo [--image ...] [--on-device] [--help]

Demo ujung ke ujung :

  1. Proses awal masukan yang dapat dibaca manusia menjadi masukan model
  2. Jalankan inferensi model
  3. Output model pascaproses ke format yang dapat dibaca manusia

Banyak demo end-to-end menggunakan AI Hub untuk menjalankan inferensi pada perangkat nyata yang dihosting di cloud (jika tanda --on-device disetel) . Semua demo ujung ke ujung juga dijalankan secara lokal melalui PyTorch.

Contoh Aplikasi

Aplikasi asli yang dapat menjalankan model kami (dengan pra dan pasca pemrosesan) pada perangkat fisik dipublikasikan di repositori Aplikasi AI Hub.

Aplikasi Python ditentukan untuk semua model (dari qai_hub_models.models.<model_name> import App). Aplikasi ini membungkus inferensi model dengan langkah-langkah sebelum dan sesudah pemrosesan yang ditulis menggunakan torch & numpy. Aplikasi ini dioptimalkan untuk menjadi contoh yang mudah diikuti, bukan untuk meminimalkan waktu prediksi.

Data Dukungan Model

Waktu Proses Pada Perangkat

Waktu proses OS yang didukung
Mesin AI Qualcomm Langsung Android, Linux, Windows
LiteRT (TensorFlow Lite) Android, Linux
ONNX Android, Linux, Windows

Perangkat Keras & Presisi

Unit Komputasi Perangkat Presisi yang Didukung
CPU FP32, INT16, INT8
GPU FP32, FP16
NPU (termasuk Hexagon DSP, HTP) FP16*, INT16, INT8

*Beberapa chipset lama tidak mendukung inferensi fp16 pada NPU-nya.

Chipset

  • Platform Seluler Snapdragon 8 Elite, 8 Gen 3, 8 Gen 2, dan 8 Gen 1
  • Platform Komputasi Snapdragon X Elite
  • Platform Otomotif SA8255P, SA8295P, SA8650P, dan SA8775P
  • Platform IoT QCS 6490, QCS 8250, dan QCS 8550
  • Platform QCS8450XR

dan masih banyak lagi.

Perangkat

  • Seri Samsung Galaxy S21, S22, S23, dan S24
  • Xiaomi 12 dan 13
  • Snapdragon X Elite CRD (Perangkat Referensi Komputasi)
  • Qualcomm RB3 Gen 2, RB5

dan masih banyak lagi.

Direktori Model

Visi Komputer

Model BACA SAYA
Klasifikasi Gambar
ConvNext-Tiny qai_hub_models.models.convnext_tiny
ConvNext-Tiny-w8a16-Terkuantisasi qai_hub_models.models.convnext_tiny_w8a16_quantized
ConvNext-Tiny-w8a8-Terkuantisasi qai_hub_models.models.convnext_tiny_w8a8_quantized
DenseNet-121 qai_hub_models.models.densenet121
DenseNet-121-Terkuantisasi qai_hub_models.models.densenet121_quantized
EfisienNet-B0 qai_hub_models.models.efisiennet_b0
EfisienNet-B4 qai_hub_models.models.efisiennet_b4
EfisienViT-b2-cls qai_hub_models.models.efisienvit_b2_cls
EfisienViT-l2-cls qai_hub_models.models.efisienvit_l2_cls
GoogleLeNet qai_hub_models.models.googlenet
GoogLeNet Terkuantisasi qai_hub_models.models.googlenet_quantized
Awal-v3 qai_hub_models.models.inception_v3
Inception-v3-Terkuantisasi qai_hub_models.models.inception_v3_quantized
MNASNet05 qai_hub_models.models.mnasnet05
MobileNet-v2 qai_hub_models.models.mobilenet_v2
MobileNet-v2-Terkuantisasi qai_hub_models.models.mobilenet_v2_quantized
MobileNet-v3-Besar qai_hub_models.models.mobilenet_v3_large
MobileNet-v3-Besar-Terkuantisasi qai_hub_models.models.mobilenet_v3_large_quantized
MobileNet-v3-Kecil qai_hub_models.models.mobilenet_v3_small
RegNet qai_hub_models.models.regnet
RegNet Terkuantisasi qai_hub_models.models.regnet_quantized
ResNeXt101 qai_hub_models.models.resnext101
ResNeXt101Terkuantisasi qai_hub_models.models.resnext101_quantized
ResNeXt50 qai_hub_models.models.resnext50
ResNeXt50 Terkuantisasi qai_hub_models.models.resnext50_quantized
ResNet101 qai_hub_models.models.resnet101
ResNet101 Terkuantisasi qai_hub_models.models.resnet101_quantized
ResNet18 qai_hub_models.models.resnet18
ResNet18 Terkuantisasi qai_hub_models.models.resnet18_quantized
ResNet50 qai_hub_models.models.resnet50
ResNet50 Terkuantisasi qai_hub_models.models.resnet50_quantized
Shufflenet-v2 qai_hub_models.models.shufflenet_v2
Shufflenet-v2Terkuantisasi qai_hub_models.models.shufflenet_v2_quantized
SqueezeNet-1_1 qai_hub_models.models.squeezenet1_1
SqueezeNet-1_1Terkuantisasi qai_hub_models.models.squeezenet1_1_quantized
Basis Babi qai_hub_models.models.swin_base
Swin-Kecil qai_hub_models.models.swin_small
Babi Kecil qai_hub_models.models.swin_tiny
VIT qai_hub_models.models.vit
VITterkuantisasi qai_hub_models.models.vit_quantized
WideResNet50 qai_hub_models.models.wideresnet50
WideResNet50-Terkuantisasi qai_hub_models.models.wideresnet50_quantized
Pengeditan Gambar
AOT-GAN qai_hub_models.models.aotgan
LaMa-Dilatasi qai_hub_models.models.lama_dilated
Resolusi Super
ESRGAN qai_hub_models.models.esrgan
QuickSRNetBesar qai_hub_models.models.quicksrnetlarge
QuickSRNetBesar-Terkuantisasi qai_hub_models.models.quicksrnetlarge_quantized
QuickSRNetMedium qai_hub_models.models.quicksrnetmedium
QuickSRNetMedium-Terkuantisasi qai_hub_models.models.quicksrnetmedium_quantized
QuickSRNetKecil qai_hub_models.models.quicksrnetsmall
QuickSRNetTerkuantisasi Kecil qai_hub_models.models.quicksrnetsmall_quantized
Nyata-ESRGAN-Umum-x4v3 qai_hub_models.models.real_esrgan_general_x4v3
Nyata-ESRGAN-x4plus qai_hub_models.models.real_esrgan_x4plus
SESR-M5 qai_hub_models.models.sesr_m5
SESR-M5-Terkuantisasi qai_hub_models.models.sesr_m5_quantized
XLSR qai_hub_models.models.xlsr
XLSR-Terkuantisasi qai_hub_models.models.xlsr_quantized
Segmentasi Semantik
DDRNet23-Slim qai_hub_models.models.ddrnet23_slim
DeepLabV3-Plus-MobileNet qai_hub_models.models.deeplabv3_plus_mobilenet
DeepLabV3-Plus-MobileNet-Terkuantisasi qai_hub_models.models.deeplabv3_plus_mobilenet_quantized
DeepLabV3-ResNet50 qai_hub_models.models.deeplabv3_resnet50
FCN-ResNet50 qai_hub_models.models.fcn_resnet50
FCN-ResNet50-Terkuantisasi qai_hub_models.models.fcn_resnet50_quantized
FFNet-122NS-Res Rendah qai_hub_models.models.ffnet_122ns_lowres
FFNet-40S qai_hub_models.models.ffnet_40s
FFNet-40S-Terkuantisasi qai_hub_models.models.ffnet_40s_quantized
FFNet-54S qai_hub_models.models.ffnet_54s
FFNet-54S-Terkuantisasi qai_hub_models.models.ffnet_54s_quantized
FFNet-78S qai_hub_models.models.ffnet_78s
FFNet-78S-Res Rendah qai_hub_models.models.ffnet_78s_lowres
FFNet-78S-Terkuantisasi qai_hub_models.models.ffnet_78s_quantized
FastSam-S qai_hub_models.models.fastsam_s
FastSam-X qai_hub_models.models.fastsam_x
Segmentasi-Selfie-MediaPipe qai_hub_models.models.mediapipe_selfie
SINet qai_hub_models.models.sinet
Segmen-Model Apa Pun qai_hub_models.models.sam
Segmentasi Unet qai_hub_models.models.unet_segmentation
YOLOv8-Segmentasi qai_hub_models.models.yolov8_seg
Deteksi Objek
DETR-ResNet101 qai_hub_models.models.detr_resnet101
DETR-ResNet101-DC5 qai_hub_models.models.detr_resnet101_dc5
DETR-ResNet50 qai_hub_models.models.detr_resnet50
DETR-ResNet50-DC5 qai_hub_models.models.detr_resnet50_dc5
FaceAttribNet qai_hub_models.models.face_attrib_net
Deteksi Wajah Ringan qai_hub_models.models.face_det_lite
MediaPipe-Deteksi Wajah qai_hub_models.models.mediapipe_face
MediaPipe-Deteksi Wajah-Terkuantisasi qai_hub_models.models.mediapipe_face_quantized
Deteksi Tangan MediaPipe qai_hub_models.models.mediapipe_hand
Deteksi APD qai_hub_models.models.gear_guard_net
Deteksi APD-Terkuantisasi qai_hub_models.models.gear_guard_net_quantized
Deteksi Kaki-Orang qai_hub_models.models.foot_track_net
Deteksi Kaki-Orang-Terkuantisasi qai_hub_models.models.foot_track_net_quantized
Deteksi YOLOv11 qai_hub_models.models.yolov11_det
Deteksi YOLOv8 qai_hub_models.models.yolov8_det
YOLOv8-Deteksi-Terkuantisasi qai_hub_models.models.yolov8_det_quantized
Yolo-NAS qai_hub_models.models.yolonas
Yolo-NAS-Terkuantisasi qai_hub_models.models.yolonas_quantized
Yolo-v6 qai_hub_models.models.yolov6
Yolo-v7 qai_hub_models.models.yolov7
Yolo-v7-Terkuantisasi qai_hub_models.models.yolov7_quantized
Estimasi Pose
Deteksi Wajah-Tengara qai_hub_models.models.facemap_3dmm
HRNetPose qai_hub_models.models.hrnet_pose
HRNetPose Terkuantisasi qai_hub_models.models.hrnet_pose_quantized
LiteHRNet qai_hub_models.models.litehrnet
Estimasi-Pose-MediaPipe qai_hub_models.models.mediapipe_pose
Pose Terbuka qai_hub_models.models.openpose
Posenet-Mobilenet qai_hub_models.models.posenet_mobilenet
Posenet-Mobilenet-Terkuantisasi qai_hub_models.models.posenet_mobilenet_quantized
Estimasi Kedalaman
Midas-V2 qai_hub_models.models.midas
Midas-V2-Terkuantisasi qai_hub_models.models.midas_quantized

Audio

Model BACA SAYA
Pengenalan Ucapan
HuggingFace-WavLM-Base-Plus qai_hub_models.models.huggingface_wavlm_base_plus
Bisikan-Base-En qai_hub_models.models.whisper_base_en
Bisikan-Kecil-En qai_hub_models.models.whisper_small_en
Bisikan-Tiny-En qai_hub_models.models.whisper_tiny_en

Multimoda

Model BACA SAYA
OpenAI-Klip qai_hub_models.models.openai_clip
TroCR qai_hub_models.models.trocr

Generatif Ai

Model BACA SAYA
Pembuatan Gambar
KontrolNet qai_hub_models.models.controlnet_quantized
Rifusi qai_hub_models.models.riffusion_quantized
Stabil-Difusi-v1.5 qai_hub_models.models.stable_diffusion_v1_5_quantized
Stabil-Difusi-v2.1 qai_hub_models.models.stable_diffusion_v2_1_quantized
Pembuatan Teks
Baichuan2-7B qai_hub_models.models.baichuan2_7b_quantized
IBM-Granite-3B-Code-Instruksikan qai_hub_models.models.ibm_granite_3b_code_instruct
IndustriQ-1.1B qai_hub_models.models.indus_1b_quantized
JAIS-6p7b-Obrolan qai_hub_models.models.jais_6p7b_chat_quantized
Llama-v2-7B-Obrolan qai_hub_models.models.llama_v2_7b_chat_quantized
Llama-v3-8B-Obrolan qai_hub_models.models.llama_v3_8b_chat_quantized
Llama-v3.1-8B-Obrolan qai_hub_models.models.llama_v3_1_8b_chat_quantized
Llama-v3.2-3B-Obrolan qai_hub_models.models.llama_v3_2_3b_chat_quantized
Mistral-3B qai_hub_models.models.mistral_3b_quantized
Mistral-7B-Instruksikan-v0.3 qai_hub_models.models.mistral_7b_instruct_v0_3_quantized
PLaMo-1B qai_hub_models.models.plamo_1b_quantized
Qwen2-7B-Instruksikan qai_hub_models.models.qwen2_7b_instruct_quantized

Butuh bantuan?

Kendur: https://aihub.qualcomm.com/community/slack

Masalah GitHub: https://github.com/quic/ai-hub-models/issues

Email: [email protected].

LISENSI

Model Qualcomm® AI Hub dilisensikan di bawah BSD-3. Lihat file LISENSI.

Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua