首頁>編程相關>其他源碼
下載

Qualcomm® AI 中心型號

Qualcomm® AI Hub 模型是最先進的機器學習模型的集合，針對在 Qualcomm® 設備上的部署進行了最佳化。

  • 按類別分類的型號列表
  • 設備上的性能數據
  • 設備本機範例應用程式

查看支援：設備上運行時、硬體目標和精度、晶片組、設備

設定

1.安裝Python包

該包可透過 pip 取得： 

 # NOTE for Snapdragon X Elite users:
# Only AMDx64 (64-bit) Python in supported on Windows.
# Installation will fail when using Windows ARM64 Python.

pip install qai_hub_models

某些模型（例如 YOLOv7）需要額外的依賴項，可以如下安裝： 

pip install " qai_hub_models[yolov7] "

2. 配置AI Hub訪問

AI Hub模型的許多功能（例如模型編譯、設備上分析等）都需要存取Qualcomm® AI Hub：

  • 建立 Qualcomm® ID，並使用它登入 Qualcomm® AI Hub。
  • 設定您的 API 令牌： qai-hub configure --api_token API_TOKEN

入門

在實體設備上匯出並運行模型

我們目錄中的所有模型都可以在託管的 Qualcomm® 裝置上進行編譯和分析： 

pip install " qai_hub_models[yolov7] "

python -m qai_hub_models.models.yolov7.export [--target-runtime ...] [--device ...] [--help]

使用 Qualcomm® AI Hub ，匯出腳本將：

  1. 為所選設備和目標執行時間編譯模型（請參閱：在 AI Hub 上編譯模型）。
  2. 如果適用，量化模型（請參閱：AI Hub 上的量化）
  3. 在雲端中的真實裝置上分析已編譯的模型（請參閱：在 AI Hub 上分析模型）。
  4. 在雲端中的真實裝置上使用範例輸入資料運行推理，並將裝置上的模型輸出與 PyTorch 輸出進行比較（請參閱：在 AI Hub 上執行推理）
  5. 將編譯的模型下載到磁碟。

端對端模型演示

我們目錄中的大多數模型都包含端到端運行模型的 CLI 演示： 

pip install " qai_hub_models[yolov7] "
# Predict and draw bounding boxes on the provided image
python -m qai_hub_models.models.yolov7.demo [--image ...] [--on-device] [--help]

端對端示範：

  1. 將人類可讀的輸入預處理為模型輸入
  2. 運行模型推理
  3. 將模型輸出後處理為人類可讀的格式

許多端到端演示使用 AI Hub 在真實的雲端託管設備上運行推理（如果設定了--on-device標誌） 。所有端到端演示也透過 PyTorch 在本地運行。

範例應用程式

可以在實體裝置上運行我們的模型（具有預處理和後處理）的本機應用程式已發佈在 AI Hub 應用程式儲存庫中。

Python應用程式是為所有模型定義的（來自 qai_hub_models.models.<model_name> import App）。這些應用程式透過使用 torch 和 numpy 編寫的預處理和後處理步驟包裝模型推理。這些應用程式經過最佳化，成為易於理解的範例，而不是最大限度地縮短預測時間。

模型支援數據

設備上運作時

運行時支援的作業系統
高通 AI 引擎直通安卓、Linux、Windows
LiteRT（TensorFlow Lite）安卓、Linux
奧恩克斯安卓、Linux、Windows

設備硬體和精準度

設備計算單元支援精度
中央處理器FP32、INT16、INT8
圖形處理器FP32、FP16
NPU（含 Hexagon DSP、HTP） FP16*、INT16、INT8

*一些較舊的晶片組的 NPU 不支援 fp16 推理。

晶片組

  • Snapdragon 8 Elite、8 Gen 3、8 Gen 2 和 8 Gen 1 行動平台
  • Snapdragon X Elite 運算平台
  • SA8255P、SA8295P、SA8650P 和 SA8775P 汽車平台
  • QCS 6490、QCS 8250 和 QCS 8550 物聯網平台
  • QCS8450 XR 平台

還有更多。

裝置

  • 三星 Galaxy S21、S22、S23 和 S24 系列
  • 小米12和13
  • Snapdragon X Elite CRD（計算參考設備）
  • 高通 RB3 第 2 代、RB5

還有更多。

型號目錄

電腦視覺

模型自述文件
影像分類
ConvNext-Tiny qai_hub_models.models.convnext_tiny
ConvNext-Tiny-w8a16-量化qai_hub_models.models.convnext_tiny_w8a16_quantized
ConvNext-Tiny-w8a8-量化qai_hub_models.models.convnext_tiny_w8a8_quantized
DenseNet-121 qai_hub_models.models.densenet121
DenseNet-121-量化qai_hub_models.models.densenet121_quantized
高效率網路-B0 qai_hub_models.models.efficientnet_b0
EfficientNet-B4 qai_hub_models.models.efficientnet_b4
高效能ViT-b2-cls qai_hub_models.models.efficientvit_b2_cls
高效ViT-l2-cls qai_hub_models.models.efficientvit_l2_cls
Google網qai_hub_models.models.googlenet
谷歌網路量化qai_hub_models.models.googlenet_quantized
Inception-v3 qai_hub_models.models.inception_v3
Inception-v3-量化qai_hub_models.models.inception_v3_quantized
MNASNet05 qai_hub_models.models.mnasnet05
行動網路-v2 qai_hub_models.models.mobilenet_v2
MobileNet-v2-量化qai_hub_models.models.mobilenet_v2_quantized
MobileNet-v3-大型qai_hub_models.models.mobilenet_v3_large
MobileNet-v3-大量化qai_hub_models.models.mobilenet_v3_large_quantized
MobileNet-v3-小型qai_hub_models.models.mobilenet_v3_small
監管網qai_hub_models.models.regnet
RegNet量化qai_hub_models.models.regnet_quantized
ResNeXt101 qai_hub_models.models.resnext101
ResNeXt101量化qai_hub_models.models.resnext101_quantized
RESNEXt50 qai_hub_models.models.resnext50
ResNeXt50量化qai_hub_models.models.resnext50_quantized
殘網101 qai_hub_models.models.resnet101
ResNet101量化qai_hub_models.models.resnet101_quantized
殘差網路18 qai_hub_models.models.resnet18
ResNet18量化qai_hub_models.models.resnet18_quantized
殘網50 qai_hub_models.models.resnet50
ResNet50量化qai_hub_models.models.resnet50_quantized
Shufflenet-v2 qai_hub_models.models.shufflenet_v2
Shufflenet-v2量化qai_hub_models.models.shufflenet_v2_quantized
SqueezeNet-1_1 qai_hub_models.models.squeezenet1_1
SqueezeNet-1_1量化qai_hub_models.models.squeezenet1_1_​​quantized
斯溫基地qai_hub_models.models.swin_base
Swin-小號qai_hub_models.models.swin_small
小Swin qai_hub_models.models.swin_tiny
維特qai_hub_models.models.vit
VIT量化qai_hub_models.models.vit_quantized
WideResNet50 qai_hub_models.models.wideresnet50
WideResNet50-量化qai_hub_models.models.wideresnet50_quantized
圖像編輯
奧特甘qai_hub_models.models.aotgan
LaMa擴張qai_hub_models.models.lama_dilated
超解析度
ESRGAN qai_hub_models.models.esrgan
QuickSRNetLarge qai_hub_models.models.quicksrnetlarge
QuickSRNetLarge-量化qai_hub_models.models.quicksrnetlarge_quantized
QuickSRNetMedium qai_hub_models.models.quicksrnetmedium
QuickSRNet中量化qai_hub_models.models.quicksrnetmedium_quantized
QuickSRNetSmall qai_hub_models.models.quicksrnetsmall
QuickSRNet小量化qai_hub_models.models.quicksrnetsmall_quantized
Real-ESRGAN-General-x4v3 qai_hub_models.models.real_esrgan_general_x4v3
真實-ESRGAN-x4plus qai_hub_models.models.real_esrgan_x4plus
SESR-M5 qai_hub_models.models.sesr_m5
SESR-M5-量化qai_hub_models.models.sesr_m5_quantized
XLSR qai_hub_models.models.xlsr
XLSR-量化qai_hub_models.models.xlsr_quantized
語意分割
DDRNet23-超薄型qai_hub_models.models.ddrnet23_slim
DeepLabV3-Plus-MobileNet qai_hub_models.models.deeplabv3_plus_mobilenet
DeepLabV3-Plus-MobileNet-量化qai_hub_models.models.deeplabv3_plus_mobilenet_quantized
DeepLabV3-ResNet50 qai_hub_models.models.deeplabv3_resnet50
FCN-ResNet50 qai_hub_models.models.fcn_resnet50
FCN-ResNet50-量化qai_hub_models.models.fcn_resnet50_quantized
FFNet-122NS-低分辨率qai_hub_models.models.ffnet_122ns_lowres
FFNet-40S qai_hub_models.models.ffnet_40s
FFNet-40S-量化qai_hub_models.models.ffnet_40s_quantized
FFNet-54S qai_hub_models.models.ffnet_54s
FFNet-54S-量化qai_hub_models.models.ffnet_54s_quantized
FFNet-78S qai_hub_models.models.ffnet_78s
FFNet-78S-低分辨率qai_hub_models.models.ffnet_78s_lowres
FFNet-78S-量化qai_hub_models.models.ffnet_78s_quantized
FastSam-S qai_hub_models.models.fastsam_s
FastSam-X qai_hub_models.models.fastsam_x
MediaPipe-自拍分割qai_hub_models.models.mediapipe_selfie
資訊網qai_hub_models.models.sinet
分段任意模型qai_hub_models.models.sam
Unet分割qai_hub_models.models.unet_segmentation
YOLOv8-分割qai_hub_models.models.yolov8_seg
物體偵測
DETR-ResNet101 qai_hub_models.models.detr_resnet101
DETR-ResNet101-DC5 qai_hub_models.models.detr_resnet101_dc5
DETR-ResNet50 qai_hub_models.models.detr_resnet50
DETR-ResNet50-DC5 qai_hub_models.models.detr_resnet50_dc5
臉部屬性網絡qai_hub_models.models.face_attrib_net
輕量級人臉偵測qai_hub_models.models.face_det_lite
MediaPipe 人臉偵測qai_hub_models.models.mediapipe_face
MediaPipe-人臉偵測-量化qai_hub_models.models.mediapipe_face_quantized
MediaPipe-手部檢測qai_hub_models.models.mediapipe_hand
PPE-檢測qai_hub_models.models.gear_guard_net
PPE-檢測-量化qai_hub_models.models.gear_guard_net_quantized
人足檢測qai_hub_models.models.foot_track_net
人腳檢測量化qai_hub_models.models.foot_track_net_quantized
YOLOv11-檢測qai_hub_models.models.yolov11_det
YOLOv8-檢測qai_hub_models.models.yolov8_det
YOLOv8-檢測-量化qai_hub_models.models.yolov8_det_quantized
Yolo-NAS qai_hub_models.models.yolonas
Yolo-NAS-量化qai_hub_models.models.yolonas_quantized
Yolo-v6 qai_hub_models.models.yolov6
Yolo-v7 qai_hub_models.models.yolov7
Yolo-v7-量化qai_hub_models.models.yolov7_quantized
姿勢估計
臉部特徵點偵測qai_hub_models.models.facemap_3dmm
HR網絡姿勢qai_hub_models.models.hrnet_pose
HRNet姿勢量化qai_hub_models.models.hrnet_pose_quantized
精簡人力資源網qai_hub_models.models.litehrnet
MediaPipe 姿態估計qai_hub_models.models.mediapipe_pose
開放姿勢qai_hub_models.models.openpose
Posenet-Mobilenet qai_hub_models.models.posenet_mobilenet
Posenet-Mobilenet-量化qai_hub_models.models.posenet_mobilenet_quantized
深度估計
邁達斯-V2 qai_hub_models.models.midas
Midas-V2-量化qai_hub_models.models.midas_quantized

聲音的

模型自述文件
語音辨識
HuggingFace-WavLM-Base-Plus qai_hub_models.models.huggingface_wavlm_base_plus
耳語基地En qai_hub_models.models.whisper_base_en
Whisper-Small-En qai_hub_models.models.whisper_small_en
耳語小恩qai_hub_models.models.whisper_tiny_en

多式聯運

模型自述文件
OpenAI-剪輯qai_hub_models.models.openai_clip
光學字元辨識qai_hub_models.models.trocr

生成式人工智慧

模型自述文件
影像生成
控制網qai_hub_models.models.controlnet_quantized
擴散qai_hub_models.models.riffusion_quantized
穩定擴散-v1.5 qai_hub_models.models.stable_diffusion_v1_5_quantized
穩定擴散-v2.1 qai_hub_models.models.stable_diffusion_v2_1_quantized
文字生成
百川2-7B qai_hub_models.models.baichuan2_7b_quantized
IBM-Granite-3B-程式碼指令qai_hub_models.models.ibm_granite_3b_code_instruct
IndusQ-1.1B qai_hub_models.models.indus_1b_quantized
JAIS-6p7b-聊天qai_hub_models.models.jais_6p7b_chat_quantized
Llama-v2-7B-聊天qai_hub_models.models.llama_v2_7b_chat_quantized
Llama-v3-8B-聊天qai_hub_models.models.llama_v3_8b_chat_quantized
Llama-v3.1-8B-聊天qai_hub_models.models.llama_v3_1_8b_chat_quantized
Llama-v3.2-3B-聊天qai_hub_models.models.llama_v3_2_3b_chat_quantized
米斯特拉爾-3B qai_hub_models.models.mistral_3b_quantized
Mistral-7B-指令-v0.3 qai_hub_models.models.mistral_7b_instruct_v0_3_quantized
PLAMo-1B qai_hub_models.models.plamo_1b_quantized
Qwen2-7B-指令qai_hub_models.models.qwen2_7b_instruct_quantized

需要幫助嗎？

鬆弛：https://aihub.qualcomm.com/community/slack

GitHub 問題：https://github.com/quic/ai-hub-models/issues

電子郵件：[email protected]。

執照

Qualcomm® AI Hub 模型根據 BSD-3 授權。請參閱許可證文件。

展開
附加信息
相關應用
爲您推薦
相關資訊 全部