首页>编程相关>其他源码
下载

Qualcomm® AI 中心型号

Qualcomm® AI Hub 模型是最先进的机器学习模型的集合，针对在 Qualcomm® 设备上的部署进行了优化。

  • 按类别分类的型号列表
  • 设备上的性能数据
  • 设备本机示例应用程序

查看支持：设备上运行时、硬件目标和精度、芯片组、设备

设置

1.安装Python包

该包可通过 pip 获得： 

 # NOTE for Snapdragon X Elite users:
# Only AMDx64 (64-bit) Python in supported on Windows.
# Installation will fail when using Windows ARM64 Python.

pip install qai_hub_models

某些模型（例如 YOLOv7）需要额外的依赖项，可以按如下方式安装： 

pip install " qai_hub_models[yolov7] "

2. 配置AI Hub访问

AI Hub模型的许多功能（例如模型编译、设备上分析等）需要访问Qualcomm® AI Hub：

  • 创建 Qualcomm® ID，并使用它登录 Qualcomm® AI Hub。
  • 配置您的 API 令牌： qai-hub configure --api_token API_TOKEN

入门

在物理设备上导出并运行模型

我们目录中的所有模型都可以在托管的 Qualcomm® 设备上进行编译和分析： 

pip install " qai_hub_models[yolov7] "

python -m qai_hub_models.models.yolov7.export [--target-runtime ...] [--device ...] [--help]

使用 Qualcomm® AI Hub ，导出脚本将：

  1. 为所选设备和目标运行时编译模型（请参阅：在 AI Hub 上编译模型）。
  2. 如果适用，量化模型（请参阅：AI Hub 上的量化）
  3. 在云中的真实设备上分析已编译的模型（请参阅：在 AI Hub 上分析模型）。
  4. 在云中的真实设备上使用示例输入数据运行推理，并将设备上的模型输出与 PyTorch 输出进行比较（请参阅：在 AI Hub 上运行推理）
  5. 将编译的模型下载到磁盘。

端到端模型演示

我们目录中的大多数模型都包含端到端运行模型的 CLI 演示： 

pip install " qai_hub_models[yolov7] "
# Predict and draw bounding boxes on the provided image
python -m qai_hub_models.models.yolov7.demo [--image ...] [--on-device] [--help]

端到端演示：

  1. 将人类可读的输入预处理为模型输入
  2. 运行模型推理
  3. 将模型输出后处理为人类可读的格式

许多端到端演示使用 AI Hub 在真实的云托管设备上运行推理（如果设置了--on-device标志） 。所有端到端演示也通过 PyTorch 在本地运行。

示例应用程序

可以在物理设备上运行我们的模型（带有预处理和后处理）的本机应用程序已发布在 AI Hub 应用程序存储库中。

Python应用程序是为所有模型定义的（来自 qai_hub_models.models.<model_name> import App）。这些应用程序通过使用 torch 和 numpy 编写的预处理和后处理步骤包装模型推理。这些应用程序经过优化，成为易于理解的示例，而不是最大限度地缩短预测时间。

模型支持数据

设备上运行时

运行时支持的操作系统
高通 AI 引擎直通安卓、Linux、Windows
LiteRT（TensorFlow Lite）安卓、Linux
奥恩克斯安卓、Linux、Windows

设备硬件和精度

设备计算单元支持精度
中央处理器FP32、INT16、INT8
图形处理器FP32、FP16
NPU（包括 Hexagon DSP、HTP） FP16*、INT16、INT8

*一些较旧的芯片组的 NPU 不支持 fp16 推理。

芯片组

  • Snapdragon 8 Elite、8 Gen 3、8 Gen 2 和 8 Gen 1 移动平台
  • Snapdragon X Elite 计算平台
  • SA8255P、SA8295P、SA8650P 和 SA8775P 汽车平台
  • QCS 6490、QCS 8250 和 QCS 8550 物联网平台
  • QCS8450 XR 平台

还有更多。

设备

  • 三星 Galaxy S21、S22、S23 和 S24 系列
  • 小米12和13
  • Snapdragon X Elite CRD（计算参考设备）
  • 高通 RB3 第 2 代、RB5

还有更多。

型号目录

计算机视觉

模型自述文件
图像分类
ConvNext-Tiny qai_hub_models.models.convnext_tiny
ConvNext-Tiny-w8a16-量化qai_hub_models.models.convnext_tiny_w8a16_quantized
ConvNext-Tiny-w8a8-量化qai_hub_models.models.convnext_tiny_w8a8_quantized
DenseNet-121 qai_hub_models.models.densenet121
DenseNet-121-量化qai_hub_models.models.densenet121_quantized
高效网络-B0 qai_hub_models.models.efficientnet_b0
EfficientNet-B4 qai_hub_models.models.efficientnet_b4
高效ViT-b2-cls qai_hub_models.models.efficientvit_b2_cls
高效ViT-l2-cls qai_hub_models.models.efficientvit_l2_cls
谷歌网qai_hub_models.models.googlenet
谷歌网络量化qai_hub_models.models.googlenet_quantized
Inception-v3 qai_hub_models.models.inception_v3
Inception-v3-量化qai_hub_models.models.inception_v3_quantized
MNASNet05 qai_hub_models.models.mnasnet05
移动网络-v2 qai_hub_models.models.mobilenet_v2
MobileNet-v2-量化qai_hub_models.models.mobilenet_v2_quantized
MobileNet-v3-大型qai_hub_models.models.mobilenet_v3_large
MobileNet-v3-大量化qai_hub_models.models.mobilenet_v3_large_quantized
MobileNet-v3-小型qai_hub_models.models.mobilenet_v3_small
监管网qai_hub_models.models.regnet
RegNet量化qai_hub_models.models.regnet_quantized
ResNeXt101 qai_hub_models.models.resnext101
ResNeXt101量化qai_hub_models.models.resnext101_quantized
RESNEXt50 qai_hub_models.models.resnext50
ResNeXt50量化qai_hub_models.models.resnext50_quantized
残网101 qai_hub_models.models.resnet101
ResNet101量化qai_hub_models.models.resnet101_quantized
残差网络18 qai_hub_models.models.resnet18
ResNet18量化qai_hub_models.models.resnet18_quantized
残网50 qai_hub_models.models.resnet50
ResNet50量化qai_hub_models.models.resnet50_quantized
Shufflenet-v2 qai_hub_models.models.shufflenet_v2
Shufflenet-v2量化qai_hub_models.models.shufflenet_v2_quantized
SqueezeNet-1_1 qai_hub_models.models.squeezenet1_1
SqueezeNet-1_1量化qai_hub_models.models.squeezenet1_1_​​quantized
斯温基地qai_hub_models.models.swin_base
Swin-小号qai_hub_models.models.swin_small
小Swin qai_hub_models.models.swin_tiny
维特qai_hub_models.models.vit
VIT量化qai_hub_models.models.vit_quantized
WideResNet50 qai_hub_models.models.wideresnet50
WideResNet50-量化qai_hub_models.models.wideresnet50_quantized
图像编辑
奥特甘qai_hub_models.models.aotgan
LaMa扩张qai_hub_models.models.lama_dilated
超分辨率
ESRGAN qai_hub_models.models.esrgan
QuickSRNetLarge qai_hub_models.models.quicksrnetlarge
QuickSRNetLarge-量化qai_hub_models.models.quicksrnetlarge_quantized
QuickSRNetMedium qai_hub_models.models.quicksrnetmedium
QuickSRNet中量化qai_hub_models.models.quicksrnetmedium_quantized
QuickSRNetSmall qai_hub_models.models.quicksrnetsmall
QuickSRNet小量化qai_hub_models.models.quicksrnetsmall_quantized
Real-ESRGAN-General-x4v3 qai_hub_models.models.real_esrgan_general_x4v3
真实-ESRGAN-x4plus qai_hub_models.models.real_esrgan_x4plus
SESR-M5 qai_hub_models.models.sesr_m5
SESR-M5-量化qai_hub_models.models.sesr_m5_quantized
XLSR qai_hub_models.models.xlsr
XLSR-量化qai_hub_models.models.xlsr_quantized
语义分割
DDRNet23-超薄型qai_hub_models.models.ddrnet23_slim
DeepLabV3-Plus-MobileNet qai_hub_models.models.deeplabv3_plus_mobilenet
DeepLabV3-Plus-MobileNet-量化qai_hub_models.models.deeplabv3_plus_mobilenet_quantized
DeepLabV3-ResNet50 qai_hub_models.models.deeplabv3_resnet50
FCN-ResNet50 qai_hub_models.models.fcn_resnet50
FCN-ResNet50-量化qai_hub_models.models.fcn_resnet50_quantized
FFNet-122NS-低分辨率qai_hub_models.models.ffnet_122ns_lowres
FFNet-40S qai_hub_models.models.ffnet_40s
FFNet-40S-量化qai_hub_models.models.ffnet_40s_quantized
FFNet-54S qai_hub_models.models.ffnet_54s
FFNet-54S-量化qai_hub_models.models.ffnet_54s_quantized
FFNet-78S qai_hub_models.models.ffnet_78s
FFNet-78S-低分辨率qai_hub_models.models.ffnet_78s_lowres
FFNet-78S-量化qai_hub_models.models.ffnet_78s_quantized
FastSam-S qai_hub_models.models.fastsam_s
FastSam-X qai_hub_models.models.fastsam_x
MediaPipe-自拍分割qai_hub_models.models.mediapipe_selfie
信息网qai_hub_models.models.sinet
分段任意模型qai_hub_models.models.sam
Unet分割qai_hub_models.models.unet_segmentation
YOLOv8-分割qai_hub_models.models.yolov8_seg
物体检测
DETR-ResNet101 qai_hub_models.models.detr_resnet101
DETR-ResNet101-DC5 qai_hub_models.models.detr_resnet101_dc5
DETR-ResNet50 qai_hub_models.models.detr_resnet50
DETR-ResNet50-DC5 qai_hub_models.models.detr_resnet50_dc5
人脸属性网络qai_hub_models.models.face_attrib_net
轻量级人脸检测qai_hub_models.models.face_det_lite
MediaPipe 人脸检测qai_hub_models.models.mediapipe_face
MediaPipe-人脸检测-量化qai_hub_models.models.mediapipe_face_quantized
MediaPipe-手部检测qai_hub_models.models.mediapipe_hand
PPE-检测qai_hub_models.models.gear_guard_net
PPE-检测-量化qai_hub_models.models.gear_guard_net_quantized
人足检测qai_hub_models.models.foot_track_net
人脚检测量化qai_hub_models.models.foot_track_net_quantized
YOLOv11-检测qai_hub_models.models.yolov11_det
YOLOv8-检测qai_hub_models.models.yolov8_det
YOLOv8-检测-量化qai_hub_models.models.yolov8_det_quantized
Yolo-NAS qai_hub_models.models.yolonas
Yolo-NAS-量化qai_hub_models.models.yolonas_quantized
Yolo-v6 qai_hub_models.models.yolov6
Yolo-v7 qai_hub_models.models.yolov7
Yolo-v7-量化qai_hub_models.models.yolov7_quantized
姿势估计
面部特征点检测qai_hub_models.models.facemap_3dmm
HR网络姿势qai_hub_models.models.hrnet_pose
HRNet姿势量化qai_hub_models.models.hrnet_pose_quantized
精简人力资源网qai_hub_models.models.litehrnet
MediaPipe 姿态估计qai_hub_models.models.mediapipe_pose
开放姿势qai_hub_models.models.openpose
Posenet-Mobilenet qai_hub_models.models.posenet_mobilenet
Posenet-Mobilenet-量化qai_hub_models.models.posenet_mobilenet_quantized
深度估计
迈达斯-V2 qai_hub_models.models.midas
Midas-V2-量化qai_hub_models.models.midas_quantized

声音的

模型自述文件
语音识别
HuggingFace-WavLM-Base-Plus qai_hub_models.models.huggingface_wavlm_base_plus
耳语基地En qai_hub_models.models.whisper_base_en
Whisper-Small-En qai_hub_models.models.whisper_small_en
耳语小恩qai_hub_models.models.whisper_tiny_en

多式联运

模型自述文件
OpenAI-剪辑qai_hub_models.models.openai_clip
光学字符识别qai_hub_models.models.trocr

生成式人工智能

模型自述文件
图像生成
控制网qai_hub_models.models.controlnet_quantized
扩散qai_hub_models.models.riffusion_quantized
稳定扩散-v1.5 qai_hub_models.models.stable_diffusion_v1_5_quantized
稳定扩散-v2.1 qai_hub_models.models.stable_diffusion_v2_1_quantized
文本生成
百川2-7B qai_hub_models.models.baichuan2_7b_quantized
IBM-Granite-3B-代码指令qai_hub_models.models.ibm_granite_3b_code_instruct
IndusQ-1.1B qai_hub_models.models.indus_1b_quantized
JAIS-6p7b-聊天qai_hub_models.models.jais_6p7b_chat_quantized
Llama-v2-7B-聊天qai_hub_models.models.llama_v2_7b_chat_quantized
Llama-v3-8B-聊天qai_hub_models.models.llama_v3_8b_chat_quantized
Llama-v3.1-8B-聊天qai_hub_models.models.llama_v3_1_8b_chat_quantized
Llama-v3.2-3B-聊天qai_hub_models.models.llama_v3_2_3b_chat_quantized
米斯特拉尔-3B qai_hub_models.models.mistral_3b_quantized
Mistral-7B-指令-v0.3 qai_hub_models.models.mistral_7b_instruct_v0_3_quantized
PLAMo-1B qai_hub_models.models.plamo_1b_quantized
Qwen2-7B-指令qai_hub_models.models.qwen2_7b_instruct_quantized

需要帮助吗？

松弛：https://aihub.qualcomm.com/community/slack

GitHub 问题：https://github.com/quic/ai-hub-models/issues

电子邮件：[email protected]。

执照

Qualcomm® AI Hub 模型根据 BSD-3 获得许可。请参阅许可证文件。

展开
附加信息
相关应用
为您推荐
相关资讯 全部