ホーム>プログラミング関連>その他のソースコード
ダウンロード

Qualcomm® AI ハブ モデル

Qualcomm® AI Hub モデルは、Qualcomm® デバイスへの展開用に最適化された最先端の機械学習モデルのコレクションです。

  • カテゴリ別機種一覧
  • オンデバイスのパフォーマンス データ
  • デバイスネイティブのサンプルアプリ

サポート対象: オンデバイス ランタイム、ハードウェア ターゲットと精度、チップセット、デバイスを参照してください。

設定

1.Pythonパッケージをインストールする

パッケージは pip 経由で入手できます。 

 # NOTE for Snapdragon X Elite users:
# Only AMDx64 (64-bit) Python in supported on Windows.
# Installation will fail when using Windows ARM64 Python.

pip install qai_hub_models

一部のモデル (YOLOv7 など) では、次のようにインストールできる追加の依存関係が必要です。 

pip install " qai_hub_models[yolov7] "

2. AI ハブ アクセスの構成

AI ハブ モデルの多くの機能(モデル コンパイル、オンデバイス プロファイリングなど) には、 Qualcomm® AI Hub へのアクセスが必要です。

  • Qualcomm® ID を作成し、それを使用して Qualcomm® AI Hub にログインします。
  • API トークンを構成します: qai-hub configure --api_token API_TOKEN

はじめる

物理デバイス上でモデルをエクスポートして実行する

ディレクトリ内のすべてのモデルは、ホストされた Qualcomm® デバイス上でコンパイルおよびプロファイリングできます。 

pip install " qai_hub_models[yolov7] "

python -m qai_hub_models.models.yolov7.export [--target-runtime ...] [--device ...] [--help]

Qualcomm® AI Hub を使用すると、エクスポート スクリプトは次のようになります。

  1. 選択したデバイスとターゲット ランタイムのモデルをコンパイルします(「AI Hub でのモデルのコンパイル」を参照)。
  2. 該当する場合、モデルを量子化します(「AI ハブでの量子化」を参照)
  3. クラウド内の実際のデバイス上でコンパイルされたモデルをプロファイリングします(「AI Hub でのモデルのプロファイリング」を参照)。
  4. クラウド内の実際のデバイス上でサンプル入力データを使用して推論を実行し、デバイス上のモデル出力と PyTorch 出力を比較します (参照: AI Hub での推論の実行)
  5. コンパイルされたモデルをディスクにダウンロードします。

エンドツーエンドのモデルのデモ

ディレクトリ内のほとんどのモデルには、モデルをエンドツーエンドで実行する CLI デモが含まれています。 

pip install " qai_hub_models[yolov7] "
# Predict and draw bounding boxes on the provided image
python -m qai_hub_models.models.yolov7.demo [--image ...] [--on-device] [--help]

エンドツーエンドのデモ:

  1. 人間が判読できる入力をモデル入力に前処理する
  2. モデル推論を実行する
  3. モデル出力を人間が判読できる形式に後処理する

多くのエンドツーエンド デモでは、AI Hub を使用して、クラウドでホストされている実際のデバイスで推論を実行します( --on-deviceフラグが設定されている場合) 。すべてのエンドツーエンドのデモは、PyTorch 経由でローカルでも実行されます。

サンプルアプリケーション

物理デバイス上でモデルを (前処理および後処理を使用して) 実行できるネイティブアプリケーションは、AI Hub アプリ リポジトリで公開されています。

Pythonアプリケーションはすべてのモデルに対して定義されています (qai_hub_models.models.<model_name> import App から)。これらのアプリは、torch と numpy を使用して記述された前処理ステップと後処理ステップでモデル推論をラップします。これらのアプリは、予測時間を最小限に抑えるためではなく、わかりやすい例になるように最適化されています。

モデルサポートデータ

オンデバイスのランタイム

ランタイム対応OS
クアルコム AI エンジン ダイレクトアンドロイド、リナックス、ウィンドウズ
LiteRT (TensorFlow ライト)アンドロイド、リナックス
ONNXアンドロイド、リナックス、ウィンドウズ

デバイスのハードウェアと精度

デバイスコンピューティングユニットサポートされる精度
CPU FP32、INT16、INT8
GPU FP32、FP16
NPU (ヘキサゴン DSP、HTP を含む) FP16*、INT16、INT8

*一部の古いチップセットは、NPU での fp16 推論をサポートしていません。

チップセット

  • Snapdragon 8 Elite、8 Gen 3、8 Gen 2、および 8 Gen 1 モバイル プラットフォーム
  • Snapdragon X Elite コンピューティング プラットフォーム
  • SA8255P、SA8295P、SA8650P、および SA8775P 自動車プラットフォーム
  • QCS 6490、QCS 8250、および QCS 8550 IoT プラットフォーム
  • QCS8450 XR プラットフォーム

などなど。

デバイス

  • Samsung Galaxy S21、S22、S23、および S24 シリーズ
  • シャオミ12と13
  • Snapdragon X Elite CRD (コンピューティングリファレンスデバイス)
  • クアルコム RB3 Gen 2、RB5

などなど。

モデルディレクトリ

コンピュータビジョン

モデルお読みください
画像の分類
ConvNext-Tiny qai_hub_models.models.convnext_tiny
ConvNext-Tiny-w8a16-Quantized qai_hub_models.models.convnext_tiny_w8a16_quantized
ConvNext-Tiny-w8a8-Quantized qai_hub_models.models.convnext_tiny_w8a8_quantized
デンスネット-121 qai_hub_models.models.densenet121
DenseNet-121-量子化qai_hub_models.models.densenet121_quantized
EfficientNet-B0 qai_hub_models.models.efficientnet_b0
EfficientNet-B4 qai_hub_models.models.efficientnet_b4
EfficientViT-b2-cls qai_hub_models.models.efficientvit_b2_cls
効率的なViT-l2-cls qai_hub_models.models.efficientvit_l2_cls
GoogLeNet qai_hub_models.models.googlenet
GoogLeNetQuantized qai_hub_models.models.googlenet_quantized
インセプション-v3 qai_hub_models.models.inception_v3
インセプション-v3-量子化qai_hub_models.models.inception_v3_quantized
MNASNet05 qai_hub_models.models.mnasnet05
モバイルネットv2 qai_hub_models.models.mobilenet_v2
MobileNet-v2-量子化qai_hub_models.models.mobilenet_v2_quantized
MobileNet-v3-Large qai_hub_models.models.mobilenet_v3_large
MobileNet-v3-大量子化qai_hub_models.models.mobilenet_v3_large_quantized
MobileNet-v3-Small qai_hub_models.models.mobilenet_v3_small
RegNet qai_hub_models.models.regnet
RegNetQuantized qai_hub_models.models.regnet_quantized
レスネクスト101 qai_hub_models.models.resnext101
ResNeXt101量子化qai_hub_models.models.resnext101_quantized
レスネクスト50 qai_hub_models.models.resnext50
ResNext50量子化qai_hub_models.models.resnext50_quantized
レスネット101 qai_hub_models.models.resnet101
ResNet101量子化qai_hub_models.models.resnet101_quantized
レスネット18 qai_hub_models.models.resnet18
ResNet18量子化qai_hub_models.models.resnet18_quantized
レスネット50 qai_hub_models.models.resnet50
ResNet50量子化qai_hub_models.models.resnet50_quantized
シャッフルネット v2 qai_hub_models.models.shufflenet_v2
Shufflenet-v2Quantized qai_hub_models.models.shufflenet_v2_quantized
スクイーズネット-1_1 qai_hub_models.models.squeezenet1_1
SqueezeNet-1_1量子化qai_hub_models.models.squeezenet1_1_​​quantized
スウィンベースqai_hub_models.models.swin_base
スイング小qai_hub_models.models.swin_small
スウィンタイニーqai_hub_models.models.swin_tiny
VIT qai_hub_models.models.vit
VIT量子化qai_hub_models.models.vit_quantized
WideResNet50 qai_hub_models.models.wideresnet50
WideResNet50 量子化qai_hub_models.models.wideresnet50_quantized
画像編集
AOT-GAN qai_hub_models.models.aotgan
ラマ拡張qai_hub_models.models.lama_dirated
超解像
エスガンqai_hub_models.models.esrgan
QuickSRNetLarge qai_hub_models.models.quicksrnetlarge
QuickSRNetLarge-量子化qai_hub_models.models.quicksrnetlarge_quantized
クイックSRネットミディアムqai_hub_models.models.quicksrnetmedium
QuickSRNet中量子化qai_hub_models.models.quicksrnetmedium_quantized
QuickSRNetSmall qai_hub_models.models.quicksrnetsmall
QuickSRNetSmall-Quantized qai_hub_models.models.quicksrnetsmall_quantized
Real-ESRGAN-General-x4v3 qai_hub_models.models.real_esrgan_general_x4v3
Real-ESRGAN-x4plus qai_hub_models.models.real_esrgan_x4plus
SESR-M5 qai_hub_models.models.sesr_m5
SESR-M5-量子化qai_hub_models.models.sesr_m5_quantized
XLSR qai_hub_models.models.xlsr
XLSR量子化qai_hub_models.models.xlsr_quantized
セマンティックセグメンテーション
DDRNet23-スリムqai_hub_models.models.ddrnet23_slim
DeepLabV3-Plus-MobileNet qai_hub_models.models.deeplabv3_plus_mobilenet
DeepLabV3-Plus-MobileNet-量子化qai_hub_models.models.deeplabv3_plus_mobilenet_quantized
DeepLabV3-ResNet50 qai_hub_models.models.deeplabv3_resnet50
FCN-ResNet50 qai_hub_models.models.fcn_resnet50
FCN-ResNet50-量子化qai_hub_models.models.fcn_resnet50_quantized
FFNet-122NS-ローレゾqai_hub_models.models.ffnet_122ns_lowres
FFNet-40S qai_hub_models.models.ffnet_40s
FFNet-40S-量子化qai_hub_models.models.ffnet_40s_quantized
FFNet-54S qai_hub_models.models.ffnet_54s
FFNet-54S-量子化qai_hub_models.models.ffnet_54s_quantized
FFNet-78S qai_hub_models.models.ffnet_78s
FFNet-78S-ローレゾqai_hub_models.models.ffnet_78s_lowres
FFNet-78S-量子化qai_hub_models.models.ffnet_78s_quantized
ファストサム-S qai_hub_models.models.fastsam_s
ファストサム-X qai_hub_models.models.fastsam_x
MediaPipe-Selfie-セグメンテーションqai_hub_models.models.mediapipe_selfie
SIネットqai_hub_models.models.sinet
セグメント何でもモデルqai_hub_models.models.sam
非ネットセグメンテーションqai_hub_models.models.unet_segmentation
YOLOv8-セグメンテーションqai_hub_models.models.yolov8_seg
物体検出
DETR-ResNet101 qai_hub_models.models.detr_resnet101
DETR-ResNet101-DC5 qai_hub_models.models.detr_resnet101_dc5
DETR-ResNet50 qai_hub_models.models.detr_resnet50
DETR-ResNet50-DC5 qai_hub_models.models.detr_resnet50_dc5
FaceAttribNet qai_hub_models.models.face_attrib_net
軽量顔検出qai_hub_models.models.face_det_lite
MediaPipe-顔検出qai_hub_models.models.mediapipe_face
MediaPipe-顔検出-量子化qai_hub_models.models.mediapipe_face_quantized
MediaPipe-手の検出qai_hub_models.models.mediapipe_hand
PPE の検出qai_hub_models.models.gear_guard_net
PPE-検出-量子化qai_hub_models.models.gear_guard_net_quantized
人の足の検出qai_hub_models.models.foot_track_net
人の足の検出 - 量子化qai_hub_models.models.foot_track_net_quantized
YOLOv11-検出qai_hub_models.models.yolov11_det
YOLOv8-検出qai_hub_models.models.yolov8_det
YOLOv8-検出-量子化qai_hub_models.models.yolov8_det_quantized
Yolo-NAS qai_hub_models.models.yolonas
Yolo-NAS-量子化qai_hub_models.models.yolonas_quantized
Yolo-v6 qai_hub_models.models.yolov6
Yolo-v7 qai_hub_models.models.yolov7
Yolo-v7-量子化qai_hub_models.models.yolov7_quantized
姿勢推定
顔のランドマーク検出qai_hub_models.models.facemap_3dmm
HRネットポーズqai_hub_models.models.hrnet_pose
HRNetPoseQuantized qai_hub_models.models.hrnet_pose_quantized
LiteHRNet qai_hub_models.models.litehrnet
MediaPipe-ポーズ推定qai_hub_models.models.mediapipe_pose
オープンポーズqai_hub_models.models.openpose
Posenet-モバイルネットqai_hub_models.models.posenet_mobilenet
Posenet-Mobilenet-量子化qai_hub_models.models.posenet_mobilenet_quantized
深さの推定
ミダス V2 qai_hub_models.models.midas
Midas-V2-量子化qai_hub_models.models.midas_quantized

オーディオ

モデルお読みください
音声認識
ハグフェイス-WavLM-ベース-プラスqai_hub_models.models.huggingface_wavlm_base_plus
Whisper-Base-En qai_hub_models.models.whisper_base_en
ウィスパースモールエンqai_hub_models.models.whisper_small_en
ウィスパー・タイニー・エンqai_hub_models.models.whisper_tiny_en

マルチモーダル

モデルお読みください
OpenAI-Clip qai_hub_models.models.openai_clip
トロクqai_hub_models.models.trocr

ジェネレーティブ Ai

モデルお読みください
画像生成
コントロールネットqai_hub_models.models.controlnet_quantized
リフュージョンqai_hub_models.models.riffusion_quantized
安定版拡散v1.5 qai_hub_models.models.stable_diffusion_v1_5_quantized
安定版拡散v2.1 qai_hub_models.models.stable_diffusion_v2_1_quantized
テキストの生成
白川2-7B qai_hub_models.models.baichuan2_7b_quantized
IBM-Granite-3B-Code-Instruct qai_hub_models.models.ibm_granite_3b_code_instruct
インダスQ-1.1B qai_hub_models.models.indus_1b_quantized
JAIS-6p7b-チャットqai_hub_models.models.jais_6p7b_chat_quantized
ラマ-v2-7B-チャットqai_hub_models.models.llama_v2_7b_chat_quantized
ラマ-v3-8B-チャットqai_hub_models.models.llama_v3_8b_chat_quantized
ラマ-v3.1-8B-チャットqai_hub_models.models.llama_v3_1_8b_chat_quantized
ラマ-v3.2-3B-チャットqai_hub_models.models.llama_v3_2_3b_chat_quantized
ミストラル-3B qai_hub_models.models.mistral_3b_quantized
ミストラル-7B-命令-v0.3 qai_hub_models.models.mistral_7b_instruct_v0_3_quantized
プラモ-1B qai_hub_models.models.plamo_1b_quantized
Qwen2-7B-指示qai_hub_models.models.qwen2_7b_instruct_quantized

助けが必要ですか?

スラック: https://aihub.qualcomm.com/community/slack

GitHub の問題: https://github.com/quic/ai-hub-models/issues

電子メール: [email protected]。

ライセンス

Qualcomm® AI Hub モデルは、BSD-3 に基づいてライセンスされています。 LICENSE ファイルを参照してください。

拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて