Главная страница>Связанные с программированием>Другой исходный код
Скачать

Модели Qualcomm® AI Hub

Модели Qualcomm® AI Hub — это коллекция современных моделей машинного обучения, оптимизированных для развертывания на устройствах Qualcomm®.

  • Список моделей по категориям
  • Данные о производительности на устройстве
  • Примеры приложений, ориентированных на устройство

См. поддерживаемые: среда выполнения на устройстве, аппаратные цели и точность, наборы микросхем, устройства.

Настраивать

1. Установите пакет Python

Пакет доступен через pip: 

 # NOTE for Snapdragon X Elite users:
# Only AMDx64 (64-bit) Python in supported on Windows.
# Installation will fail when using Windows ARM64 Python.

pip install qai_hub_models

Некоторые модели (например, YOLOv7) требуют дополнительных зависимостей, которые можно установить следующим образом: 

pip install " qai_hub_models[yolov7] "

2. Настройте доступ к AI Hub

Многие функции моделей AI Hub (такие как компиляция моделей, профилирование на устройстве и т. д.) требуют доступа к Qualcomm® AI Hub:

  • Создайте идентификатор Qualcomm® и используйте его для входа в Qualcomm® AI Hub.
  • Настройте свой токен API: qai-hub configure --api_token API_TOKEN

Начиная

Экспортируйте и запустите модель на физическом устройстве

Все модели в нашем каталоге можно скомпилировать и профилировать на размещенном устройстве Qualcomm®: 

pip install " qai_hub_models[yolov7] "

python -m qai_hub_models.models.yolov7.export [--target-runtime ...] [--device ...] [--help]

Используя Qualcomm® AI Hub , сценарий экспорта будет:

  1. Скомпилируйте модель для выбранного устройства и целевой среды выполнения (см. «Компиляция моделей в AI Hub»).
  2. Если применимо, квантовайте модель (см.: Квантование в AI Hub).
  3. Профилируйте скомпилированную модель на реальном устройстве в облаке (см.: Профилирование моделей в AI Hub).
  4. Запустите логический вывод с примером входных данных на реальном устройстве в облаке и сравните выходные данные модели на устройстве с выходными данными PyTorch (см.: Выполнение вывода в AI Hub).
  5. Загрузите скомпилированную модель на диск.

Демонстрации комплексных моделей

Большинство моделей в нашем каталоге содержат демонстрационные версии CLI, которые запускают модель от начала до конца : 

pip install " qai_hub_models[yolov7] "
# Predict and draw bounding boxes on the provided image
python -m qai_hub_models.models.yolov7.demo [--image ...] [--on-device] [--help]

Сквозные демо:

  1. Предварительная обработка удобочитаемых входных данных во входные данные модели
  2. Запустить вывод модели
  3. Вывод модели постобработки в удобочитаемый формат.

Многие комплексные демонстрации используют AI Hub для выполнения вывода на реальном устройстве, размещенном в облаке (если установлен флаг --on-device ) . Все комплексные демонстрации также запускаются локально через PyTorch.

Примеры приложений

Нативные приложения, которые могут запускать наши модели (с предварительной и постобработкой) на физических устройствах, публикуются в репозитории AI Hub Apps.

Приложения Python определены для всех моделей (из приложения qai_hub_models.models.<имя_модели>). Эти приложения заключают в себе выведение модели с этапами предварительной и постобработки, написанными с использованием torch и numpy. Эти приложения оптимизированы так, чтобы служить простым для понимания примером, а не минимизировать время прогнозирования.

Данные поддержки модели

Среды выполнения на устройстве

Время выполнения Поддерживаемая ОС
Qualcomm AI Engine Direct Андроид, Линукс, Винда
LiteRT (ТензорФлоу Лайт) Андроид, Линукс
ОННКС Андроид, Линукс, Винда

Аппаратное обеспечение устройства и точность

Вычислительный блок устройства Поддерживаемая точность
Процессор ФП32, ИНТ16, ИНТ8
графический процессор ФП32, ФП16
НПУ (включает Hexagon DSP, HTP) ФП16*, INT16, INT8

*Некоторые старые чипсеты не поддерживают вывод fp16 на своих NPU.

Чипсеты

  • Мобильные платформы Snapdragon 8 Elite, 8 Gen 3, 8 Gen 2 и 8 Gen 1
  • Вычислительная платформа Snapdragon X Elite
  • Автомобильные платформы SA8255P, SA8295P, SA8650P и SA8775P
  • Платформы Интернета вещей QCS 6490, QCS 8250 и QCS 8550
  • Платформа QCS8450 XR

и многое другое.

Устройства

  • Серии Samsung Galaxy S21, S22, S23 и S24
  • Сяоми 12 и 13
  • Snapdragon X Elite CRD (эталонное вычислительное устройство)
  • Qualcomm RB3 Gen 2, RB5

и многое другое.

Каталог моделей

Компьютерное зрение

Модель ЧИТАЙТЕ
Классификация изображений
ConvNext-Tiny qai_hub_models.models.convnext_tiny
ConvNext-Tiny-w8a16-квантованный qai_hub_models.models.convnext_tiny_w8a16_quantized
ConvNext-Tiny-w8a8-квантованный qai_hub_models.models.convnext_tiny_w8a8_quantized
Плотная сеть-121 qai_hub_models.models.densenet121
DenseNet-121-квантованный qai_hub_models.models.densenet121_quantized
Эффективная сеть-B0 qai_hub_models.models.efficientnet_b0
Эффективная сеть-B4 qai_hub_models.models.efficientnet_b4
ЭффективныйВиТ-b2-cls qai_hub_models.models.efficientvit_b2_cls
ЭффективныйВиТ-l2-cls qai_hub_models.models.efficientvit_l2_cls
ГуглЛеНет qai_hub_models.models.googlenet
GoogLeNetКвантованный qai_hub_models.models.googlenet_quantized
Начало-v3 qai_hub_models.models.inception_v3
Inception-v3-квантованный qai_hub_models.models.inception_v3_quantized
MNASNet05 qai_hub_models.models.mnasnet05
МобилНет-v2 qai_hub_models.models.mobilenet_v2
MobileNet-v2-квантованный qai_hub_models.models.mobilenet_v2_quantized
MobileNet-v3-Large qai_hub_models.models.mobilenet_v3_large
MobileNet-v3-Large-Quantized qai_hub_models.models.mobilenet_v3_large_quantized
MobileNet-v3-Small qai_hub_models.models.mobilenet_v3_small
РегНет qai_hub_models.models.regnet
RegNetQuantized qai_hub_models.models.regnet_quantized
ResNeXt101 qai_hub_models.models.resnext101
ResNeXt101Квантованный qai_hub_models.models.resnext101_quantized
ResNeXt50 qai_hub_models.models.resnext50
ResNeXt50Квантованный qai_hub_models.models.resnext50_quantized
Реснет101 qai_hub_models.models.resnet101
ResNet101Квантованный qai_hub_models.models.resnet101_quantized
Реснет18 qai_hub_models.models.resnet18
ResNet18Квантованный qai_hub_models.models.resnet18_quantized
Реснет50 qai_hub_models.models.resnet50
ResNet50Квантованный qai_hub_models.models.resnet50_quantized
Шаффлнет-v2 qai_hub_models.models.shufflenet_v2
Shufflenet-v2Quantized qai_hub_models.models.shufflenet_v2_quantized
SqueezeNet-1_1 qai_hub_models.models.squeezenet1_1
SqueezeNet-1_1Квантованный qai_hub_models.models.squeezenet1_1_quantized
Свин-База qai_hub_models.models.swin_base
Свин-Смолл qai_hub_models.models.swin_small
Свин-Крошечный qai_hub_models.models.swin_tiny
ВИТ qai_hub_models.models.vit
VITквантованный qai_hub_models.models.vit_quantized
WideResNet50 qai_hub_models.models.wideresnet50
WideResNet50-квантованный qai_hub_models.models.wideresnet50_quantized
Редактирование изображений
АОТ-ГАН qai_hub_models.models.aotgan
LaMa-Расширенный qai_hub_models.models.lama_dilated
Супер разрешение
ЭСРГАН qai_hub_models.models.esrgan
QuickSRNetLarge qai_hub_models.models.quicksrnetlarge
QuickSRNetLarge-квантованный qai_hub_models.models.quicksrnetlarge_quantized
QuickSRNetMedium qai_hub_models.models.quicksrnetmedium
QuickSRNetСредне-квантованный qai_hub_models.models.quicksrnetmedium_quantized
QuickSRNetSmall qai_hub_models.models.quicksrnetsmall
QuickSRNetSmall-квантованный qai_hub_models.models.quicksrnetsmall_quantized
Real-ESRGAN-General-x4v3 qai_hub_models.models.real_esrgan_general_x4v3
Real-ESRGAN-x4plus qai_hub_models.models.real_esrgan_x4plus
СЭСР-М5 qai_hub_models.models.sesr_m5
SESR-M5-квантованный qai_hub_models.models.sesr_m5_quantized
XLSR qai_hub_models.models.xlsr
XLSR-квантованный qai_hub_models.models.xlsr_quantized
Семантическая сегментация
DDRNet23-тонкий qai_hub_models.models.ddrnet23_slim
DeepLabV3-Plus-MobileNet qai_hub_models.models.deeplabv3_plus_mobilenet
DeepLabV3-Plus-MobileNet-квантованный qai_hub_models.models.deeplabv3_plus_mobilenet_quantized
DeepLabV3-ResNet50 qai_hub_models.models.deeplabv3_resnet50
FCN-ResNet50 qai_hub_models.models.fcn_resnet50
FCN-ResNet50-квантованный qai_hub_models.models.fcn_resnet50_quantized
FFNet-122NS-LowRes qai_hub_models.models.ffnet_122ns_lowres
ФФНет-40С qai_hub_models.models.ffnet_40s
FFNet-40S-квантованный qai_hub_models.models.ffnet_40s_quantized
ФФНет-54С qai_hub_models.models.ffnet_54s
FFNet-54S-квантованный qai_hub_models.models.ffnet_54s_quantized
ФФНет-78С qai_hub_models.models.ffnet_78s
FFNet-78S-LowRes qai_hub_models.models.ffnet_78s_lowres
FFNet-78S-квантованный qai_hub_models.models.ffnet_78s_quantized
ФастСэм-С qai_hub_models.models.fastsam_s
ФастСэм-Х qai_hub_models.models.fastsam_x
MediaPipe-Selfie-Сегментация qai_hub_models.models.mediapipe_selfie
СИнет qai_hub_models.models.sinet
Сегментировать-что-нибудь-модель qai_hub_models.models.sam
Unet-Сегментация qai_hub_models.models.unet_segmentation
YOLOv8-Сегментация qai_hub_models.models.yolov8_seg
Обнаружение объектов
DETR-ResNet101 qai_hub_models.models.detr_resnet101
DETR-ResNet101-DC5 qai_hub_models.models.detr_resnet101_dc5
DETR-ResNet50 qai_hub_models.models.detr_resnet50
DETR-ResNet50-DC5 qai_hub_models.models.detr_resnet50_dc5
FaceAttribNet qai_hub_models.models.face_attrib_net
Облегченное распознавание лиц qai_hub_models.models.face_det_lite
MediaPipe-Обнаружение Лица qai_hub_models.models.mediapipe_face
MediaPipe-Face-Detection-Quantized qai_hub_models.models.mediapipe_face_quantized
MediaPipe-Обнаружение рук qai_hub_models.models.mediapipe_hand
СИЗ-Обнаружение qai_hub_models.models.gear_guard_net
PPE-обнаружение-квантованный qai_hub_models.models.gear_guard_net_quantized
Обнаружение ног человека qai_hub_models.models.foot_track_net
Квантование обнаружения ног человека qai_hub_models.models.foot_track_net_quantized
YOLOv11-Обнаружение qai_hub_models.models.yolov11_det
YOLOv8-обнаружение qai_hub_models.models.yolov8_det
YOLOv8-обнаружение-квантованный qai_hub_models.models.yolov8_det_quantized
Йоло-НАС qai_hub_models.models.yolonas
Yolo-NAS-квантованный qai_hub_models.models.yolonas_quantized
Йоло-v6 qai_hub_models.models.yolov6
Йоло-v7 qai_hub_models.models.yolov7
Yolo-v7-квантованный qai_hub_models.models.yolov7_quantized
Оценка позы
Обнаружение ориентиров лица qai_hub_models.models.facemap_3dmm
HRNetPose qai_hub_models.models.hrnet_pose
HRNetPoseQuantized qai_hub_models.models.hrnet_pose_quantized
LiteHRNet qai_hub_models.models.litehrnet
MediaPipe-Pose-Оценка qai_hub_models.models.mediapipe_pose
Открытая поза qai_hub_models.models.openpose
Posenet-Mobilenet qai_hub_models.models.posenet_mobilenet
Posenet-Mobilenet-квантованный qai_hub_models.models.posenet_mobilenet_quantized
Оценка глубины
Мидас-В2 qai_hub_models.models.midas
Midas-V2-квантованный qai_hub_models.models.midas_quantized

Аудио

Модель ЧИТАЙТЕ
Распознавание речи
HuggingFace-WavLM-Base-Plus qai_hub_models.models.huggingface_wavlm_base_plus
Whisper-Base-En qai_hub_models.models.whisper_base_en
Whisper-Small-En qai_hub_models.models.whisper_small_en
Whisper-Tiny-En qai_hub_models.models.whisper_tiny_en

Мультимодальный

Модель ЧИТАЙТЕ
OpenAI-Клип qai_hub_models.models.openai_clip
ТРОКР qai_hub_models.models.trocr

Генеративный ИИ

Модель ЧИТАЙТЕ
Генерация изображений
Контрольная сеть qai_hub_models.models.controlnet_quantized
Риффузия qai_hub_models.models.riffusion_quantized
Стабильная диффузия-v1.5 qai_hub_models.models.stable_diffusion_v1_5_quantized
Стабильная-Диффузия-v2.1 qai_hub_models.models.stable_diffusion_v2_1_quantized
Генерация текста
Байчуань2-7B qai_hub_models.models.baichuan2_7b_quantized
IBM-Granite-3B-Code-Instruct qai_hub_models.models.ibm_granite_3b_code_instruct
ИндусQ-1.1B qai_hub_models.models.indus_1b_quantized
JAIS-6p7b-Чат qai_hub_models.models.jais_6p7b_chat_quantized
Лама-v2-7B-Чат qai_hub_models.models.llama_v2_7b_chat_quantized
Лама-v3-8B-Чат qai_hub_models.models.llama_v3_8b_chat_quantized
Лама-v3.1-8B-Чат qai_hub_models.models.llama_v3_1_8b_chat_quantized
Лама-v3.2-3B-Чат qai_hub_models.models.llama_v3_2_3b_chat_quantized
Мистраль-3Б qai_hub_models.models.mistral_3b_quantized
Мистраль-7Б-Инструкт-v0.3 qai_hub_models.models.mistral_7b_instruct_v0_3_quantized
ПЛАМо-1Б qai_hub_models.models.plamo_1b_quantized
Qwen2-7B-Инструктировать qai_hub_models.models.qwen2_7b_instruct_quantized

Нужна помощь?

Слабость: https://aihub.qualcomm.com/community/slack

Проблемы с GitHub: https://github.com/quic/ai-hub-models/issues.

Электронная почта: [email protected].

ЛИЦЕНЗИЯ

Модели Qualcomm® AI Hub имеют лицензию BSD-3. См. файл ЛИЦЕНЗИИ.

Расширять
Дополнительная информация
Связанные приложения
Рекомендуем вам
Связанные новости Все