홈페이지>프로그래밍 관련>기타 소스코드
다운로드

Qualcomm® AI 허브 모델

Qualcomm® AI Hub 모델은 Qualcomm® 장치 배포에 최적화된 최첨단 기계 학습 모델 모음입니다.

  • 카테고리별 모델 목록
  • 기기 내 성능 데이터
  • 기기 기반 샘플 앱

지원되는 내용 보기: 온디바이스 런타임, 하드웨어 타겟 및 정밀도, 칩셋, 디바이스

설정

1. 파이썬 패키지 설치

패키지는 pip를 통해 제공됩니다. 

 # NOTE for Snapdragon X Elite users:
# Only AMDx64 (64-bit) Python in supported on Windows.
# Installation will fail when using Windows ARM64 Python.

pip install qai_hub_models

일부 모델(예: YOLOv7)에는 다음과 같이 설치할 수 있는 추가 종속성이 필요합니다. 

pip install " qai_hub_models[yolov7] "

2. AI Hub 액세스 구성

AI Hub 모델의 많은 기능 (예: 모델 컴파일, 온디바이스 프로파일링 등) 을 사용하려면 Qualcomm® AI Hub에 대한 액세스가 필요합니다.

  • Qualcomm® ID를 생성하고 이를 사용하여 Qualcomm® AI Hub에 로그인하세요.
  • API 토큰 구성: qai-hub configure --api_token API_TOKEN

시작하기

물리적 장치에서 모델 내보내기 및 실행

당사 디렉토리에 있는 모든 모델은 호스팅된 Qualcomm® 장치에서 컴파일하고 프로파일링할 수 있습니다. 

pip install " qai_hub_models[yolov7] "

python -m qai_hub_models.models.yolov7.export [--target-runtime ...] [--device ...] [--help]

Qualcomm® AI Hub를 사용하면 내보내기 스크립트가 다음을 수행합니다.

  1. 선택한 장치 및 대상 런타임에 대한 모델을 컴파일합니다 (AI Hub에서 모델 컴파일 참조).
  2. 해당하는 경우 모델을 양자화합니다 (AI Hub의 양자화 참조).
  3. 클라우드의 실제 장치에서 컴파일된 모델을 프로파일링합니다 (AI Hub에서 모델 프로파일링 참조).
  4. 클라우드의 실제 장치에서 샘플 입력 데이터로 추론을 실행하고 장치 내 모델 출력을 PyTorch 출력과 비교합니다(AI Hub에서 추론 실행 참조).
  5. 컴파일된 모델을 디스크에 다운로드합니다 .

엔드투엔드 모델 데모

우리 디렉토리에 있는 대부분의 모델에는 모델을 엔드투엔드로 실행하는 CLI 데모가 포함되어 있습니다. 

pip install " qai_hub_models[yolov7] "
# Predict and draw bounding boxes on the provided image
python -m qai_hub_models.models.yolov7.demo [--image ...] [--on-device] [--help]

엔드투엔드 데모:

  1. 사람이 읽을 수 있는 입력을 모델 입력으로 전처리합니다 .
  2. 모델 추론 실행
  3. 사람이 읽을 수 있는 형식으로 후처리 모델 출력

많은 엔드투엔드 데모에서는 AI Hub를 사용하여 실제 클라우드 호스팅 장치에서 추론을 실행합니다 ( --on-device 플래그가 설정된 경우) . 모든 엔드투엔드 데모는 PyTorch를 통해 로컬에서도 실행됩니다.

샘플 애플리케이션

물리적 장치에서 사전 및 사후 처리를 통해 모델을 실행할 수 있는 기본 애플리케이션이 AI Hub 앱 리포지토리에 게시됩니다.

Python 애플리케이션은 모든 모델에 대해 정의됩니다(qai_hub_models.models.<model_name> import App에서). 이러한 앱은 torch & numpy를 사용하여 작성된 사전 및 사후 처리 단계로 모델 추론을 래핑합니다. 이러한 앱은 예측 시간을 최소화하기보다는 쉽게 따라할 수 있는 예시로 최적화되어 있습니다.

모델 지원 데이터

온디바이스 런타임

실행 시간 지원되는 OS
퀄컴 AI 엔진 다이렉트 안드로이드, 리눅스, 윈도우
LiteRT(텐서플로우 라이트) 안드로이드, 리눅스
ONNX 안드로이드, 리눅스, 윈도우

장치 하드웨어 및 정밀성

장치 컴퓨팅 유닛 지원되는 정밀도
CPU FP32, INT16, INT8
GPU FP32, FP16
NPU(Hexagon DSP, HTP 포함) FP16*, INT16, INT8

*일부 구형 칩셋은 NPU에서 fp16 추론을 지원하지 않습니다.

칩셋

  • Snapdragon 8 Elite, 8 Gen 3, 8 Gen 2 및 8 Gen 1 모바일 플랫폼
  • Snapdragon X 엘리트 컴퓨팅 플랫폼
  • SA8255P, SA8295P, SA8650P 및 SA8775P 자동차 플랫폼
  • QCS 6490, QCS 8250 및 QCS 8550 IoT 플랫폼
  • QCS8450 XR 플랫폼

그리고 더 많은 것.

장치

  • 삼성 갤럭시 S21, S22, S23, S24 시리즈
  • 샤오미 12 및 13
  • Snapdragon X Elite CRD(컴퓨팅 참조 장치)
  • 퀄컴 RB3 2세대, RB5

그리고 더 많은 것.

모델 디렉토리

컴퓨터 비전

모델 읽어보기
이미지 분류
ConvNext-작은 qai_hub_models.models.convnext_tiny
ConvNext-Tiny-w8a16-양자화 qai_hub_models.models.convnext_tiny_w8a16_Quantized
ConvNext-Tiny-w8a8-양자화 qai_hub_models.models.convnext_tiny_w8a8_Quantized
DenseNet-121 qai_hub_models.models.densenet121
DenseNet-121-양자화 qai_hub_models.models.densenet121_Quantized
EfficientNet-B0 qai_hub_models.models.efficientnet_b0
EfficientNet-B4 qai_hub_models.models.efficientnet_b4
효율적인ViT-b2-cls qai_hub_models.models.efficientvit_b2_cls
효율적인ViT-l2-cls qai_hub_models.models.efficientvit_l2_cls
구글르넷 qai_hub_models.models.googlenet
GoogLeNet양자화 qai_hub_models.models.googlenet_Quantized
인셉션-v3 qai_hub_models.models.inception_v3
Inception-v3-양자화 qai_hub_models.models.inception_v3_Quantized
MNASNet05 qai_hub_models.models.mnasnet05
MobileNet-v2 qai_hub_models.models.mobilenet_v2
MobileNet-v2-양자화 qai_hub_models.models.mobilenet_v2_Quantized
MobileNet-v3-대형 qai_hub_models.models.mobilenet_v3_large
MobileNet-v3-대양자화 qai_hub_models.models.mobilenet_v3_large_Quantized
MobileNet-v3-소형 qai_hub_models.models.mobilenet_v3_small
RegNet qai_hub_models.models.regnet
RegNet양자화 qai_hub_models.models.regnet_Quantized
ResNeXt101 qai_hub_models.models.resnext101
ResNeXt101양자화 qai_hub_models.models.resnext101_Quantized
ResNeXt50 qai_hub_models.models.resnext50
ResNeXt50Quantized qai_hub_models.models.resnext50_Quantized
ResNet101 qai_hub_models.models.resnet101
ResNet101양자화 qai_hub_models.models.resnet101_Quantized
ResNet18 qai_hub_models.models.resnet18
ResNet18Quantized qai_hub_models.models.resnet18_Quantized
ResNet50 qai_hub_models.models.resnet50
ResNet50Quantized qai_hub_models.models.resnet50_Quantized
Shufflenet-v2 qai_hub_models.models.shufflenet_v2
Shufflenet-v2Quantized qai_hub_models.models.shufflenet_v2_Quantized
SqueezeNet-1_1 qai_hub_models.models.squeezenet1_1
SqueezeNet-1_1양자화 qai_hub_models.models.squeezenet1_1_양자화
스윈베이스 qai_hub_models.models.swin_base
스윈-스몰 qai_hub_models.models.swin_small
스윈타이니 qai_hub_models.models.swin_tiny
VIT qai_hub_models.models.vit
VIT퀀타이즈 qai_hub_models.models.vit_Quantized
WideResNet50 qai_hub_models.models.wideresnet50
WideResNet50-양자화 qai_hub_models.models.wideresnet50_Quantized
이미지 편집
AOT-GAN qai_hub_models.models.aotgan
라마 확장 qai_hub_models.models.lama_dilated
초해상도
에스르간 qai_hub_models.models.esrgan
QuickSRNet대형 qai_hub_models.models.quicksrnetlarge
QuickSRNet대양자화 qai_hub_models.models.quicksrnetlarge_Quantized
QuickSRNetMedium qai_hub_models.models.quicksrnetmedium
QuickSRNet중간 양자화 qai_hub_models.models.quicksrnetmedium_Quantized
QuickSRNetSmall qai_hub_models.models.quicksrnetsmall
QuickSRNet소양자화 qai_hub_models.models.quicksrnetsmall_Quantized
실제-ESRGAN-일반-x4v3 qai_hub_models.models.real_esrgan_general_x4v3
실제-ESRGAN-x4plus qai_hub_models.models.real_esrgan_x4plus
SESR-M5 qai_hub_models.models.sesr_m5
SESR-M5-양자화 qai_hub_models.models.sesr_m5_Quantized
XLSR qai_hub_models.models.xlsr
XLSR 양자화 qai_hub_models.models.xlsr_Quantized
의미론적 분할
DDRNet23-슬림 qai_hub_models.models.ddrnet23_slim
DeepLabV3-Plus-MobileNet qai_hub_models.models.deeplabv3_plus_mobilenet
DeepLabV3-Plus-MobileNet-양자화 qai_hub_models.models.deeplabv3_plus_mobilenet_Quantized
DeepLabV3-ResNet50 qai_hub_models.models.deeplabv3_resnet50
FCN-ResNet50 qai_hub_models.models.fcn_resnet50
FCN-ResNet50-양자화 qai_hub_models.models.fcn_resnet50_Quantized
FFNet-122NS-저해상도 qai_hub_models.models.ffnet_122ns_lowres
FFNet-40S qai_hub_models.models.ffnet_40s
FFNet-40S-양자화 qai_hub_models.models.ffnet_40s_Quantized
FFNet-54S qai_hub_models.models.ffnet_54s
FFNet-54S-양자화 qai_hub_models.models.ffnet_54s_Quantized
FFNet-78S qai_hub_models.models.ffnet_78s
FFNet-78S-저해상도 qai_hub_models.models.ffnet_78s_lowres
FFNet-78S-양자화 qai_hub_models.models.ffnet_78s_Quantized
패스트샘-S qai_hub_models.models.fastsam_s
패스트샘-X qai_hub_models.models.fastsam_x
MediaPipe-셀카-분할 qai_hub_models.models.mediapipe_selfie
시넷 qai_hub_models.models.sinet
세그먼트 무엇이든 모델 qai_hub_models.models.sam
Unet 분할 qai_hub_models.models.unet_segmentation
YOLOv8 분할 qai_hub_models.models.yolov8_seg
객체 감지
DETR-ResNet101 qai_hub_models.models.detr_resnet101
DETR-ResNet101-DC5 qai_hub_models.models.detr_resnet101_dc5
DETR-ResNet50 qai_hub_models.models.detr_resnet50
DETR-ResNet50-DC5 qai_hub_models.models.detr_resnet50_dc5
FaceAttribNet qai_hub_models.models.face_attrib_net
가벼운 얼굴 감지 qai_hub_models.models.face_det_lite
MediaPipe-얼굴 감지 qai_hub_models.models.mediapipe_face
MediaPipe-얼굴 감지-양자화 qai_hub_models.models.mediapipe_face_Quantized
MediaPipe-손 감지 qai_hub_models.models.mediapipe_hand
PPE 감지 qai_hub_models.models.gear_guard_net
PPE-검출-양자화 qai_hub_models.models.gear_guard_net_Quantized
사람 발 감지 qai_hub_models.models.foot_track_net
사람-발-검출-양자화 qai_hub_models.models.foot_track_net_Quantized
YOLOv11-탐지 qai_hub_models.models.yolov11_det
YOLOv8-탐지 qai_hub_models.models.yolov8_det
YOLOv8-검출-양자화 qai_hub_models.models.yolov8_det_Quantized
욜로-NAS qai_hub_models.models.yolonas
Yolo-NAS-양자화 qai_hub_models.models.yolonas_Quantized
욜로-v6 qai_hub_models.models.yolov6
욜로-v7 qai_hub_models.models.yolov7
Yolo-v7-양자화 qai_hub_models.models.yolov7_Quantized
포즈 추정
얼굴-랜드마크-감지 qai_hub_models.models.facemap_3dmm
HRNetPose qai_hub_models.models.hrnet_pose
HRNetPose양자화 qai_hub_models.models.hrnet_pose_Quantized
LiteHRNet qai_hub_models.models.litehrnet
MediaPipe-포즈-추정 qai_hub_models.models.mediapipe_pose
오픈포즈 qai_hub_models.models.openpose
포세넷-모바일넷 qai_hub_models.models.posenet_mobilenet
Posenet-Mobilenet-양자화 qai_hub_models.models.posenet_mobilenet_Quantized
깊이 추정
마이다스-V2 qai_hub_models.models.midas
Midas-V2-양자화 qai_hub_models.models.midas_Quantized

오디오

모델 읽어보기
음성 인식
HuggingFace-WavLM-Base-Plus qai_hub_models.models.huggingface_wavlm_base_plus
속삭임 기반 엔 qai_hub_models.models.whisper_base_en
속삭이는 작은 엔 qai_hub_models.models.whisper_small_en
속삭임-타이니엔 qai_hub_models.models.whisper_tiny_en

다중 모드

모델 읽어보기
OpenAI-클립 qai_hub_models.models.openai_clip
트로크 qai_hub_models.models.trocr

생성적 AI

모델 읽어보기
이미지 생성
컨트롤넷 qai_hub_models.models.controlnet_Quantized
확산 qai_hub_models.models.riffusion_Quantized
안정-확산-v1.5 qai_hub_models.models.stable_diffusion_v1_5_Quantized
안정-확산-v2.1 qai_hub_models.models.stable_diffusion_v2_1_Quantized
텍스트 생성
바이촨2-7B qai_hub_models.models.baichuan2_7b_양자화
IBM-Granite-3B-코드-지시 qai_hub_models.models.ibm_granite_3b_code_instruct
인더스Q-1.1B qai_hub_models.models.indus_1b_Quantized
JAIS-6p7b-채팅 qai_hub_models.models.jais_6p7b_chat_Quantized
Llama-v2-7B-채팅 qai_hub_models.models.llama_v2_7b_chat_Quantized
Llama-v3-8B-채팅 qai_hub_models.models.llama_v3_8b_chat_Quantized
Llama-v3.1-8B-채팅 qai_hub_models.models.llama_v3_1_8b_chat_Quantized
Llama-v3.2-3B-채팅 qai_hub_models.models.llama_v3_2_3b_chat_Quantized
미스트랄-3B qai_hub_models.models.mistral_3b_Quantized
미스트랄-7B-Instruct-v0.3 qai_hub_models.models.mistral_7b_instruct_v0_3_Quantized
PLAMo-1B qai_hub_models.models.plamo_1b_Quantized
Qwen2-7B-지시 qai_hub_models.models.qwen2_7b_instruct_Quantized

도움이 필요하신가요?

슬랙: https://aihub.qualcomm.com/community/slack

GitHub 문제: https://github.com/quic/ai-hub-models/issues

이메일: [email protected].

특허

Qualcomm® AI Hub 모델은 BSD-3에 따라 라이선스가 부여됩니다. 라이센스 파일을 참조하십시오.

확장하다
추가 정보
관련 애플리케이션
추천
관련 정보 전체