หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

โมเดลฮับ Qualcomm® AI

โมเดล Qualcomm® AI Hub คือคอลเลกชันของโมเดลการเรียนรู้ของเครื่องที่ล้ำสมัยซึ่งได้รับการปรับให้เหมาะกับการใช้งานบนอุปกรณ์ Qualcomm®

  • รายชื่อรุ่นตามหมวดหมู่
  • ข้อมูลประสิทธิภาพบนอุปกรณ์
  • แอพตัวอย่างอุปกรณ์เนทีฟ

ดูที่รองรับ: รันไทม์บนอุปกรณ์, เป้าหมายและความแม่นยำของฮาร์ดแวร์, ชิปเซ็ต, อุปกรณ์

ตั้งค่า

1. ติดตั้งแพ็คเกจ Python

แพ็คเกจนี้มีให้ผ่าน pip: 

 # NOTE for Snapdragon X Elite users:
# Only AMDx64 (64-bit) Python in supported on Windows.
# Installation will fail when using Windows ARM64 Python.

pip install qai_hub_models

บางรุ่น (เช่น YOLOv7) จำเป็นต้องมีการพึ่งพาเพิ่มเติมซึ่งสามารถติดตั้งได้ดังนี้: 

pip install " qai_hub_models[yolov7] "

2. กำหนดค่าการเข้าถึง AI Hub

คุณสมบัติหลายอย่างของโมเดล AI Hub (เช่น การรวบรวมโมเดล การทำโปรไฟล์บนอุปกรณ์ ฯลฯ) จำเป็นต้องเข้าถึง Qualcomm® AI Hub:

  • สร้าง Qualcomm® ID และใช้เพื่อเข้าสู่ระบบ Qualcomm® AI Hub
  • กำหนดค่าโทเค็น API ของคุณ: qai-hub configure --api_token API_TOKEN

เริ่มต้นใช้งาน

ส่งออกและเรียกใช้โมเดลบนอุปกรณ์ทางกายภาพ

โมเดลทั้งหมดในไดเร็กทอรีของเราสามารถรวบรวมและสร้างโปรไฟล์บนอุปกรณ์ Qualcomm® ที่โฮสต์ได้: 

pip install " qai_hub_models[yolov7] "

python -m qai_hub_models.models.yolov7.export [--target-runtime ...] [--device ...] [--help]

การใช้ Qualcomm® AI Hub สคริปต์การส่งออกจะ:

  1. คอมไพ ล์โมเดลสำหรับอุปกรณ์ที่เลือกและรันไทม์เป้าหมาย (ดู: การคอมไพล์โมเดลบน AI Hub)
  2. หากมี ให้ จัดปริมาณ โมเดล (ดู: การจัดปริมาณบน AI Hub)
  3. สร้างโปรไฟล์ โมเดลที่คอมไพล์แล้วบนอุปกรณ์จริงในระบบคลาวด์ (ดู: การสร้างโปรไฟล์โมเดลบน AI Hub)
  4. เรียกใช้การอนุมาน ด้วยข้อมูลอินพุตตัวอย่างบนอุปกรณ์จริงในระบบคลาวด์ และเปรียบเทียบเอาต์พุตรุ่นบนอุปกรณ์กับเอาต์พุต PyTorch (ดู: การเรียกใช้การอนุมานบน AI Hub)
  5. ดาวน์โหลด โมเดลที่คอมไพล์ลงดิสก์

การสาธิตโมเดลแบบ end-to-end

โมเดลส่วนใหญ่ในไดเร็กทอรีของเรามีการสาธิต CLI ที่รันโมเดล end-to-end : 

pip install " qai_hub_models[yolov7] "
# Predict and draw bounding boxes on the provided image
python -m qai_hub_models.models.yolov7.demo [--image ...] [--on-device] [--help]

การสาธิต แบบครบวงจร :

  1. ประมวลผลอินพุตที่มนุษย์สามารถอ่านได้ ล่วงหน้า เป็นอินพุตโมเดล
  2. เรียกใช้ การอนุมานโมเดล
  3. เอาต์พุตโมเดลหลังการประมวล ผลเป็นรูปแบบที่มนุษย์สามารถอ่านได้

การสาธิตแบบ end-to-end จำนวนมากใช้ AI Hub เพื่อเรียกใช้การอนุมานบนอุปกรณ์ที่โฮสต์บนคลาวด์จริง (หากตั้งค่าสถานะ --on-device ไว้) การสาธิตแบบ end-to-end ทั้งหมดยังทำงานภายในเครื่องผ่าน PyTorch อีกด้วย

การใช้งานตัวอย่าง

แอปพลิเคชัน แบบเนทีฟ ที่สามารถรันโมเดลของเรา (ด้วยการประมวลผลก่อนและหลัง) บนอุปกรณ์จริงได้รับการเผยแพร่ในพื้นที่เก็บข้อมูลแอป AI Hub

แอปพลิเคชัน Python ถูกกำหนดไว้สำหรับทุกรุ่น (จาก qai_hub_models.models.<model_name> import App) แอปเหล่านี้รวมการอนุมานโมเดลด้วยขั้นตอนก่อนและหลังการประมวลผลที่เขียนโดยใช้ torch & numpy แอปเหล่านี้ได้รับการปรับให้เหมาะสมเพื่อให้เป็นตัวอย่างที่ปฏิบัติตามได้ง่าย แทนที่จะลดเวลาในการคาดการณ์ให้เหลือน้อยที่สุด

ข้อมูลสนับสนุนโมเดล

รันไทม์บนอุปกรณ์

รันไทม์ ระบบปฏิบัติการที่รองรับ
Qualcomm AI Engine โดยตรง แอนดรอยด์, ลินุกซ์, วินโดวส์
LiteRT (TensorFlow Lite) แอนดรอยด์, ลินุกซ์
สสส แอนดรอยด์, ลินุกซ์, วินโดวส์

ฮาร์ดแวร์อุปกรณ์และความแม่นยำ

หน่วยประมวลผลอุปกรณ์ รองรับความแม่นยำ
ซีพียู FP32, INT16, INT8
จีพียู FP32, FP16
NPU (รวมถึงหกเหลี่ยม DSP, HTP) FP16*, INT16, INT8

*ชิปเซ็ตรุ่นเก่าบางรุ่นไม่รองรับการอนุมาน fp16 บน NPU

ชิปเซ็ต

  • แพลตฟอร์มมือถือ Snapdragon 8 Elite, 8 Gen 3, 8 Gen 2 และ 8 Gen 1
  • แพลตฟอร์มประมวลผล Snapdragon X Elite
  • แพลตฟอร์มยานยนต์ SA8255P, SA8295P, SA8650P และ SA8775P
  • แพลตฟอร์ม QCS 6490, QCS 8250 และ QCS 8550 IoT
  • แพลตฟอร์ม QCS8450 XR

และอีกมากมาย

อุปกรณ์

  • Samsung Galaxy S21, S22, S23 และ S24 ซีรีส์
  • เสี่ยวมี่ 12 และ 13
  • Snapdragon X Elite CRD (อุปกรณ์อ้างอิงการประมวลผล)
  • วอลคอมม์ RB3 เจนเนอเรชั่น 2, RB5

และอีกมากมาย

ไดเรกทอรีรุ่น

คอมพิวเตอร์วิทัศน์

แบบอย่าง อ่านฉัน
การจำแนกประเภทภาพ
ConvNext-จิ๋ว qai_hub_models.models.convnext_tiny
ConvNext-Tiny-w8a16-ปริมาณ qai_hub_models.models.convnext_tiny_w8a16_quantized
ConvNext-Tiny-w8a8-ปริมาณ qai_hub_models.models.convnext_tiny_w8a8_quantized
หนาแน่นNet-121 qai_hub_models.models.densenet121
DenseNet-121-เชิงปริมาณ qai_hub_models.models.densenet121_quantized
EfficientNet-B0 qai_hub_models.models.efficientnet_b0
EfficientNet-B4 qai_hub_models.models.efficientnet_b4
EfficientViT-b2-cls qai_hub_models.models.efficientvit_b2_cls
EfficientViT-l2-cls qai_hub_models.models.efficientvit_l2_cls
GoogLeNet qai_hub_models.models.googlenet
GoogLeNetQuantized qai_hub_models.models.googlenet_quantized
การเริ่มต้น-v3 qai_hub_models.models.inception_v3
Inception-v3-เชิงปริมาณ qai_hub_models.models.inception_v3_quantized
MNASNet05 qai_hub_models.models.mnasnet05
โมบายเน็ต-v2 qai_hub_models.models.mobilenet_v2
MobileNet-v2-เชิงปริมาณ qai_hub_models.models.mobilenet_v2_quantized
MobileNet-v3-ขนาดใหญ่ qai_hub_models.models.mobilenet_v3_large
MobileNet-v3-ขนาดใหญ่-Quantized qai_hub_models.models.mobilenet_v3_large_quantized
MobileNet-v3-ขนาดเล็ก qai_hub_models.models.mobilenet_v3_small
RegNet qai_hub_models.models.regnet
RegNetQuantized qai_hub_models.models.regnet_quantized
ResNeXt101 qai_hub_models.models.resnext101
ResNeXt101เชิงปริมาณ qai_hub_models.models.resnext101_quantized
ResNeXt50 qai_hub_models.models.resnext50
ResNeXt50เชิงปริมาณ qai_hub_models.models.resnext50_quantized
เรสเน็ต101 qai_hub_models.models.resnet101
ResNet101เชิงปริมาณ qai_hub_models.models.resnet101_quantized
ResNet18 qai_hub_models.models.resnet18
ResNet18เชิงปริมาณ qai_hub_models.models.resnet18_quantized
เรสเน็ต50 qai_hub_models.models.resnet50
ResNet50เชิงปริมาณ qai_hub_models.models.resnet50_quantized
ชัฟเฟิลเน็ต-v2 qai_hub_models.models.shufflenet_v2
Shufflenet-v2Quantized qai_hub_models.models.shufflenet_v2_quantized
สควีซเน็ต-1_1 qai_hub_models.models.squeezenet1_1
SqueezeNet-1_1Quantized qai_hub_models.models.squeezenet1_1_quantized
ฐานสวิง qai_hub_models.models.swin_base
สวิง-เล็ก qai_hub_models.models.swin_small
สวิน-ไทนี่ qai_hub_models.models.swin_tiny
วิทย์ qai_hub_models.models.vit
VITเชิงปริมาณ qai_hub_models.models.vit_quantized
ไวด์เรสเน็ต50 qai_hub_models.models.wideresnet50
WideResNet50-เชิงปริมาณ qai_hub_models.models.wideresnet50_quantized
การแก้ไขภาพ
ทอท qai_hub_models.models.aotgan
ลามะ-ขยาย qai_hub_models.models.lama_dilated
สุดยอดความละเอียด
เอสอาร์แกน qai_hub_models.models.esrgan
QuickSRNetLarge qai_hub_models.models.quicksrnetขนาดใหญ่
QuickSRNetLarge-Quantized qai_hub_models.models.quicksrnetlarge_quantized
QuickSRNetMedium qai_hub_models.models.quicksrnetขนาดกลาง
QuickSRNetMedium-เชิงปริมาณ qai_hub_models.models.quicksrnetmedium_quantized
QuickSRNetSmall qai_hub_models.models.quicksrnetsmall
QuickSRNetSmall-Quantized qai_hub_models.models.quicksrnetsmall_quantized
จริง-ESRGAN-ทั่วไป-x4v3 qai_hub_models.models.real_esrgan_general_x4v3
จริง-ESRGAN-x4plus qai_hub_models.models.real_esrgan_x4plus
เอสเอสอาร์-M5 qai_hub_models.models.sesr_m5
SESR-M5-เชิงปริมาณ qai_hub_models.models.sesr_m5_quantized
XLSR qai_hub_models.models.xlsr
XLSR-เชิงปริมาณ qai_hub_models.models.xlsr_quantized
การแบ่งส่วนความหมาย
DDRNet23-สลิม qai_hub_models.models.ddrnet23_slim
DeepLabV3-Plus-MobileNet qai_hub_models.models.deeplabv3_plus_mobilenet
DeepLabV3-Plus-MobileNet-เชิงปริมาณ qai_hub_models.models.deeplabv3_plus_mobilenet_quantized
DeepLabV3-ResNet50 qai_hub_models.models.deeplabv3_resnet50
FCN-ResNet50 qai_hub_models.models.fcn_resnet50
FCN-ResNet50-เชิงปริมาณ qai_hub_models.models.fcn_resnet50_quantized
FFNet-122NS-ความละเอียดต่ำ qai_hub_models.models.ffnet_122ns_lowres
FFNet-40S qai_hub_models.models.ffnet_40s
FFNet-40S-เชิงปริมาณ qai_hub_models.models.ffnet_40s_quantized
FFNet-54S qai_hub_models.models.ffnet_54s
FFNet-54S-เชิงปริมาณ qai_hub_models.models.ffnet_54s_quantized
FFNet-78S qai_hub_models.models.ffnet_78s
FFNet-78S-ความละเอียดต่ำ qai_hub_models.models.ffnet_78s_lowres
FFNet-78S-เชิงปริมาณ qai_hub_models.models.ffnet_78s_quantized
ฟาสต์แซม-เอส qai_hub_models.models.fastsam_s
ฟาสต์แซม-เอ็กซ์ qai_hub_models.models.fastsam_x
MediaPipe-Selfie-การแบ่งส่วน qai_hub_models.models.mediapipe_selfie
ซิเน็ต qai_hub_models.models.sinet
เซ็กเมนต์-อะไรก็ได้-โมเดล qai_hub_models.models.sam
Unet-การแบ่งส่วน qai_hub_models.models.unet_segmentation
YOLOv8-การแบ่งส่วน qai_hub_models.models.yolov8_seg
การตรวจจับวัตถุ
DETR-ResNet101 qai_hub_models.models.detr_resnet101
DETR-ResNet101-DC5 qai_hub_models.models.detr_resnet101_dc5
DETR-ResNet50 qai_hub_models.models.detr_resnet50
DETR-ResNet50-DC5 qai_hub_models.models.detr_resnet50_dc5
FaceAttribNet qai_hub_models.models.face_attrib_net
น้ำหนักเบา-การตรวจจับใบหน้า qai_hub_models.models.face_det_lite
MediaPipe-การตรวจจับใบหน้า qai_hub_models.models.mediapipe_face
MediaPipe-Face-Detection-Quantized qai_hub_models.models.mediapipe_face_quantized
MediaPipe-มือ-การตรวจจับ qai_hub_models.models.mediapipe_hand
PPE-การตรวจจับ qai_hub_models.models.gear_guard_net
PPE-การตรวจจับ-เชิงปริมาณ qai_hub_models.models.gear_guard_net_quantized
การตรวจจับเท้าบุคคล qai_hub_models.models.foot_track_net
การตรวจจับเท้าบุคคล-เชิงปริมาณ qai_hub_models.models.foot_track_net_quantized
YOLOv11-การตรวจจับ qai_hub_models.models.yolov11_det
YOLOv8-การตรวจจับ qai_hub_models.models.yolov8_det
YOLOv8-การตรวจจับ-เชิงปริมาณ qai_hub_models.models.yolov8_det_quantized
โยโล-NAS qai_hub_models.models.yolonas
Yolo-NAS-Quantized qai_hub_models.models.yolonas_quantized
โยโล-v6 qai_hub_models.models.yolov6
โยโล-v7 qai_hub_models.models.yolov7
Yolo-v7-เชิงปริมาณ qai_hub_models.models.yolov7_quantized
การประมาณท่าทาง
ใบหน้า-จุดสังเกต-การตรวจจับ qai_hub_models.models.facemap_3dmm
HRNetPose qai_hub_models.models.hrnet_pose
HRNetPoseQuantized qai_hub_models.models.hrnet_pose_quantized
LiteHRNet qai_hub_models.models.litehrnet
MediaPipe-Pose-การประมาณค่า qai_hub_models.models.mediapipe_pose
เปิดท่า qai_hub_models.models.openpose
โพเซเน็ต-โมบายเน็ต qai_hub_models.models.posenet_mobilenet
Posenet-Mobilenet-ปริมาณ qai_hub_models.models.posenet_mobilenet_quantized
การประมาณความลึก
ไมดาส-V2 qai_hub_models.models.midas
Midas-V2-เชิงปริมาณ qai_hub_models.models.midas_quantized

เสียง

แบบอย่าง อ่านฉัน
การรู้จำเสียง
HuggingFace-WavLM-Base-Plus qai_hub_models.models.huggingface_wavlm_base_plus
กระซิบฐาน-En qai_hub_models.models.whisper_base_en
กระซิบ-เล็ก-En qai_hub_models.models.whisper_small_en
กระซิบ-จิ๋ว-En qai_hub_models.models.whisper_tiny_en

ต่อเนื่องหลายรูปแบบ

แบบอย่าง อ่านฉัน
OpenAI-คลิป qai_hub_models.models.openai_clip
โทรโอซีอาร์ qai_hub_models.models.trocr

เจเนอเรทีฟไอ

แบบอย่าง อ่านฉัน
การสร้างภาพ
คอนโทรลเน็ต qai_hub_models.models.controlnet_quantized
การแพร่กระจาย qai_hub_models.models.riffusion_quantized
เสถียร-การแพร่กระจาย-v1.5 qai_hub_models.models.stable_diffusion_v1_5_quantized
เสถียร-การแพร่กระจาย-v2.1 qai_hub_models.models.stable_diffusion_v2_1_quantized
การสร้างข้อความ
ไป๋ชวน2-7B qai_hub_models.models.baichuan2_7b_quantized
IBM-Granite-3B-Code-Instruct qai_hub_models.models.ibm_granite_3b_code_instruct
อินดัสคิว-1.1บี qai_hub_models.models.indus_1b_quantized
JAIS-6p7b-แชท qai_hub_models.models.jais_6p7b_chat_quantized
ลามะ-v2-7B-แชท qai_hub_models.models.llama_v2_7b_chat_quantized
ลามะ-v3-8B-แชท qai_hub_models.models.llama_v3_8b_chat_quantized
Llama-v3.1-8B-แชท qai_hub_models.models.llama_v3_1_8b_chat_quantized
Llama-v3.2-3B-แชท qai_hub_models.models.llama_v3_2_3b_chat_quantized
มิสทรัล-3B qai_hub_models.models.mistral_3b_quantized
Mistral-7B-Instruct-v0.3 qai_hub_models.models.mistral_7b_instruct_v0_3_quantized
ปลาโม-1B qai_hub_models.models.plamo_1b_quantized
Qwen2-7B-คำสั่ง qai_hub_models.models.qwen2_7b_instruct_quantized

ต้องการความช่วยเหลือ?

หย่อน: https://aihub.qualcomm.com/community/slack

ปัญหา GitHub: https://github.com/quic/ai-hub-models/issues

อีเมล: [email protected]

ใบอนุญาต

โมเดล Qualcomm® AI Hub ได้รับอนุญาตภายใต้ BSD-3 ดูไฟล์ใบอนุญาต

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด