WeChat MiniProgram AR AI

Journal des modifications

date	contenu
2022-12-12	Nouvellement ajouté : détection humaine AI, détection manuelle AI, suivi d'image AR, etc., diagramme schématique du métro AR. Supprimer : répertoire package_image_classify de la classification des cibles IA. Le répertoire package_face_detect de l'ancienne version de la détection des visages AI.
2022-10-27	Récemment ajouté : détection de visage AI (nouvelle version), détection de texte AI, etc.
2022-09-20	Nouveau : fonction de détection d'échantillon unique. Mise à jour : webglBusiness.js a été mis à niveau vers la dernière version officielle et le code correctif pour le phénomène de conflit profond Android a également été conservé. Correctifs : 1. Lors de la prévisualisation des outils de développement, un message indique que la taille dépasse 2 Mo. 2. Les cartes de texture de Three.PlaneGeometry, Three.BoxGeometry, etc. deviennent noires, et l'écran se reflète et scintille en même temps.
2022-01-05	Nouvellement ajouté : 1. Audio spatial AR 2. Classification d'image AR+AI 3. Le robot jouet AR ajoute une fonction d'enregistrement vidéo.
2022-01-01	Réparation : La troisième méthode pour modifier le conflit de profondeur d'écran sur les téléphones Android.
2021-12-24	Correctif : utilisez la barre de navigation supérieure pour bloquer le phénomène de conflit de profondeur sur les téléphones mobiles Android.
2021-12-23 nuit	Mise à jour : 1. La taille par défaut du modèle 3D pour le suivi du plan peut être personnalisée. 2. Le modèle 3D passe de la mise à jour de la matrice (matrixAutoUpdate=false) à la mise à jour des attributs (matrixAutoUpdate=true), afin que la posture du modèle 3D puisse être modifiée. être ajusté sans matrice.
2021-12-23h	Correctif : les flocons de neige s'affichent dans le coin supérieur gauche de l'écran sur les téléphones Android
2021-11-30	Nouvellement ajouté : 1. Lunettes d'essai AR 2. Règle de mesure AR 3. Robot jouet AR fixé sur une surface plane

introduire

Ce projet contient les exemples AR et AI suivants.

1. Contenu AR+ : utilisez le suivi d'avion AR pour afficher des robots jouets. Répertoire package_world_track.

2. AR+efficacité : utilisez AR pour mesurer la longueur des objets dans un avion. Catalogue package_measure.

3. AR+jeux : utilisez AR pour suivre les changements audio spatiaux dans la position de l'utilisateur. Répertoire package_spatial_audio.

4. Détection du visage AI (nouvelle version) : portez des lunettes virtuelles sur le visage en fonction de la posture du visage détectée par l'IA. Catalogue package_face_detect_v2.

5. Détection de texte AI : détecte le texte dans les images et les écrans de caméra. Catalogue package_text_detect.

6. Suivi d'image AR : utilisez une image pour détecter la posture d'une image plate. Répertoire package_image_tracker.

7. Détection d'échantillon unique AI : utilisez une seule image pour détecter la position de l'objet cible dans l'environnement réel. Répertoire package_oneshot_tracker.

8. Détection des points clés du corps humain par l'IA : Détectez les points clés et les postures du corps humain. Catalogue package_body_detect.

9. Détection des points clés de la main AI : détecte les points clés et les gestes de la main. Répertoire package_hand_gesture.

10. Plan du métro de Shanghai : visualisez le plan de manière naturelle et interactive. Catalogue package_plane_track.

Exemple supprimé

Détection du visage par l'IA (ancienne version) : portez des lunettes virtuelles sur le visage de la personne en fonction de la posture faciale détectée par l'IA. Catalogue package_face_detect. (Supprimé car l'ancienne version de l'API n'est plus officiellement maintenue.)

AR+AI : utilisez l'IA pour détecter des objets dans les images et afficher les noms sur les objets. Répertoire package_image_classify. (L'applet se ferme souvent en raison d'une mémoire insuffisante, elle est donc supprimée.)

Documentation de référence

suivi planaire

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/plane.html

Détection des points clés du visage (nouvelle version)

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/face.html

Détection de texte

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/ocr.html

Suivi des images

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/marker.html

Détection d'un échantillon unique

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/osd.html

Détection des points clés du corps humain

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/body.html

Détection des points clés et des gestes de la main

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/hand.html

Obtenir l'image de la caméra RGBA

https://developers.weixin.qq.com/miniprogram/dev/api/ai/visionkit/VKFrame.getCameraBuffer.html

première page

1. Contenu AR+

Le robot jouet se tient sur le sol de la pièce.

2. AR+efficacité

Appuyez sur l'écran pour commencer à mesurer. Veuillez aligner la position du curseur avec les deux extrémités de l'objet mesuré.

Appuyez à nouveau sur l'écran pour terminer la mesure.

Les résultats de mesure de la version V1 sont inexacts. Pour des mesures précises, veuillez utiliser la version V2.

3. AR+jeux

Lorsque l'utilisateur se déplace avec le téléphone, le volume du lecteur changera en fonction de la distance de l'utilisateur. Derrière l'avion rouge, le son du joueur disparaît.

4. Détection des visages par l'IA

Les emplacements de 106 points caractéristiques. Ce projet utilise deux points caractéristiques avec des valeurs d'indice 78 (œil gauche) et 79 (œil droit).

Détection des visages pivotés

5. Détection de texte AI

Détectez le chinois, l'anglais, les chiffres, etc. sur l'écran de la caméra en temps réel.

6. Suivi des images AR

Carte d'identification

Montrer un robot jouet

7. Détection d'échantillon unique par IA

Afficher la boîte

8. Détection des points clés du corps humain par l'IA

19 points clés

En utilisant la distance cosinusoïdale, déterminez les mouvements de la huitième série de gymnastique diffusée.

exercice d'étirement

exercice d'agrandissement de la poitrine

mouvement latéral

9. Détection des points clés de la main AI

21 points clés

Utiliser la distance euclidienne pour déterminer le geste pierre-papier-ciseaux.

geste de tissu

geste de ciseaux

geste de pierre

10. Schéma du métro

Épinglez le plan du métro sur votre bureau et lisez-le comme un journal.

Comment utiliser

1. Utilisez les outils de développement WeChat pour ouvrir le code source du projet et prévisualisez-le sur votre téléphone mobile.

2. Si vous rencontrez des situations telles que le modèle ne se charge pas ou l'image ne s'affiche pas, veuillez activer le mode débogage du mini programme.

Si vous changez le modèle 3D

Modifiez la constante robotUrl dans le code source.

  // 机器人模型
  const robotUrl = 'https://m.sanyue.red/demo/gltf/robot.glb' ;