WeChat MiniProgram AR AI

Änderungsprotokoll

Datum	Inhalt
12.12.2022	Neu hinzugefügt: KI-Menschenerkennung, KI-Handerkennung, AR-Bildverfolgung usw., schematisches Diagramm der AR-U-Bahn. Löschen: package_image_classify-Verzeichnis der KI-Zielklassifizierung. Das Verzeichnis package_face_detect der alten Version der KI-Gesichtserkennung.
27.10.2022	Neu hinzugefügt: KI-Gesichtserkennung (neue Version), KI-Texterkennung usw.
20.09.2022	Neu: Einzelprobenerkennungsfunktion. Update: webglBusiness.js wurde auf die neueste offizielle Version aktualisiert und der Fixcode für das Android-Deep-Conflict-Phänomen wurde ebenfalls beibehalten. Korrekturen: 1. Bei der Vorschau der Entwicklertools wird angezeigt, dass die Größe 2 MB überschreitet. 2. Die Texturkarten von Three.PlaneGeometry, Three.BoxGeometry usw. werden schwarz und der Bildschirm spiegelt und flackert gleichzeitig.
05.01.2022	Neu hinzugefügt: 1. AR-Spatial-Audio 2. AR+AI-Bildklassifizierung 3. AR-Spielzeugroboter fügt Videoaufzeichnungsfunktion hinzu.
01.01.2022	Reparieren: Die dritte Methode zum Ändern des Bildschirmtiefenkonflikts auf Android-Telefonen.
24.12.2021	Fix: Verwenden Sie die obere Navigationsleiste, um das Tiefenkonfliktphänomen auf Android-Mobiltelefonen zu blockieren.
23.12.2021 Nacht	Update: 1. Die Standardgröße des 3D-Modells für die Ebenenverfolgung kann angepasst werden. 2. Das 3D-Modell ändert sich von der Matrixaktualisierung (matrixAutoUpdate=false) zur Attributaktualisierung (matrixAutoUpdate=true), sodass die Haltung des 3D-Modells angepasst werden kann ohne Matrix angepasst werden.
2021-12-23 Uhr	Fix: Auf Android-Telefonen werden in der oberen linken Ecke des Bildschirms Schneeflocken angezeigt
30.11.2021	Neu hinzugefügt: 1. AR-Anprobebrille 2. AR-Messlineal 3. AR-Spielzeugroboter auf einer ebenen Fläche befestigt

einführen

Dieses Projekt enthält die folgenden AR- und KI-Beispiele.

1. AR+-Inhalte: Verwenden Sie AR-Flugzeugverfolgung, um Spielzeugroboter anzuzeigen. Verzeichnis package_world_track.

2. AR+Effizienz: Verwenden Sie AR, um die Länge von Objekten auf einer Ebene zu messen. Katalog package_measure.

3. AR+Spiele: Verwenden Sie AR, um räumliche Audioänderungen in der Position des Benutzers zu verfolgen. Verzeichnis package_spatial_audio.

4. KI-Gesichtserkennung (neue Version): Tragen Sie eine virtuelle Brille im Gesicht, basierend auf der von der KI erkannten Gesichtshaltung. Katalog package_face_detect_v2.

5. KI-Texterkennung: Erkennen Sie Text in Bildern und Kamerabildschirmen. Katalog package_text_detect.

6. AR-Bildverfolgung: Verwenden Sie ein Bild, um die Haltung eines flachen Bildes zu erkennen. Verzeichnis package_image_tracker.

7. KI-Einzelprobenerkennung: Verwenden Sie nur ein Bild, um die Position des Zielobjekts in der realen Umgebung zu erkennen. Verzeichnis package_oneshot_tracker.

8. KI-Erkennung von Schlüsselpunkten des menschlichen Körpers: Erkennen Sie Schlüsselpunkte und Körperhaltungen des menschlichen Körpers. Katalog package_body_detect.

9. KI-Hand-Schlüsselpunkterkennung: Erkennen Sie Hand-Schlüsselpunkte und Gesten. Verzeichnis package_hand_gesture.

10. U-Bahn-Karte von Shanghai: Sehen Sie sich die Karte auf natürliche und interaktive Weise an. Katalog package_plane_track.

Gelöschtes Beispiel

KI-Gesichtserkennung (alte Version): Tragen Sie eine virtuelle Brille auf dem Gesicht der Person, basierend auf der von der KI erkannten Gesichtshaltung. Katalog package_face_detect. (Gelöscht, da die alte Version der API nicht mehr offiziell gepflegt wird.)

AR+KI: Verwenden Sie KI, um Objekte in Bildern zu erkennen und Namen auf den Objekten anzuzeigen. Verzeichnis package_image_classify. (Das Applet wird häufig wegen unzureichendem Speicher beendet und daher gelöscht.)

Referenzdokumentation

planare Verfolgung

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/plane.html

Erkennung von Gesichtsschlüsselpunkten (neue Version)

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/face.html

Texterkennung

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/ocr.html

Bildverfolgung

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/marker.html

Einzelprobenerkennung

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/osd.html

Schlüsselpunkterkennung des menschlichen Körpers

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/body.html

Handpunkt- und Gestenerkennung

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/hand.html

Rufen Sie das RGBA-Kamerabild ab

https://developers.weixin.qq.com/miniprogram/dev/api/ai/visionkit/VKFrame.getCameraBuffer.html

Titelseite

1. AR+-Inhalte

Der Spielzeugroboter steht auf dem Boden des Raumes.

2. AR+Effizienz

Tippen Sie auf den Bildschirm, um mit der Messung zu beginnen. Bitte richten Sie die Cursorposition an beiden Enden des zu messenden Objekts aus.

Tippen Sie erneut auf den Bildschirm, um die Messung zu beenden.

Die Messergebnisse der Version V1 sind ungenau. Für genaue Messungen verwenden Sie bitte Version V2.

3. AR+Spiele

Wenn sich der Benutzer mit dem Telefon bewegt, ändert sich die Lautstärke des Players entsprechend der Entfernung des Benutzers. Hinter dem roten Flugzeug verschwindet der Ton des Spielers.

4. KI-Gesichtserkennung

Die Standorte von 106 Feature-Punkten. Dieses Projekt verwendet zwei Merkmalspunkte mit den Indexwerten 78 (linkes Auge) und 79 (rechtes Auge).

Erkennen gedrehter Gesichter

5. KI-Texterkennung

Erkennen Sie Chinesisch, Englisch, Zahlen usw. in Echtzeit auf dem Kamerabildschirm.

6. AR-Bildverfolgung

Identifikationskarte

Spielzeugroboter zeigen

7. KI-Einzelprobenerkennung

Box anzeigen

8. KI-Erkennung von Schlüsselpunkten des menschlichen Körpers

19 Kernpunkte

Bestimmen Sie mithilfe der Kosinusdistanz die Bewegungen des achten Satzes der Rundfunkgymnastik.

Dehnübung

Übung zur Brustvergrößerung

seitliche Bewegung

9. KI-Hand-Schlüsselpunkterkennung

21 Kernpunkte

Verwendung der euklidischen Distanz zur Bestimmung der Schere-Stein-Papier-Geste.

Stoffgeste

Scherengeste

Steingeste

10. U-Bahn-Diagramm

Stecken Sie den U-Bahn-Plan auf Ihren Desktop und lesen Sie ihn wie eine Zeitung.

Wie zu verwenden

1. Verwenden Sie die WeChat-Entwicklertools, um den Projektquellcode zu öffnen und eine Vorschau auf Ihrem Mobiltelefon anzuzeigen.

2. Wenn Sie auf Situationen stoßen, in denen das Modell nicht geladen wird oder das Bild nicht angezeigt wird, schalten Sie bitte den Debugging-Modus des Miniprogramms ein.

Wenn Sie das 3D-Modell ändern

Ändern Sie die Konstante robotUrl im Quellcode.

  // 机器人模型
  const robotUrl = 'https://m.sanyue.red/demo/gltf/robot.glb' ;