WeChat MiniProgram AR AI

Registro de cambios

fecha	contenido
2022-12-12	Recién agregado: detección humana por IA, detección de manos por IA, seguimiento de imágenes AR, etc., diagrama esquemático del metro AR. Eliminar: directorio package_image_classify de clasificación de objetivos de IA. El directorio package_face_detect de la versión anterior de detección de rostros con IA.
2022-10-27	Recién agregado: detección de rostros AI (nueva versión), detección de texto AI, etc.
2022-09-20	Nuevo: función de detección de una sola muestra. Actualización: webglBusiness.js se ha actualizado a la última versión oficial y también se ha conservado el código de corrección para el fenómeno de conflicto profundo de Android. Correcciones: 1. Al obtener una vista previa de las herramientas de desarrollador, indica que el tamaño supera los 2 MB. 2. Los mapas de textura de Three.PlaneGeometry, Three.BoxGeometry, etc. se vuelven negros y la pantalla se refleja y parpadea al mismo tiempo.
2022-01-05	Recién agregado: 1. Audio espacial AR 2. Clasificación de imágenes AR+AI 3. El robot de juguete AR agrega función de grabación de video.
2022-01-01	Reparación: el tercer método para modificar el conflicto de profundidad de la pantalla en teléfonos Android.
2021-12-24	Solución: use la barra de navegación superior para bloquear el fenómeno del conflicto de profundidad en los teléfonos móviles con Android.
2021-12-23 noche	Actualización: 1. El tamaño predeterminado del modelo 3D para el seguimiento del plano se puede personalizar. 2. El modelo 3D cambia de actualización de matriz (matrixAutoUpdate=false) a actualización de atributos (matrixAutoUpdate=true), para que la postura del modelo 3D pueda. ajustarse sin matriz.
2021-12-23pm	Solución: los copos de nieve se muestran en la esquina superior izquierda de la pantalla en los teléfonos Android
2021-11-30	Recién agregado: 1. Gafas de prueba AR 2. Regla de medición AR 3. Robot de juguete AR fijado sobre una superficie plana

introducir

Este proyecto contiene los siguientes ejemplos de AR e IA.

1. Contenido AR+: utilice el seguimiento de aviones AR para mostrar robots de juguete. Directorio package_world_track.

2. AR+eficiencia: utilice AR para medir la longitud de objetos en un plano. Directorio paquete_medida.

3. Juegos AR+: utilice AR para seguir los cambios de audio espacial en la posición del usuario. Directorio paquete_spatial_audio.

4. Detección de rostros con IA (nueva versión): use gafas virtuales en el rostro según la postura del rostro detectada por la IA. Catálogo package_face_detect_v2.

5. Detección de texto AI: detecta texto en imágenes y pantallas de cámaras. Catálogo package_text_detect.

6. Seguimiento de imágenes AR: utilice una imagen para detectar la postura de una imagen plana. Directorio paquete_imagen_tracker.

7. Detección de muestra única por IA: utilice solo una imagen para detectar la posición del objeto objetivo en el entorno real. Directorio package_oneshot_tracker.

8. Detección de puntos clave del cuerpo humano con IA: detecta posturas y puntos clave del cuerpo humano. Catálogo package_body_detect.

9. Detección de puntos clave de mano con IA: detecta gestos y puntos clave de mano. Directorio paquete_hand_gesture.

10. Mapa del metro de Shanghai: visualiza el mapa de forma natural e interactiva. Catálogo package_plane_track.

Ejemplo eliminado

Detección de rostros con IA (versión anterior): use gafas virtuales en el rostro de la persona según la postura facial detectada por la IA. Catálogo package_face_detect. (Eliminado porque la versión anterior de la API ya no se mantiene oficialmente).

AR+AI: utilice IA para detectar objetos en imágenes y mostrar nombres en los objetos. Directorio paquete_imagen_clasificación. (El subprograma a menudo se cierra debido a falta de memoria, por lo que se elimina).

Documentación de referencia

seguimiento plano

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/plane.html

Detección de puntos clave faciales (nueva versión)

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/face.html

Detección de texto

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/ocr.html

Seguimiento de imágenes

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/marker.html

Detección de muestra única

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/osd.html

Detección de puntos clave del cuerpo humano.

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/body.html

Detección de gestos y puntos clave de mano

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/hand.html

Obtener imagen de cámara RGBA

https://developers.weixin.qq.com/miniprogram/dev/api/ai/visionkit/VKFrame.getCameraBuffer.html

página delantera

1. Contenido AR+

El robot de juguete se encuentra en el suelo de la habitación.

2. RA+eficiencia

Toque la pantalla para comenzar a medir. Alinee la posición del cursor con ambos extremos del objeto que se está midiendo.

Toque la pantalla nuevamente para finalizar la medición.

Los resultados de las mediciones de la versión V1 son inexactos. Para mediciones precisas, utilice la versión V2.

3. Juegos AR+

Cuando el usuario se mueve con el teléfono, el volumen del reproductor cambiará según la distancia del usuario. Detrás del avión rojo, el sonido del jugador desaparece.

4. Detección de rostros por IA

Las ubicaciones de 106 puntos característicos. Este proyecto utiliza dos puntos característicos con valores de índice 78 (ojo izquierdo) y 79 (ojo derecho).

Detectar caras rotadas

5. Detección de texto por IA

Detecta chino, inglés, números, etc. en la pantalla de la cámara en tiempo real.

6. Seguimiento de imágenes AR

Mapa de identificación

Mostrar robot de juguete

7. Detección de muestra única por IA

Mostrar cuadro

8. Detección de puntos clave del cuerpo humano con IA

19 puntos clave

Usando la distancia del coseno, determine los movimientos de la octava serie de gimnasia transmitida.

ejercicio de estiramiento

ejercicio de agrandamiento del pecho

movimiento lateral

9. Detección de puntos clave manuales con IA

21 puntos clave

Utilizar la distancia euclidiana para determinar el gesto de piedra, papel y tijera.

gesto de tela

gesto de tijeras

gesto de piedra

10. Diagrama del metro

Fija el mapa del metro en tu escritorio y léelo como si fuera un periódico.

como usar

1. Utilice las herramientas de desarrollo de WeChat para abrir el código fuente del proyecto y obtener una vista previa en su teléfono móvil.

2. Si encuentra situaciones como que el modelo no se carga o la imagen no se muestra, active el modo de depuración del mini programa.

Si cambias el modelo 3D

Modifique la constante robotUrl en el código fuente.

  // 机器人模型
  const robotUrl = 'https://m.sanyue.red/demo/gltf/robot.glb' ;