WeChat MiniProgram AR AI

Журнал изменений

дата	содержание
12 декабря 2022 г.	Недавно добавлено: обнаружение людей с помощью ИИ, обнаружение рук с помощью ИИ, отслеживание изображений AR и т. д., принципиальная схема метро AR. Удалить: каталог package_image_classify целевой классификации AI. Каталог package_face_detect старой версии распознавания лиц AI.
2022-10-27	Недавно добавлено: обнаружение лиц AI (новая версия), обнаружение текста AI и т. д.
20 сентября 2022 г.	Новинка: функция обнаружения одного образца. Обновление: файл webglBusiness.js обновлен до последней официальной версии, а также сохранен код исправления для явления глубокого конфликта Android. Исправления: 1. При предварительном просмотре инструментов разработчика появляется сообщение о том, что размер превышает 2 МБ. 2. Карты текстур Three.PlaneGeometry, Three.BoxGeometry и т. д. становятся черными, а экран одновременно зеркалится и мерцает.
05.01.2022	Недавно добавлено: 1. Пространственный звук AR 2. Классификация изображений AR+AI 3. Игрушечный робот AR добавляет функцию записи видео.
01.01.2022	Исправление: третий способ изменить конфликт глубины экрана на телефонах Android.
2021-12-24	Исправление: используйте верхнюю панель навигации, чтобы заблокировать явление конфликта глубины на мобильных телефонах Android.
2021-12-23 ночь	Обновление: 1. Размер 3D-модели по умолчанию для отслеживания плоскости можно настроить. 2. 3D-модель меняется с обновления матрицы (matrixAutoUpdate=false) на обновление атрибутов (matrixAutoUpdate=true), чтобы можно было изменить положение 3D-модели. можно настроить без матрицы.
2021-12-23 вечера	Исправлено: снежинки отображаются в левом верхнем углу экрана на телефонах Android.
2021-11-30	Недавно добавлено: 1. Примерочные очки AR 2. Измерительная линейка AR 3. Игрушечный робот AR, закрепленный на плоской поверхности.

представлять

Этот проект содержит следующие примеры AR и AI.

1. Контент AR+: используйте отслеживание самолетов AR для отображения игрушечных роботов. Каталог package_world_track.

2. AR+эффективность. Используйте AR для измерения длины объектов на плоскости. Каталог package_measure.

3. AR+игры: используйте AR, чтобы отслеживать изменения пространственного звука в положении пользователя. Каталог package_spatial_audio.

4. Обнаружение лица AI (новая версия): надевайте виртуальные очки на лицо в зависимости от положения лица, определенного AI. Каталог package_face_detect_v2.

5. Обнаружение текста AI: обнаружение текста на изображениях и экранах камер. Каталог package_text_detect.

6. Отслеживание изображений AR: используйте изображение, чтобы определить положение плоского изображения. Каталог package_image_tracker.

7. Обнаружение одного образца AI: используйте только одно изображение для определения положения целевого объекта в реальной среде. Каталог package_oneshot_tracker.

8. Обнаружение ключевых точек человеческого тела с помощью искусственного интеллекта: обнаружение ключевых точек и поз человеческого тела. Каталог package_body_detect.

9. Обнаружение ключевых точек руки с помощью искусственного интеллекта: обнаружение ключевых точек и жестов руки. Каталог package_hand_gesture.

10. Карта метро Шанхая: просмотрите карту в естественном и интерактивном виде. Каталог package_plane_track.

Удаленный пример

Обнаружение лица с помощью искусственного интеллекта (старая версия). Наденьте виртуальные очки на лицо человека в зависимости от положения лица, обнаруженного искусственным интеллектом. Каталог package_face_detect. (Удалено, поскольку старая версия API больше официально не поддерживается.)

AR+AI: используйте искусственный интеллект для обнаружения объектов на изображениях и отображения названий на объектах. Каталог package_image_classify. (Апплет часто завершает работу из-за нехватки памяти, поэтому он удаляется.)

Справочная документация

планарное отслеживание

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/plane.html

Обнаружение ключевых точек лица (новая версия)

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/face.html

Обнаружение текста

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/ocr.html

Отслеживание изображений

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/marker.html

Обнаружение одного образца

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/osd.html

Обнаружение ключевых точек человеческого тела

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/body.html

Обнаружение ключевых точек руки и жестов

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/hand.html

Получить изображение камеры RGBA

https://developers.weixin.qq.com/miniprogram/dev/api/ai/visionkit/VKFrame.getCameraBuffer.html

первая страница

1. AR+ контент

Игрушечный робот стоит на полу комнаты.

2. AR+эффективность

Коснитесь экрана, чтобы начать измерение. Пожалуйста, совместите положение курсора с обоими концами измеряемого объекта.

Коснитесь экрана еще раз, чтобы завершить измерение.

Результаты измерений версии V1 неточны. Для точных измерений используйте версию V2.

3. AR+игры

Когда пользователь перемещается по телефону, громкость плеера будет меняться в зависимости от расстояния до пользователя. За красной плоскостью звук плеера пропадает.

4. Обнаружение лиц с помощью искусственного интеллекта

Расположение 106 характерных точек. В этом проекте используются две характерные точки со значениями индекса 78 (левый глаз) и 79 (правый глаз).

Обнаружение повернутых лиц

5. Обнаружение текста AI

Обнаруживайте китайский, английский, цифры и т. д. на экране камеры в режиме реального времени.

6. Отслеживание AR-изображений

Идентификационная карта

Показать игрушечного робота

7. Обнаружение единичного образца AI

Показать окно

8. Обнаружение ключевых точек человеческого тела с помощью искусственного интеллекта

19 ключевых моментов

Используя косинусное расстояние, определите движения восьмого подхода эфирной гимнастики.

упражнение на растяжку

упражнение для увеличения груди

боковое движение

9. Обнаружение ключевой точки руки с помощью искусственного интеллекта

21 ключевой момент

Использование евклидова расстояния для определения жеста камень-ножницы-бумага.

жест тканью

жест ножниц

каменный жест

10. Схема метро

Прикрепите карту метро к рабочему столу и читайте ее, как газету.

Как использовать

1. Используйте инструменты разработчика WeChat, чтобы открыть исходный код проекта и просмотреть его на своем мобильном телефоне.

2. Если вы столкнулись с такими ситуациями, как модель не загружается или изображение не отображается, включите режим отладки мини-программы.

Если вы измените 3D-модель

Измените константу robotUrl в исходном коде.

  // 机器人模型
  const robotUrl = 'https://m.sanyue.red/demo/gltf/robot.glb' ;