WeChat MiniProgram AR AI

Ubah catatan

tanggal	isi
12-12-2022	Baru ditambahkan: Deteksi manusia AI, deteksi tangan AI, pelacakan gambar AR, dll., diagram skema kereta bawah tanah AR. Hapus: direktori package_image_classify klasifikasi target AI. Direktori package_face_detect dari deteksi wajah AI versi lama.
27-10-2022	Baru ditambahkan: Deteksi wajah AI (versi baru), deteksi teks AI, dll.
20-09-2022	Baru: fungsi deteksi sampel tunggal. Pembaruan: webglBusiness.js telah ditingkatkan ke versi resmi terbaru, dan kode perbaikan untuk fenomena konflik mendalam Android juga dipertahankan. Perbaikan: 1. Saat melihat pratinjau alat pengembang, ukurannya melebihi 2MB. 2. Peta tekstur Three.PlaneGeometry, Three.BoxGeometry, dll. berubah menjadi hitam, dan layar memantul dan berkedip secara bersamaan.
05-01-2022	Baru ditambahkan: 1. Audio spasial AR 2. Klasifikasi gambar AR+AI 3. Robot mainan AR menambahkan fungsi perekaman video.
01-01-2022	Perbaikan: Cara modifikasi ketiga untuk konflik kedalaman layar di ponsel Android.
24-12-2021	Cara Mengatasinya: Gunakan bilah navigasi atas untuk memblokir fenomena konflik kedalaman di ponsel Android.
23-12-2021 malam	Pembaruan: 1. Ukuran default model 3D untuk pelacakan pesawat dapat disesuaikan. 2. Model 3D berubah dari pembaruan matriks (matrixAutoUpdate=false) menjadi pembaruan atribut (matrixAutoUpdate=true), sehingga postur model 3D dapat disesuaikan tanpa matriks.
23-12-2021	Cara Mengatasinya: Kepingan salju muncul di pojok kiri atas layar ponsel Android
30-11-2021	Baru ditambahkan: 1. Kacamata percobaan AR 2. Penggaris pengukur AR 3. Robot mainan AR dipasang pada permukaan datar

memperkenalkan

Proyek ini berisi contoh AR dan AI berikut.

1. Konten AR+: Gunakan pelacakan pesawat AR untuk menampilkan robot mainan. Direktori package_world_track.

2. AR+efisiensi: Gunakan AR untuk mengukur panjang benda pada bidang datar. Direktori package_measure.

3. Permainan AR+: Gunakan AR untuk mengikuti perubahan audio spasial pada posisi pengguna. Direktori package_spatial_audio.

4. Deteksi wajah AI (versi baru): Kenakan kacamata virtual di wajah berdasarkan postur wajah yang terdeteksi oleh AI. Katalog package_face_detect_v2.

5. Deteksi teks AI: mendeteksi teks dalam gambar dan layar kamera. Katalog package_text_detect.

6. Pelacakan gambar AR: Gunakan gambar untuk mendeteksi postur gambar datar. Direktori package_image_tracker.

7. Deteksi sampel tunggal AI: Gunakan hanya satu gambar untuk mendeteksi posisi objek target di lingkungan nyata. Direktori package_oneshot_tracker.

8. Deteksi titik kunci tubuh manusia AI: Mendeteksi titik-titik kunci dan postur tubuh manusia. Katalog package_body_detect.

9. Deteksi titik kunci tangan AI: mendeteksi titik dan gerakan kunci tangan. Direktori package_hand_gesture.

10. Peta kereta bawah tanah Shanghai: Lihat peta dengan cara yang alami dan interaktif. Direktori package_plane_track.

Contoh yang dihapus

Deteksi wajah AI (versi lama): Kenakan kacamata virtual pada wajah orang tersebut berdasarkan postur wajah yang terdeteksi oleh AI. Katalog package_face_detect. (Dihapus karena versi lama API tidak lagi dikelola secara resmi.)

AR+AI: Gunakan AI untuk mendeteksi objek dalam gambar dan menampilkan nama pada objek. Direktori package_image_classify. (Applet sering keluar karena memori tidak mencukupi, sehingga dihapus.)

Dokumentasi referensi

pelacakan planar

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/plane.html

Deteksi titik kunci wajah (versi baru)

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/face.html

Deteksi teks

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/ocr.html

Pelacakan gambar

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/marker.html

Deteksi sampel tunggal

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/osd.html

Deteksi titik kunci tubuh manusia

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/body.html

Titik tombol tangan dan deteksi gerakan

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/hand.html

Dapatkan gambar kamera RGBA

https://developers.weixin.qq.com/miniprogram/dev/api/ai/visionkit/VKFrame.getCameraBuffer.html

halaman depan

1. Konten AR+

Robot mainan itu berdiri di lantai ruangan.

2. Efisiensi AR+

Ketuk layar untuk mulai mengukur. Silakan sejajarkan posisi kursor dengan kedua ujung benda yang diukur.

Ketuk layar lagi untuk mengakhiri pengukuran.

Hasil pengukuran versi V1 tidak akurat. Untuk pengukuran yang akurat, silakan gunakan versi V2.

3. Game AR+

Saat pengguna berpindah-pindah dengan ponsel, volume pemutar akan berubah sesuai dengan jarak pengguna. Di balik pesawat merah, suara pemain menghilang.

4. Deteksi wajah AI

Lokasi 106 titik fitur. Proyek ini menggunakan dua titik fitur dengan nilai indeks 78 (mata kiri) dan 79 (mata kanan).

Mendeteksi wajah yang diputar

5. Deteksi teks AI

Deteksi bahasa Mandarin, Inggris, angka, dll. di layar kamera secara real time.

6. Pelacakan gambar AR

Peta identifikasi

Tunjukkan robot mainan

7. Deteksi sampel tunggal AI

Tampilkan kotak

8. Deteksi titik kunci tubuh manusia AI

19 poin penting

Dengan menggunakan jarak cosinus, tentukan pergerakan senam siaran set kedelapan.

latihan peregangan

latihan pembesaran dada

gerakan samping

9. Deteksi titik kunci tangan AI

21 poin penting

Menggunakan jarak Euclidean untuk menilai gerakan batu-kertas-gunting.

isyarat kain

gerakan gunting

isyarat batu

10. Diagram kereta bawah tanah

Sematkan peta kereta bawah tanah ke desktop Anda dan baca peta seperti koran.

Cara menggunakan

1. Gunakan alat pengembang WeChat untuk membuka kode sumber proyek dan mempratinjaunya di ponsel Anda.

2. Jika Anda mengalami situasi seperti model tidak dimuat atau gambar tidak ditampilkan, aktifkan mode debugging program mini.

Jika Anda mengubah model 3D

Ubah konstanta robotUrl dalam kode sumber.

  // 机器人模型
  const robotUrl = 'https://m.sanyue.red/demo/gltf/robot.glb' ;