WeChat MiniProgram AR AI

更新日誌

日期	內容
2022-12-12	新增：AI人體偵測、AI手部偵測、AR影像追蹤等、AR地鐵示意圖。刪除：AI目標分類的package_image_classify目錄。舊版AI人臉偵測的package_face_detect目錄。
2022-10-27	新增：AI人臉偵測（新版）、AI文字偵測等。
2022-09-20	新增：單樣本檢測功能。更新：webglBusiness.js升級到官方最新版，也保留了Android深度衝突現象的修復程式碼。修正：1、在開發者工具預覽時，提示超過2MB大小的問題。 2、Three.PlaneGeometry、Three.BoxGeometry等的紋理貼圖變成黑色，同時畫面鏡像和閃爍。
2022-01-05	新增：1、AR空間化音訊2、AR+AI影像分類3、AR玩具機器人增加錄影功能。
2022-01-01	已修正：Android手機畫面深度衝突的第3種修改方法。
2021-12-24	修正：使用頂部導航條，遮擋Android手機畫面的深度衝突現象。
2021-12-23夜晚	更新：1.平面追蹤的3D模型的預設大小可以自訂2、3D模型從矩陣更新(matrixAutoUpdate=false)變成屬性更新(matrixAutoUpdate=true)，這樣就可以不用矩陣調整3D模型的姿態。
2021-12-23下午	已修正：Android手機畫面左上角顯示雪花的問題
2021-11-30	新增：1、AR試戴眼鏡2、AR測量尺3、AR玩具機器人固定在平面上

介紹

本項目包含以下AR和AI範例。

1.AR+內容：用AR平面追蹤顯示玩具機器人。目錄package_world_track。

2.AR+效率：用AR測量平面上物體的長度。目錄package_measure。

3.AR+遊戲：用AR跟隨用戶位置變化的空間化音訊。目錄package_spatial_audio。

4.AI人臉偵測（新版）：根據AI偵測的人臉姿態，將虛擬眼鏡戴在人臉上。目錄package_face_detect_v2。

5.AI文字偵測：偵測圖片和相機畫面中的文字。目錄package_text_detect。

6.AR影像追蹤：用一張影像，偵測平面圖像的姿態。目錄package_image_tracker。

7.AI單樣本偵測：只用一張圖片，偵測現實環境中目標物體的位置。目錄package_oneshot_tracker。

8.AI人體關鍵點檢測: 偵測人體關鍵點和姿勢。目錄package_body_detect。

9.AI手部關鍵點偵測：偵測手部關鍵點和手勢。目錄package_hand_gesture。

10.上海地鐵示意圖：自然互動地方式查看地圖。目錄package_plane_track。

刪除的範例

AI人臉偵測（舊版）：根據AI偵測的人臉姿態，將虛擬眼鏡戴在人臉上。目錄package_face_detect。 （因為官方不再維護舊版API，所以刪除。）

AR+AI：用AI檢測影像中的物體，將名稱顯示在物體上。目錄package_image_classify。 （因為小程式記憶體不足而經常退出，所以刪除。）

參考文檔

平面追蹤

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/plane.html

人臉關鍵點偵測（新版）

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/face.html

文字偵測

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/ocr.html

影像追蹤

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/marker.html

單樣本檢測

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/osd.html

人體關鍵點偵測

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/body.html

手部關鍵點和手勢檢測

https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/visionkit/hand.html

取得RGBA相機影像

https://developers.weixin.qq.com/miniprogram/dev/api/ai/visionkit/VKFrame.getCameraBuffer.html

首頁

1、AR+內容

玩具機器人站在房間地板上。

2、AR+效率

點選螢幕，開始測量。請將遊標的位置，對準被測量物體的兩端。

再次點擊螢幕，結束測量。

V1版測量結果不準確。若要準確測量，請用V2版。

3、AR+遊戲

當使用者拿著手機走動時，播放器的音量會隨著使用者的距離而改變。在紅色平面的後面，播放器的聲音消失。

4.AI人臉偵測

106個特徵點的位置。本項目使用了索引值78（左眼）和79（右眼）兩個特徵點。

偵測旋轉的人臉

5、AI文字檢測

即時偵測相機畫面中的中文、英文、數位等。

6、AR影像追蹤

識別圖

顯示玩具機器人

7.AI單樣本檢測

顯示方框

8.AI人體關鍵點檢測

19個關鍵點

使用餘弦距離，判斷第八套廣播體操的動作。

伸展運動

擴胸運動

體側運動

9.AI手部關鍵點檢測

21個關鍵點

使用歐式距離，判斷石頭剪刀布手勢。

布手勢

剪刀手勢

石頭手勢

10.地鐵示意圖

將地鐵示意圖固定在桌面上，像看報紙一樣查看地圖。

如何使用

1.使用微信開發者工具，開啟專案原始碼，在手機上預覽。

2.如果遇到模型不載入、圖片不顯示等狀況，請開啟小程式的偵錯模式。

如果更換3D模型

在原始程式碼中修改常數robotUrl。

  // 机器人模型
  const robotUrl = 'https://m.sanyue.red/demo/gltf/robot.glb' ;