wxmp tensorflow

wxmp-텐서플로우

WeChat 애플릿에서 실행되는 최신 TensorFlow 엔지니어링 솔루션은 다음과 같은 특징을 가지고 있습니다.

0. balzeface Android √, IOS √ 실행
1. 얼굴 랜드마크 실행 Android √, IOS √
2. 사용하기 쉬운 통합 tfjsPlugin, 보조 참조가 필요 없음√
3. wasm 백엔드 지원 √ tfjs에 제출된 PR이 병합되었습니다.
4. posenet 실행(예: mobilenet 0.50 stride16) √
5. 맞춤형 tfjs로 패키지 크기 줄이기 blazeface 예시√
6. 손으로 달리다 √
7. movenet 실행 √
8. blazepose-tfjs 실행 √

참고: Paddle.js는 Baidu 미니 프로그램 및 WeChat 미니 프로그램에 적용되었습니다(https://github.com/PaddlePaddle/Paddle.js).

성능 데이터

기계	모델	FPS	백엔드
아이폰 7	블레이즈페이스	12	WebGL
아이폰 7	블레이즈페이스	1	WASM
MI 8	블레이즈페이스	20	WebGL
MI 8	블레이즈페이스	17	WASM
MI 8	얼굴랜드마크	20	WebGL
MI 8	얼굴랜드마크	10	WASM
MI 8	포즈넷	20	WebGL
MI 8	포즈넷	5	WASM
MI 8	손포즈	14	WebGL
MI 8	손포즈	1	WASM
MI 8	무브넷	14	WebGL
MI 8	무브넷	2.5	WASM

참고: WASM은 SIMD가 아닌 버전입니다. Android WeChat 애플릿은 SIMD WASM을 실행하고 오류를 보고하지만 WeChat 및 IOS에서는 문제가 많습니다. 성능은 좋습니다. gl은 최소한 표준을 충족하고 메모리 문제는 없습니다.

질문

0. iOS 비동기 버전은 async Wait로 정체되므로 sync 버전으로 변경되며, 다른 async wait 사용도 발생할 수 있습니다(IOS에서의 Promise는 setTimeout으로 시뮬레이션됩니다. 현재는 애플릿 JavaScript 지원 상황을 참조하세요). iOS에서 초기화가 멈추기 더 쉽습니다.
1. wasm은 Huawei 휴대폰에서만 webgl보다 낫습니다(2.7 테스트 결과).

최적화 경험

0. FrameAdapter를 사용하여 프레임을 동적으로 건너뛰기
1. 데이터를 공식적으로 처리하기 전에 빈 프레임을 예열하고 사용된 셰이더를 컴파일합니다.
2. 프로필을 사용하여 사용자 정의 tfjs를 생성하여 패키지 크기 최적화
3. WeChat 애플릿 CameraFrame의 ArrayBuffer가 재사용될 수 있습니다. 아마도 추론이 완료된 후 내용이 업데이트되므로 배경이 먼저 그려진 다음 추론 결과가 그려지는 것입니다. iPhone7의 경우 약 0~5ms, 대부분 1ms)

TODO

0. 결과: UI 미화 작업이 정상적으로 표시됩니다.
1. 얼굴-api.js
2. 워밍업은 일반화되어 등록된 RegisterKernel을 기반으로 워밍업이 수행됩니다.

달리다

 > pnpm i / npm i / yarn
> npm run dev
# 使用小程序开发工具打开，替换appid为测试appid，不校验域名

# 使用custom tfjs编译，例子是仅仅blazeface可用tf + webgl backend 小程序包从 985KB下降到534KB (js大概下降234KB)
> npm run make-custom
> npm run build-custom

custom_tfjs를 사용하여 패키지 크기를 더욱 최적화하세요.

참고하세요

0. [962K -> 347K] 런타임 결과를 기반으로 한 TensorflowJS TreeShaking
1. https://github.com/mattsoulanille/tfjs_custom_module_demo
2. https://github.com/deepkolos/tfjs-treeshaking-test

tfjs-models 동기화 방법에 대한 비동기

Tensor.array() 와 같은 데이터 읽기의 비동기 방법을 Tensor.arraySync() 로 변경하거나 Tensor.buffer() Tensor.bufferSync() 로 변경한 다음 async 및 await , Promise.all 및 기타 키워드를 변경하면 됩니다. 그냥 제거하세요

스폰서

프로젝트가 귀하에게 도움이 되거나 적응이 필요한 경우, 언제든지 팁을 주시기 바랍니다.