android semantic search kit 다운로드 - android semantic search kit 소스 코드 다운로드

android semantic search kit

AI 소스 코드

v0.0.4

다운로드

Android에서 LLM/임베딩 실행

스크린샷

포함 데모:

빠른 시작 및 신속한 재시도

참조: GitHub 워크플로

로컬 빌드(당분간 성공은 보장되지 않습니다)

git submodule update --init

1. NDK 설정

NDK를 로컬 NDK 경로 및 버전으로 바꿉니다(내 로컬 macOS 예).

 export ANDROID_HOME= $HOME /Library/Android/sdk
export ANDROID_NDK_HOME= $HOME /Library/Android/sdk/ndk/26.1.10909125

export TOOLCHAIN= $ANDROID_NDK_HOME /toolchains/llvm/prebuilt/darwin-x86_64
export TARGET=aarch64-linux-android
export API=34

export AR= $TOOLCHAIN /bin/llvm-ar
export CC= $TOOLCHAIN /bin/ $TARGET$API -clang
export AS= $CC
export CXX= $TOOLCHAIN /bin/ $TARGET$API -clang++
export LD= $TOOLCHAIN /bin/ld
export RANLIB= $TOOLCHAIN /bin/llvm-ranlib
export STRIP= $TOOLCHAIN /bin/llvm-strip

export PATH= $PATH : $ANDROID_HOME /cmdline-tools/latest/bin
export PATH= $PATH : $TOOLCHAIN /bin

2.Rust 대상 설정

rustup target add armv7-linux-androideabi i686-linux-android arm-linux-androideabi x86_64-linux-android aarch64-linux-android

3.구성 링커

그런 다음 $HOME/.cargo/config 에 다음과 같은 내용을 추가합니다(구성 파일이 없으면 만듭니다).

팔로우: https://doc.rust-lang.org/beta/rustc/platform-support.html

추신: NDK 경로를 변경하는 것을 잊지 마세요.

[ target . i686-linux-android ]
linker = " /Users/phodal/Library/Android/sdk/ndk/26.1.10909125/toolchains/llvm/prebuilt/darwin-x86_64/bin/i686-linux-android34-clang "

[ target . arm-linux-android ]
linker = " /Users/phodal/Library/Android/sdk/ndk/26.1.10909125/toolchains/llvm/prebuilt/darwin-x86_64/bin/arm-linux-android34-clang "

[ target . x86_64-linux-android ]
linker = " /Users/phodal/Library/Android/sdk/ndk/26.1.10909125/toolchains/llvm/prebuilt/darwin-x86_64/bin/x86_64-linux-android34-clang "

[ target . aarch64-linux-android ]
linker = " /Users/phodal/Library/Android/sdk/ndk/26.1.10909125/toolchains/llvm/prebuilt/darwin-x86_64/bin/aarch64-linux-android34-clang "

4. FFI 구축

 ./gradlew cargoBuild

iOS용(샘플, 작동하지 않음)

 rustup target add aarch64-apple-ios
cargo build --target=x86_64-apple-ios --release

5.앱 실행

테스트용 모델

모델을 OnnX로 변환

도구: https://github.com/huggingface/optimum

1.설정

pip install optimum[exporters,onnxruntime]

2.onnx 변환

optimum-cli export onnx -m Helsinki-NLP/opus-mt-zh-en --optimize O2 optus-mt-zh-en-onnx

3.Onnx를 양자화

optimum-cli onnxruntime quantize 
  --avx512 
  --onnx_model bert-tiny-onnx 
  -o quantized_bert-tiny-onnx

예: https://github.com/unit-mesh/onnx-convert-test

미니 임베딩 모델 스파이크

기타 테스트 모델:

https://github.com/unit-mesh/testing-onnx-models

IntelliJ IDEA 어디서나 검색 모델:

semantic-text-search-0.0.1.jar, 88.4M - 다중 qa-MiniLM-L6-cos-v1
semantic-text-search-0.0.3.jar, 9.6M - dan-bert-tiny

블루프 모델:

모든-MiniLM-L6-v2, 21.9M

FAQ

Huggingface 네이티브 라이브러리를 로드하지 못했습니다.

 Caused by: ai.djl.engine.EngineException: Failed to load Huggingface native library.
    at ai.djl.huggingface.tokenizers.jni.LibUtils.<clinit>(LibUtils.java:43)
    at ai.djl.huggingface.tokenizers.jni.LibUtils.checkStatus(LibUtils.java:50)
    at ai.djl.huggingface.tokenizers.HuggingFaceTokenizer.newInstance(HuggingFaceTokenizer.java:170)
    at org.unitmesh.llmpoc.embedding.STSemantic$Companion.create(STSemantic.kt:78)
    at org.unitmesh.llmpoc.MainActivity.onCreate(MainActivity.kt:33)
    at android.app.Activity.performCreate(Activity.java:8143)
    at android.app.Activity.performCreate(Activity.java:8114)
    at android.app.Instrumentation.callActivityOnCreate(Instrumentation.java:1310)
    at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:3513)
    at android.app.ActivityThread.handleLaunchActivity(ActivityThread.java:3700) 
    at android.app.servertransaction.LaunchActivityItem.execute(LaunchActivityItem.java:85) 
    at android.app.servertransaction.TransactionExecutor.executeCallbacks(TransactionExecutor.java:135) 
    at android.app.servertransaction.TransactionExecutor.execute(TransactionExecutor.java:95) 
    at android.app.ActivityThread$H.handleMessage(ActivityThread.java:2136) 
    at android.os.Handler.dispatchMessage(Handler.java:106) 
    at android.os.Looper.loop(Looper.java:236) 
    at android.app.ActivityThread.main(ActivityThread.java:8060) 
    at java.lang.reflect.Method.invoke(Native Method) 
    at com.android.internal.os.RuntimeInit$MethodAndArgsCaller.run(RuntimeInit.java:656) 
    at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:967) 
Caused by: java.lang.IllegalStateException: Cannot copy jni files
    at ai.djl.huggingface.tokenizers.jni.LibUtils.copyJniLibraryFromClasspath(LibUtils.java:108)
    at ai.djl.huggingface.tokenizers.jni.LibUtils.loadLibrary(LibUtils.java:66)
    at ai.djl.huggingface.tokenizers.jni.LibUtils.<clinit>(LibUtils.java:41)
    at ai.djl.huggingface.tokenizers.jni.LibUtils.checkStatus(LibUtils.java:50) 
    at ai.djl.huggingface.tokenizers.HuggingFaceTokenizer.newInstance(HuggingFaceTokenizer.java:170) 
    at org.unitmesh.llmpoc.embedding.STSemantic$Companion.create(STSemantic.kt:78) 
    at org.unitmesh.llmpoc.MainActivity.onCreate(MainActivity.kt:33) 
    at android.app.Activity.performCreate(Activity.java:8143) 
    at android.app.Activity.performCreate(Activity.java:8114) 
    at android.app.Instrumentation.callActivityOnCreate(Instrumentation.java:1310) 
    at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:3513) 
    at android.app.ActivityThread.handleLaunchActivity(ActivityThread.java:3700) 
    at android.app.servertransaction.LaunchActivityItem.execute(LaunchActivityItem.java:85) 
    at android.app.servertransaction.TransactionExecutor.executeCallbacks(TransactionExecutor.java:135) 
    at android.app.servertransaction.TransactionExecutor.execute(TransactionExecutor.java:95) 
    at android.app.ActivityThread$H.handleMessage(ActivityThread.java:2136) 
    at android.os.Handler.dispatchMessage(Handler.java:106) 
    at android.os.Looper.loop(Looper.java:236) 
    at android.app.ActivityThread.main(ActivityThread.java:8060) 
    at java.lang.reflect.Method.invoke(Native Method) 
    at com.android.internal.os.RuntimeInit$MethodAndArgsCaller.run(RuntimeInit.java:656) 
    at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:967)

문제: 2170

솔루션: Rust Android Gradle 플러그인

arm-linux-androideabi-ranlib를 찾을 수 없습니다

Android(Flutter)용 Rust 프로젝트 빌드 오류: OpenSSL 컴파일에 arm-linux-androideabi-ranlib를 찾을 수 없습니다.

https://stackoverflow.com/questions/75943717/error-building-rust-project-for-android-flutter-arm-linux-androideabi-ranlib

오류로 인해 모델을 로드하지 못했습니다.

Onnx Runtime 버전을 업데이트해야 합니다.

'tokio-runtime-worker' 스레드가 Err 값에 대한 Result::unwrap() 호출 시 패닉 상태에 빠졌습니다. CreateSession(Msg("오류로 인해 모델을 로드하지 못했습니다: /Users/runner/work/1/s/onnxruntime/core/ graph/model_load_utils.h:56 void onnxruntime:: model_load_utils::ValidateOpsetForDomain(const std::unordered_map<std::string, int> &, constlogging::Logger &, bool, const std::string &, int) ONNX 런타임은 공식 출시된 onnx opset 버전으로 스탬프된 모델에 대해서만 지원을 보장합니다 . 이에 대한 개발 및 지원은 제한되어 있습니다. 연산자 스키마 및 기타 기능은 다음 ONNX 릴리스 전에 변경될 수 있으며 이 경우 ONNX Runtime은 현재의 공식 지원을 보장하지 않습니다. 도메인 com.ms.internal.nhwc의 경우 opset 18까지입니다.n"))', /Volumes/source/ai/Inference/inference_core/src/embed.rs:49:18

기타 문제: v1.9.0을 사용하여 ONNX Opset 15를 로드하지 못했습니다.

JNI 함수 이름이 잘못되었습니다.

로딩 함수: System.LoadLibrary("tokenizers");

긴 org.unitmesh.tokenizer.huggingface.tokenizers.jni.TokenizersLibrary.createTokenizerFromString(java.lang.String)에 대한 구현을 찾을 수 없습니다(Java_org_unitmesh_tokenizer_huggingface_tokenizers_jni_TokenizersLibrary_createTokenizerFromString 및 시도). Java_org_unitmesh_tokenizer_huggingface_tokenizers_jni_TokenizersLibrary_createTokenizerFromString__Ljava_lang_String_2) - 라이브러리가 로드되었습니까(예: System.loadLibrary)?

확장하다

추가 정보