android semantic search kit Télécharger - android semantic search kit Téléchargement du code source

android semantic search kit

Code Source AI

v0.0.4

Télécharger

Exécuter LLM/Intégration sur Android

Captures d'écran

Démo d'intégration :

Démarrage rapide et tentatives rapides

Référence : Flux de travail GitHub

Construction locale (le succès n'est pas garanti pour le moment)

git submodule update --init

1.configurer NDK

Remplacez NDK par votre chemin et votre version NDK locaux (mon exemple macOS local)

 export ANDROID_HOME= $HOME /Library/Android/sdk
export ANDROID_NDK_HOME= $HOME /Library/Android/sdk/ndk/26.1.10909125

export TOOLCHAIN= $ANDROID_NDK_HOME /toolchains/llvm/prebuilt/darwin-x86_64
export TARGET=aarch64-linux-android
export API=34

export AR= $TOOLCHAIN /bin/llvm-ar
export CC= $TOOLCHAIN /bin/ $TARGET$API -clang
export AS= $CC
export CXX= $TOOLCHAIN /bin/ $TARGET$API -clang++
export LD= $TOOLCHAIN /bin/ld
export RANLIB= $TOOLCHAIN /bin/llvm-ranlib
export STRIP= $TOOLCHAIN /bin/llvm-strip

export PATH= $PATH : $ANDROID_HOME /cmdline-tools/latest/bin
export PATH= $PATH : $TOOLCHAIN /bin

2.configurer la cible Rust

rustup target add armv7-linux-androideabi i686-linux-android arm-linux-androideabi x86_64-linux-android aarch64-linux-android

3.config éditeur de liens

Après cela, ajoutez ce qui suit à $HOME/.cargo/config (créez le fichier de configuration s'il n'existe pas) :

Suivez : https://doc.rust-lang.org/beta/rustc/platform-support.html

PS : pensez à changer le chemin d'accès à votre NDK

[ target . i686-linux-android ]
linker = " /Users/phodal/Library/Android/sdk/ndk/26.1.10909125/toolchains/llvm/prebuilt/darwin-x86_64/bin/i686-linux-android34-clang "

[ target . arm-linux-android ]
linker = " /Users/phodal/Library/Android/sdk/ndk/26.1.10909125/toolchains/llvm/prebuilt/darwin-x86_64/bin/arm-linux-android34-clang "

[ target . x86_64-linux-android ]
linker = " /Users/phodal/Library/Android/sdk/ndk/26.1.10909125/toolchains/llvm/prebuilt/darwin-x86_64/bin/x86_64-linux-android34-clang "

[ target . aarch64-linux-android ]
linker = " /Users/phodal/Library/Android/sdk/ndk/26.1.10909125/toolchains/llvm/prebuilt/darwin-x86_64/bin/aarch64-linux-android34-clang "

4.construire FFI

 ./gradlew cargoBuild

pour iOS (exemple, ne fonctionne pas)

 rustup target add aarch64-apple-ios
cargo build --target=x86_64-apple-ios --release

5.exécuter l'application

Modèle à tester

Convertir le modèle en OnnX

Outils : https://github.com/huggingface/optimum

1.configuration

pip install optimum[exporters,onnxruntime]

2.convertir en nx

optimum-cli export onnx -m Helsinki-NLP/opus-mt-zh-en --optimize O2 optus-mt-zh-en-onnx

3. quantifier Onnx

optimum-cli onnxruntime quantize 
  --avx512 
  --onnx_model bert-tiny-onnx 
  -o quantized_bert-tiny-onnx

Exemples : https://github.com/unit-mesh/onnx-convert-test

Mini pointes de modèle d'intégration

Autres modèles de tests :

https://github.com/unit-mesh/testing-onnx-models

Modèle IntelliJ IDEA Search Everywhere :

recherche-de-texte-sémantique-0.0.1.jar, 88,4 Mo - multi-qa-MiniLM-L6-cos-v1
sémantique-text-search-0.0.3.jar, 9,6M - dan-bert-tiny

Modèle Bloop :

tout-MiniLM-L6-v2, 21,9 Mo

FAQ

Échec du chargement de la bibliothèque native Huggingface.

 Caused by: ai.djl.engine.EngineException: Failed to load Huggingface native library.
    at ai.djl.huggingface.tokenizers.jni.LibUtils.<clinit>(LibUtils.java:43)
    at ai.djl.huggingface.tokenizers.jni.LibUtils.checkStatus(LibUtils.java:50)
    at ai.djl.huggingface.tokenizers.HuggingFaceTokenizer.newInstance(HuggingFaceTokenizer.java:170)
    at org.unitmesh.llmpoc.embedding.STSemantic$Companion.create(STSemantic.kt:78)
    at org.unitmesh.llmpoc.MainActivity.onCreate(MainActivity.kt:33)
    at android.app.Activity.performCreate(Activity.java:8143)
    at android.app.Activity.performCreate(Activity.java:8114)
    at android.app.Instrumentation.callActivityOnCreate(Instrumentation.java:1310)
    at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:3513)
    at android.app.ActivityThread.handleLaunchActivity(ActivityThread.java:3700) 
    at android.app.servertransaction.LaunchActivityItem.execute(LaunchActivityItem.java:85) 
    at android.app.servertransaction.TransactionExecutor.executeCallbacks(TransactionExecutor.java:135) 
    at android.app.servertransaction.TransactionExecutor.execute(TransactionExecutor.java:95) 
    at android.app.ActivityThread$H.handleMessage(ActivityThread.java:2136) 
    at android.os.Handler.dispatchMessage(Handler.java:106) 
    at android.os.Looper.loop(Looper.java:236) 
    at android.app.ActivityThread.main(ActivityThread.java:8060) 
    at java.lang.reflect.Method.invoke(Native Method) 
    at com.android.internal.os.RuntimeInit$MethodAndArgsCaller.run(RuntimeInit.java:656) 
    at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:967) 
Caused by: java.lang.IllegalStateException: Cannot copy jni files
    at ai.djl.huggingface.tokenizers.jni.LibUtils.copyJniLibraryFromClasspath(LibUtils.java:108)
    at ai.djl.huggingface.tokenizers.jni.LibUtils.loadLibrary(LibUtils.java:66)
    at ai.djl.huggingface.tokenizers.jni.LibUtils.<clinit>(LibUtils.java:41)
    at ai.djl.huggingface.tokenizers.jni.LibUtils.checkStatus(LibUtils.java:50) 
    at ai.djl.huggingface.tokenizers.HuggingFaceTokenizer.newInstance(HuggingFaceTokenizer.java:170) 
    at org.unitmesh.llmpoc.embedding.STSemantic$Companion.create(STSemantic.kt:78) 
    at org.unitmesh.llmpoc.MainActivity.onCreate(MainActivity.kt:33) 
    at android.app.Activity.performCreate(Activity.java:8143) 
    at android.app.Activity.performCreate(Activity.java:8114) 
    at android.app.Instrumentation.callActivityOnCreate(Instrumentation.java:1310) 
    at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:3513) 
    at android.app.ActivityThread.handleLaunchActivity(ActivityThread.java:3700) 
    at android.app.servertransaction.LaunchActivityItem.execute(LaunchActivityItem.java:85) 
    at android.app.servertransaction.TransactionExecutor.executeCallbacks(TransactionExecutor.java:135) 
    at android.app.servertransaction.TransactionExecutor.execute(TransactionExecutor.java:95) 
    at android.app.ActivityThread$H.handleMessage(ActivityThread.java:2136) 
    at android.os.Handler.dispatchMessage(Handler.java:106) 
    at android.os.Looper.loop(Looper.java:236) 
    at android.app.ActivityThread.main(ActivityThread.java:8060) 
    at java.lang.reflect.Method.invoke(Native Method) 
    at com.android.internal.os.RuntimeInit$MethodAndArgsCaller.run(RuntimeInit.java:656) 
    at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:967)

Numéro : 2170

Solution : Plugin Rust Android Gradle

arm-linux-androideabi-ranlib introuvable

Erreur lors de la création du projet Rust pour Android (Flutter) : arm-linux-androideabi-ranlib introuvable pour la compilation OpenSSL

https://stackoverflow.com/questions/75943717/error-building-rust-project-for-android-flutter-arm-linux-androideabi-ranlib

Échec du chargement du modèle avec erreur

Besoin de mettre à jour la version d'Onnx Runtime

le fil 'tokio-runtime-worker' a paniqué lorsqu'il a appelé Result::unwrap() sur une valeur Err : CreateSession(Msg("Échec du chargement du modèle avec l'erreur : /Users/runner/work/1/s/onnxruntime/core/ graph/model_load_utils.h:56 void onnxruntime :: model_load_utils :: ValidateOpsetForDomain (const std::unordered_map<std::string, int> &, const logging::Logger &, bool, const std::string &, int) ONNX Runtime garantit uniquement la prise en charge des modèles estampillés avec les versions officielles d'onnx Opset 19. en cours de développement et la prise en charge de cela est limitée. Les schémas d'opérateur et/ou d'autres fonctionnalités peuvent changer avant la prochaine version d'ONNX et dans ce cas, ONNX Runtime ne garantira pas la compatibilité ascendante. pour le domaine com.ms.internal.nhwc est jusqu'à l'opset 18.n"))', /Volumes/source/ai/Inference/inference_core/src/embed.rs:49:18

Autres problèmes : l'utilisation de la version 1.9.0 pour charger ONNX Opset 15 a échoué

Le nom de la fonction JNI est erroné

Fonction de chargement : System.LoadLibrary("tokenizers");

Aucune implémentation trouvée pour le long org.unitmesh.tokenizer.huggingface.tokenizers.jni.TokenizersLibrary.createTokenizerFromString(java.lang.String) (essayé Java_org_unitmesh_tokenizer_huggingface_tokenizers_jni_TokenizersLibrary_createTokenizerFromString et Java_org_unitmesh_tokenizer_huggingface_tokenizers_jni_TokenizersLibrary_createTokenizerFromString__Ljava_lang_String_2) - la bibliothèque est-elle chargée, par exemple System.loadLibrary ?

Développer

Informations supplémentaires

Version v0.0.4
Type Code Source AI
Date de mise à jour 2024-12-28
taille 3.55MB
Provenant de Github

Applications connexes

Recherche de mots 800

2024-11-08
Android Studio On Android Phone

2024-11-07
Android Pentesting

2024-11-06
Cemu Android

2024-11-02
element android

2024-11-01
Amazones Android

2022-08-26

Recommandé pour vous

chat.petals.dev

Autre code source

1.0.0
GPT Prompt Templates

Autre code source

1.0.0
GPTyped

Autre code source

GPTyped 1.0.5
node telegram bot api

Code Source AI

v0.50.0
typebot.io

Code Source AI

v3.1.2
python wechaty getting started

Code Source AI

1.0.0
waymo open dataset

Autre code source

December 2023 Update
termwind

Autres catégories

v2.3.0
wp functions

Autres catégories

1.0.0

Actualités connexes Tout