mnn llm

Компилировать локально

 # clone
git clone --recurse-submodules https://github.com/wangzhaode/mnn-llm.git
cd mnn-llm

# linux
./script/build.sh

# macos
./script/build.sh

# windows msvc
./script/build.ps1

# python wheel
./script/py_build.sh

# android
./script/android_build.sh

# android apk
./script/android_app_build.sh

# ios
./script/ios_build.sh

Некоторые макросы компиляции:

• BUILD_FOR_ANDROID : компилировать для устройств Android;
• LLM_SUPPORT_VISION : поддерживать ли возможности визуальной обработки;
• DUMP_PROFILE_INFO : выгружать данные о производительности в командную строку после каждого сеанса;

CPU используется по умолчанию. Если вы используете другие серверные части или возможности, вы можете добавить макрос компиляции MNN при компиляции MNN.

• куда: -DMNN_CUDA=ON
• opencl: -DMNN_OPENCL=ON
• металл: -DMNN_METAL=ON

4. Исполнение

 # linux/macos
./cli_demo ./Qwen2-1.5B-Instruct-MNN/config.json # cli demo
./web_demo ./Qwen2-1.5B-Instruct-MNN/config.json ../web # web ui demo

# windows
. D ebug c li_demo.exe ./Qwen2-1.5B-Instruct-MNN/config.json
. D ebug w eb_demo.exe ./Qwen2-1.5B-Instruct-MNN/config.json ../web

# android
adb push android_build/MNN/OFF/arm64-v8a/libMNN.so /data/local/tmp
adb push android_build/MNN/express/OFF/arm64-v8a/libMNN_Express.so /data/local/tmp
adb push android_build/libllm.so android_build/cli_demo /data/local/tmp
adb push Qwen2-1.5B-Instruct-MNN /data/local/tmp
adb shell " cd /data/local/tmp && export LD_LIBRARY_PATH=. && ./cli_demo ./Qwen2-1.5B-Instruct-MNN/config.json " 

Ссылка

ссылка

• cpp-httplib
• чатgpt-web
• ЧатПросмотретьДемо
• Нломанн/JSON
• Квен-1.8B-Чат
• Квен-7B-Чат
• Qwen-VL-Чат
• Qwen1.5-0.5B-Чат
• Qwen1.5-1.8B-Чат
• Qwen1.5-4B-Чат
• Qwen1.5-7B-Чат
• Qwen2-0.5B-Инструктировать
• Qwen2-1.5B-Инструктировать
• Qwen2-7B-Инструктировать
• Qwen2-VL-2B-Инструктировать
• Qwen2-VL-7B-Инструктировать
• Qwen2.5-0.5B-Инструкция
• Qwen2.5-1.5B-Инструкция
• Qwen2.5-3B-Инструктировать
• Qwen2.5-7B-Инструктировать
• Qwen2.5-Coder-1.5B-Инструкция
• Qwen2.5-Coder-7B-Инструкция
• Qwen2.5-Math-1.5B-Инструкция
• Qwen2.5-Math-7B-Инструкция
• чатглм-6b
• чатglm2-6b
• codegeex2-6b
• чатglm3-6b
• glm4-9b-чат
• Лама-2-7b-чат-мс
• Лама-3-8Б-Инструктировать
• Лама-3.2-1Б-Инструктировать
• Лама-3.2-3Б-Инструктировать
• Байчуань2-7B-Чат
• интернлм-чат-7b
• Йи-6Б-Чат
• deepseek-llm-7b-чат
• TinyLlama-1.1B-Чат-v0.6
• фи-2
• bge-большой-ж
• gte_sentence-embedding_multilingual-base