mnn llm

로컬에서 컴파일

 # clone
git clone --recurse-submodules https://github.com/wangzhaode/mnn-llm.git
cd mnn-llm

# linux
./script/build.sh

# macos
./script/build.sh

# windows msvc
./script/build.ps1

# python wheel
./script/py_build.sh

# android
./script/android_build.sh

# android apk
./script/android_app_build.sh

# ios
./script/ios_build.sh

일부 컴파일 매크로:

• BUILD_FOR_ANDROID : Android 기기로 컴파일합니다.
• LLM_SUPPORT_VISION : 시각적 처리 기능을 지원할지 여부.
• DUMP_PROFILE_INFO : 각 세션 후에 명령줄에 성능 데이터를 덤프합니다.

기본적으로 CPU 사용됩니다. 다른 백엔드나 기능을 사용하는 경우 MNN을 컴파일할 때 MNN 컴파일 매크로를 추가할 수 있습니다.

• 쿠다: -DMNN_CUDA=ON
• opencl: -DMNN_OPENCL=ON
• 금속: -DMNN_METAL=ON

4. 실행

 # linux/macos
./cli_demo ./Qwen2-1.5B-Instruct-MNN/config.json # cli demo
./web_demo ./Qwen2-1.5B-Instruct-MNN/config.json ../web # web ui demo

# windows
. D ebug c li_demo.exe ./Qwen2-1.5B-Instruct-MNN/config.json
. D ebug w eb_demo.exe ./Qwen2-1.5B-Instruct-MNN/config.json ../web

# android
adb push android_build/MNN/OFF/arm64-v8a/libMNN.so /data/local/tmp
adb push android_build/MNN/express/OFF/arm64-v8a/libMNN_Express.so /data/local/tmp
adb push android_build/libllm.so android_build/cli_demo /data/local/tmp
adb push Qwen2-1.5B-Instruct-MNN /data/local/tmp
adb shell " cd /data/local/tmp && export LD_LIBRARY_PATH=. && ./cli_demo ./Qwen2-1.5B-Instruct-MNN/config.json " 

참조

참조

• cpp-httplib
• chatgpt-웹
• 채팅보기데모
• nlohmann/json
• Qwen-1.8B-채팅
• Qwen-7B-채팅
• Qwen-VL-채팅
• Qwen1.5-0.5B-채팅
• Qwen1.5-1.8B-채팅
• Qwen1.5-4B-채팅
• Qwen1.5-7B-채팅
• Qwen2-0.5B-지시
• Qwen2-1.5B-지시
• Qwen2-7B-지시
• Qwen2-VL-2B-지시
• Qwen2-VL-7B-지시
• Qwen2.5-0.5B-지시
• Qwen2.5-1.5B-지시
• Qwen2.5-3B-지시
• Qwen2.5-7B-지시
• Qwen2.5-Coder-1.5B-지시
• Qwen2.5-Coder-7B-지시
• Qwen2.5-Math-1.5B-지시
• Qwen2.5-Math-7B-지시
• chatglm-6b
• chatglm2-6b
• codegeeex2-6b
• chatglm3-6b
• glm4-9b-채팅
• 라마-2-7b-채팅-ms
• 라마-3-8B-지시
• 라마-3.2-1B-지시
• 라마-3.2-3B-지시
• Baichuan2-7B-채팅
• 인턴-채팅-7b
• Yi-6B-채팅
• deepseek-llm-7b-채팅
• TinyLlama-1.1B-Chat-v0.6
• 파이-2
• bge-대형-zh
• gte_sentence-embedding_multilingual-base