UELlama

Llama.cpp 빌드 매개변수

Llama.cpp는 git 해시로 구축되었습니다: a40f2b656fab364ce0aff98dbefe9bd9c3721cc9

다음 빌드 명령을 사용합니다.

 mkdir build
cd build/
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_CUDA_DMMV_X=64 -DLLAMA_CUDA_MMV_Y=2 -DLLAMA_CUDA_F16=true -DBUILD_SHARED_LIBS=ON
cd ..
cmake --build build --config Release -j --verbose

그런 다음 .so 또는 .lib 파일이 Libraries 디렉터리에 복사되고 모든 .h 파일이 Includes 디렉터리에 복사되었습니다. Windows에서는 build/bin/llama.dll을 Binaries/Win64 디렉터리에 넣어야 합니다.

CUDA 12.2를 설치해야 합니다. 그렇지 않으면 "UELLama" 모듈을 로드하는 중에 오류가 발생합니다. 이는 llama.dll이 해당 CUDA 버전으로 컴파일되었기 때문입니다. 버전을 전환하려면 바이너리를 다시 컴파일해야 합니다.