UELlama

Llama.cpp 建構參數

Llama.cpp 是根據 git hash 建構的： a40f2b656fab364ce0aff98dbefe9bd9c3721cc9

使用以下建置命令：

 mkdir build
cd build/
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_CUDA_DMMV_X=64 -DLLAMA_CUDA_MMV_Y=2 -DLLAMA_CUDA_F16=true -DBUILD_SHARED_LIBS=ON
cd ..
cmake --build build --config Release -j --verbose

然後將 .so 或 .lib 檔案複製到Libraries目錄中，並將所有 .h 檔案複製到Includes目錄中。在 Windows 中，您應該將 build/bin/llama.dll 放入Binaries/Win64目錄中。

您需要安裝 CUDA 12.2，否則載入「UELLama」模組時會出錯，這是因為 llama.dll 是使用該 CUDA 版本編譯的，如果您想切換版本，您將重新編譯二進位檔案。