UELlama

Llama.cpp 构建参数

Llama.cpp 是根据 git hash 构建的： a40f2b656fab364ce0aff98dbefe9bd9c3721cc9

使用以下构建命令：

 mkdir build
cd build/
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_CUDA_DMMV_X=64 -DLLAMA_CUDA_MMV_Y=2 -DLLAMA_CUDA_F16=true -DBUILD_SHARED_LIBS=ON
cd ..
cmake --build build --config Release -j --verbose

然后将 .so 或 .lib 文件复制到Libraries目录中，并将所有 .h 文件复制到Includes目录中。在 Windows 中，您应该将 build/bin/llama.dll 放入Binaries/Win64目录中。

您需要安装 CUDA 12.2，否则加载“UELLama”模块时会出错，这是因为 llama.dll 是使用该 CUDA 版本编译的，如果您想切换版本，您将重新编译二进制文件。