UELlama

Параметры сборки Llama.cpp

Llama.cpp был собран из хэша git: a40f2b656fab364ce0aff98dbefe9bd9c3721cc9

С помощью следующих команд сборки:

 mkdir build
cd build/
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_CUDA_DMMV_X=64 -DLLAMA_CUDA_MMV_Y=2 -DLLAMA_CUDA_F16=true -DBUILD_SHARED_LIBS=ON
cd ..
cmake --build build --config Release -j --verbose

Затем файл .so или .lib был скопирован в каталог Libraries , а все файлы .h — в каталог Includes ». В Windows вам следует поместить файл build/bin/llama.dll в каталог Binaries/Win64 .

Вам потребуется установить CUDA 12.2, иначе возникнет ошибка при загрузке модуля «UELlama». Это связано с тем, что llama.dll был скомпилирован с этой версией CUDA. Если вы хотите переключить версию, вам придется перекомпилировать двоичный файл.