UELlama

Parámetros de compilación de llama.cpp

Llama.cpp se creó a partir de git hash: a40f2b656fab364ce0aff98dbefe9bd9c3721cc9

Con los siguientes comandos de compilación:

 mkdir build
cd build/
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_CUDA_DMMV_X=64 -DLLAMA_CUDA_MMV_Y=2 -DLLAMA_CUDA_F16=true -DBUILD_SHARED_LIBS=ON
cd ..
cmake --build build --config Release -j --verbose

Luego, el archivo .so o .lib se copió en el directorio Libraries y todos los archivos .h se copiaron en el directorio Includes . En Windows, debes colocar build/bin/llama.dll en el directorio Binaries/Win64 .

Necesitará tener instalado CUDA 12.2 o tendrá un error al cargar el módulo "UELlama", esto se debe a que llama.dll fue compilado con esa versión de CUDA, si desea cambiar la versión, volverá a compilar el binario.