UELlama

Paramètres de construction de Llama.cpp

Llama.cpp a été construit à partir du hachage git : a40f2b656fab364ce0aff98dbefe9bd9c3721cc9

Avec les commandes de build suivantes :

 mkdir build
cd build/
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_CUDA_DMMV_X=64 -DLLAMA_CUDA_MMV_Y=2 -DLLAMA_CUDA_F16=true -DBUILD_SHARED_LIBS=ON
cd ..
cmake --build build --config Release -j --verbose

Ensuite, le fichier .so ou .lib a été copié dans le répertoire Libraries et tous les fichiers .h ont été copiés dans le répertoire Includes . Sous Windows, vous devez placer le build/bin/llama.dll dans le répertoire Binaries/Win64 .

Vous devrez avoir installé CUDA 12.2 ou vous aurez une erreur lors du chargement du module "UELlama", car le llama.dll a été compilé avec cette version de CUDA, si vous souhaitez changer de version, vous recompilerez le binaire.