UELlama

Parâmetros de compilação Llama.cpp

Llama.cpp foi construído a partir de hash git: a40f2b656fab364ce0aff98dbefe9bd9c3721cc9

Com os seguintes comandos de construção:

 mkdir build
cd build/
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_CUDA_DMMV_X=64 -DLLAMA_CUDA_MMV_Y=2 -DLLAMA_CUDA_F16=true -DBUILD_SHARED_LIBS=ON
cd ..
cmake --build build --config Release -j --verbose

Em seguida, o arquivo .so ou .lib foi copiado para o diretório Libraries e todos os arquivos .h foram copiados para o diretório Includes . No Windows você deve colocar build/bin/llama.dll no diretório Binaries/Win64 .

Você precisará ter o CUDA 12.2 instalado ou terá um erro ao carregar o Módulo "UELlama", isso ocorre porque o llama.dll foi compilado com essa versão do CUDA, se você quiser mudar a versão você irá recompilar o binário.