UELlama

Parameter Pembuatan Llama.cpp

Llama.cpp dibuat dari git hash: a40f2b656fab364ce0aff98dbefe9bd9c3721cc9

Dengan perintah build berikut:

 mkdir build
cd build/
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_CUDA_DMMV_X=64 -DLLAMA_CUDA_MMV_Y=2 -DLLAMA_CUDA_F16=true -DBUILD_SHARED_LIBS=ON
cd ..
cmake --build build --config Release -j --verbose

Kemudian file .so atau .lib disalin ke direktori Libraries dan semua file .h disalin ke direktori Includes . Di Windows Anda harus meletakkan build/bin/llama.dll ke direktori Binaries/Win64 .

Anda harus menginstal CUDA 12.2 atau Anda akan mengalami kesalahan saat memuat Modul "UELlama", ini karena llama.dll dikompilasi dengan versi CUDA tersebut, jika Anda ingin mengganti versinya Anda akan mengkompilasi ulang binernya.