UELlama
1.0.0
Llama.cpp wurde aus Git-Hash erstellt: a40f2b656fab364ce0aff98dbefe9bd9c3721cc9
Mit den folgenden Build-Befehlen:
mkdir build
cd build/
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_CUDA_DMMV_X=64 -DLLAMA_CUDA_MMV_Y=2 -DLLAMA_CUDA_F16=true -DBUILD_SHARED_LIBS=ON
cd ..
cmake --build build --config Release -j --verbose
Dann wurde die .so- oder .lib-Datei in das Verzeichnis Libraries kopiert und alle .h-Dateien wurden in das Verzeichnis Includes kopiert. Unter Windows sollten Sie die Datei build/bin/llama.dll im Verzeichnis Binaries/Win64 ablegen.
Sie müssen CUDA 12.2 installiert haben, sonst tritt beim Laden des Moduls „UELlama“ ein Fehler auf. Dies liegt daran, dass die llama.dll mit dieser CUDA-Version kompiliert wurde. Wenn Sie die Version wechseln möchten, müssen Sie die Binärdatei neu kompilieren.
