UELlama

Llama.cpp ビルドパラメータ

Llama.cpp は git ハッシュから構築されました: a40f2b656fab364ce0aff98dbefe9bd9c3721cc9

次のビルド コマンドを使用します。

 mkdir build
cd build/
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_CUDA_DMMV_X=64 -DLLAMA_CUDA_MMV_Y=2 -DLLAMA_CUDA_F16=true -DBUILD_SHARED_LIBS=ON
cd ..
cmake --build build --config Release -j --verbose

次に、.so または .lib ファイルがLibrariesディレクトリにコピーされ、すべての .h ファイルがIncludesディレクトリにコピーされました。 Windows では、build/bin/llama.dll をBinaries/Win64ディレクトリに置く必要があります。

CUDA 12.2 がインストールされている必要があります。そうしないと、「UELlama」モジュールのロードでエラーが発生します。これは、llama.dll がその CUDA バージョンでコンパイルされているためです。バージョンを切り替えたい場合は、バイナリを再コンパイルする必要があります。