UELlama
1.0.0
تم إنشاء Llama.cpp من تجزئة git: a40f2b656fab364ce0aff98dbefe9bd9c3721cc9
باستخدام أوامر البناء التالية:
mkdir build
cd build/
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_CUDA_DMMV_X=64 -DLLAMA_CUDA_MMV_Y=2 -DLLAMA_CUDA_F16=true -DBUILD_SHARED_LIBS=ON
cd ..
cmake --build build --config Release -j --verbose
ثم تم نسخ الملف .so أو .lib إلى دليل Libraries وتم نسخ كافة ملفات .h إلى الدليل Includes . في نظام التشغيل Windows، يجب عليك وضع الملف build/bin/llama.dll في دليل Binaries/Win64 .
سوف تحتاج إلى تثبيت CUDA 12.2 وإلا سيكون لديك خطأ في تحميل وحدة "UELlama"، وذلك لأنه تم تجميع llama.dll مع إصدار CUDA هذا، إذا كنت تريد تبديل الإصدار فسوف تقوم بإعادة ترجمة الملف الثنائي.
