หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

พารามิเตอร์การสร้าง Llama.cpp

Llama.cpp ถูกสร้างขึ้นจาก git hash: a40f2b656fab364ce0aff98dbefe9bd9c3721cc9

ด้วยคำสั่ง build ต่อไปนี้: 

 mkdir build
cd build/
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_CUDA_DMMV_X=64 -DLLAMA_CUDA_MMV_Y=2 -DLLAMA_CUDA_F16=true -DBUILD_SHARED_LIBS=ON
cd ..
cmake --build build --config Release -j --verbose

จากนั้นไฟล์ .so หรือ .lib จะถูกคัดลอกไปยังไดเรกทอรี Libraries และไฟล์ .h ทั้งหมดจะถูกคัดลอกไปยังไดเรกทอรี Includes ใน Windows คุณควรใส่ build/bin/llama.dll ลงในไดเร็กทอรี Binaries/Win64

คุณจะต้องติดตั้ง CUDA 12.2 ไม่เช่นนั้นคุณจะมีข้อผิดพลาดในการโหลดโมดูล "UELlama" เนื่องจาก llama.dll ได้รับการคอมไพล์ด้วยเวอร์ชัน CUDA นั้น หากคุณต้องการเปลี่ยนเวอร์ชัน คุณจะต้องคอมไพล์ไบนารีอีกครั้ง

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด