Unduh node llama cpp - unduh kode sumber node llama cpp

simpul llama cpp

Kode sumber lainnya

3.2.0

Unduh

simpul-llama-cpp

Jalankan model AI secara lokal di mesin Anda

_{Pengikatan yang dibuat sebelumnya dilengkapi dengan fallback ke bangunan dari sumber dengan cmake}

v3.0 ada di sini!

Fitur

Jalankan LLM secara lokal di mesin Anda
Dukungan logam, CUDA dan Vulkan
Biner yang dibuat sebelumnya disediakan, dengan fallback untuk membangun dari sumber tanpa node-gyp atau Python
Beradaptasi dengan perangkat keras Anda secara otomatis, tidak perlu mengkonfigurasi apa pun
Rangkaian lengkap semua yang Anda perlukan untuk menggunakan LLM dalam proyek Anda
Gunakan CLI untuk mengobrol dengan model tanpa menulis kode apa pun
Terkini dengan llama.cpp terbaru. Unduh dan kompilasi rilis terbaru dengan satu perintah CLI
Menerapkan model untuk menghasilkan keluaran dalam format yang dapat diurai, seperti JSON, atau bahkan memaksanya untuk mengikuti skema JSON tertentu
Menyediakan model dengan fungsi yang dapat dipanggil sesuai permintaan untuk mengambil informasi tindakan yang dilakukan
Menanamkan dukungan
Pengalaman pengembang yang luar biasa dengan dukungan penuh TypeScript, dan dokumentasi lengkap
Lebih banyak lagi

Dokumentasi

Panduan memulai
Referensi API
bantuan CLI
blog
log perubahan
Peta jalan

Cobalah Tanpa Menginstal

Ngobrol dengan model di terminal Anda menggunakan satu perintah:

 npx -y obrolan simpul-llama-cpp

Instalasi

 npm instal node-llama-cpp

Paket ini dilengkapi dengan binari bawaan untuk macOS, Linux, dan Windows.

Jika binari tidak tersedia untuk platform Anda, maka akan dilakukan fallback untuk mengunduh rilis llama.cpp dan membuatnya dari sumber dengan cmake . Untuk menonaktifkan perilaku ini, setel variabel lingkungan NODE_LLAMA_CPP_SKIP_DOWNLOAD ke true .

Penggunaan

 impor {fileURLToPath} dari "url";impor jalur dari "jalur";impor {getLlama, LlamaChatSession} dari "node-llama-cpp";const __dirname = path.dirname(fileURLToPath(import.meta.url));const llama = menunggu getLlama();const model = menunggu llama.loadModel({modelPath: path.join(__dirname, "model", "Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf")});const konteks = menunggu model.createContext();const session = new LlamaChatSession({contextSequence: konteks.getSequence()});const q1 = "Halo, apa kabar?";console.log("Pengguna: " + q1);const a1 = menunggu session.prompt(q1);console.log("AI: " + a1);const q2 = "Ringkas apa yang Anda katakan";console.log("Pengguna: " + q2);const a2 = menunggu session.prompt (q2);console.log("AI: " + a2);