Node-Lama-CPP-Download – Node-Lama-CPP-Quellcode herunterladen

Knoten Lama cpp

Anderer Quellcode

3.2.0

Herunterladen

Node-Lama-CPP

Führen Sie KI-Modelle lokal auf Ihrem Computer aus

_{Vorgefertigte Bindungen werden mit einem Fallback zum Erstellen aus dem Quellcode mit cmake bereitgestellt}

v3.0 ist da!

Merkmale

Führen Sie LLMs lokal auf Ihrem Computer aus
Metal-, CUDA- und Vulkan-Unterstützung
Es werden vorgefertigte Binärdateien bereitgestellt, mit einer Alternative zum Erstellen aus dem Quellcode ohne node-gyp oder Python
Passt sich automatisch an Ihre Hardware an, es ist keine Konfiguration erforderlich
Eine komplette Suite mit allem, was Sie für den Einsatz von LLMs in Ihren Projekten benötigen
Verwenden Sie die CLI, um mit einem Modell zu chatten, ohne Code schreiben zu müssen
Auf dem neuesten Stand mit der neuesten Version llama.cpp . Laden Sie die neueste Version mit einem einzigen CLI-Befehl herunter und kompilieren Sie sie
Erzwingen Sie, dass ein Modell eine Ausgabe in einem analysierbaren Format wie JSON generiert, oder zwingen Sie es sogar, einem bestimmten JSON-Schema zu folgen
Stellen Sie einem Modell Funktionen zur Verfügung, die es bei Bedarf aufrufen kann, um Informationen zur Durchführung von Aktionen abzurufen
Einbettungsunterstützung
Großartige Entwicklererfahrung mit vollständiger TypeScript-Unterstützung und vollständiger Dokumentation
Viel mehr

Dokumentation

Leitfaden für die ersten Schritte
API-Referenz
CLI-Hilfe
Blog
Änderungsprotokoll
Roadmap

Probieren Sie es ohne Installation aus

Chatten Sie mit einem Model in Ihrem Terminal mit einem einzigen Befehl:

 npx -y node-llama-cpp chat

Installation

 npm installiere node-llama-cpp

Dieses Paket enthält vorgefertigte Binärdateien für macOS, Linux und Windows.

Wenn für Ihre Plattform keine Binärdateien verfügbar sind, wird eine Version von llama.cpp heruntergeladen und mit cmake aus dem Quellcode erstellt. Um dieses Verhalten zu deaktivieren, setzen Sie die Umgebungsvariable NODE_LLAMA_CPP_SKIP_DOWNLOAD auf true .

Verwendung

 import {fileURLToPath} from „url“;import path from „path“;import {getLlama, LlamaChatSession} from „node-llama-cpp“;const __dirname = path.dirname(fileURLToPath(import.meta.url));const llama = Warten auf getLlama();const model = Warten auf llama.loadModel({modelPath: path.join(__dirname, "models", "Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf")});const context = waiting model.createContext();const session = new LlamaChatSession({contextSequence: context. getSequence()});const q1 = "Hallo, wie geht es dir?";console.log("Benutzer: " + q1);const a1 = wait session.prompt(q1);console.log("AI: " + a1);const q2 = "Fassen Sie zusammen, was Sie gesagt haben";console.log("Benutzer: " + q2);const a2 = waiting session.prompt( q2);console.log("AI: " + a2);