Descarga de node llama cpp - descarga de código fuente de node llama cpp

nodo llama cpp

Otro código fuente

3.2.0

Descargar

nodo-llama-cpp

Ejecute modelos de IA localmente en su máquina

_{Los enlaces prediseñados cuentan con un recurso alternativo para compilar desde el código fuente con cmake.}

v3.0 ya está aquí!

Características

Ejecute LLM localmente en su máquina
Soporte para metal, CUDA y Vulkan
Se proporcionan binarios prediseñados, con una alternativa para compilar desde el código fuente sin node-gyp o Python.
Se adapta a tu hardware automáticamente, no es necesario configurar nada
Un conjunto completo de todo lo que necesita para utilizar LLM en sus proyectos
Utilice la CLI para chatear con un modelo sin escribir ningún código
Actualizado con la última versión llama.cpp . Descargue y compile la última versión con un único comando CLI
Hacer cumplir un modelo para generar resultados en un formato analizable, como JSON, o incluso obligarlo a seguir un esquema JSON específico.
Proporcionar un modelo con funciones que pueda invocar bajo demanda para recuperar información de realizar acciones.
Soporte de incrustación
Excelente experiencia para desarrolladores con soporte completo para TypeScript y documentación completa
mucho mas

Documentación

Guía de introducción
Referencia API
Ayuda CLI
Blog
Registro de cambios
Hoja de ruta

Pruébelo sin instalar

Chatea con un modelo en tu terminal usando un solo comando:

 npx -y nodo-llama-cpp chat

Instalación

 npm instala nodo-llama-cpp

Este paquete viene con archivos binarios prediseñados para macOS, Linux y Windows.

Si los archivos binarios no están disponibles para su plataforma, descargará una versión de llama.cpp y la compilará desde el código fuente con cmake . Para deshabilitar este comportamiento, establezca la variable de entorno NODE_LLAMA_CPP_SKIP_DOWNLOAD en true .

Uso

 importar {fileURLToPath} desde "url"; importar ruta desde "ruta"; importar {getLlama, LlamaChatSession} desde "node-llama-cpp"; const __dirname = path.dirname(fileURLToPath(import.meta.url));const llama = esperar getLlama();const model = esperar llama.loadModel({modelPath: path.join(__dirname, "models", "Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf")});const contexto = esperar model.createContext();const session = new LlamaChatSession({contextSequence: context.getSequence()});const q1 = "Hola, ¿cómo estás?";console.log("Usuario: " + q1);const a1 = await session.prompt(q1);console.log("AI: " + a1);const q2 = "Resume lo que dijiste";console.log("Usuario: " + q2);const a2 = await session.prompt (q2);console.log("AI: " + a2);