nó lhama cpp

nó-lhama-cpp

Execute modelos de IA localmente em sua máquina

_{As ligações pré-construídas são fornecidas com um substituto para a construção a partir da fonte com cmake}

v3.0 está aqui!

Características

• Execute LLMs localmente em sua máquina

• Suporte para metal, CUDA e Vulkan

• Binários pré-construídos são fornecidos, com uma alternativa para compilar a partir do código-fonte sem node-gyp ou Python

• Adapta-se automaticamente ao seu hardware, sem necessidade de configurar nada

• Um conjunto completo de tudo que você precisa para usar LLMs em seus projetos

• Use a CLI para conversar com um modelo sem escrever nenhum código

• Atualizado com o llama.cpp mais recente. Baixe e compile a versão mais recente com um único comando CLI

• Aplicar um modelo para gerar saída em um formato analisável, como JSON, ou até mesmo forçá-lo a seguir um esquema JSON específico

• Fornece um modelo com funções que ele pode chamar sob demanda para recuperar informações de ações executadas

• Suporte de incorporação

• Ótima experiência de desenvolvedor com suporte completo a TypeScript e documentação completa

• Muito mais

Documentação

• Guia de primeiros passos

• Referência da API

• Ajuda da CLI

• Blogue

• Registro de alterações

• Roteiro

Experimente sem instalar

Converse com uma modelo em seu terminal usando um único comando:

 bate-papo npx -y node-llama-cpp

Instalação

 npm instalar node-llama-cpp

Este pacote vem com binários pré-construídos para macOS, Linux e Windows.

Se os binários não estiverem disponíveis para sua plataforma, ele fará o download de uma versão do llama.cpp e a construirá a partir do código-fonte com cmake . Para desabilitar esse comportamento, configure a variável de ambiente NODE_LLAMA_CPP_SKIP_DOWNLOAD como true .

Uso

 importar {fileURLToPath} de "url";importar caminho de "caminho";importar {getLlama, LlamaChatSession} de "node-llama-cpp";const __dirname = path.dirname(fileURLToPath(import.meta.url));const lhama = aguardar getLlama();const model = aguardar llama.loadModel({modelPath: path.join(__dirname, "models", "Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf")});const context = aguardar model.createContext();const session = new LlamaChatSession({contextSequence: context.getSequence()});const q1 = "Olá, tudo bem?";console.log("Usuário: " + q1);const a1 = await session.prompt(q1);console.log("AI: " + a1);const q2 = "Resuma o que você disse";console.log("Usuário: " + q2);const a2 = await session.prompt (q2);console.log("AI: " + a2);

Para obter mais exemplos, consulte o guia de primeiros passos

Contribuindo

Para contribuir com node-llama-cpp leia o guia de contribuição.

Agradecimentos

• lhama.cpp: ggerganov/llama.cpp

Se você gostou deste repositório, marque-o com estrela ✨