chatear

chatear-chatear

Esta aplicación de chat es compatible con GPT de OpenAI o su propio LLM local.

GPT de OpenAI

Para usar GPT de OpenAI, configure la variable de entorno OPENAI_API_KEY en su clave API.

Máster en Derecho local

Para utilizar llama.cpp localmente con su motor de inferencia, primero cargue un modelo cuantificado como Phi-3 Mini, por ejemplo:

/path/to/llama.cpp/server -m Phi-3-mini-4k-instruct-q4.gguf

Antes de iniciar la demostración, configure la variable de entorno OPENAI_API_BASE :

 export OPENAI_API_BASE=http://127.0.0.1:8080

Manifestación

Con Node.js >= v18:

 npm install
npm start

y abra localhost:5000 con un navegador web.