чат тинкера

тинкер-чат

Это приложение для чата поддерживает GPT от OpenAI или вашего местного LLM.

GPT от OpenAI

Чтобы использовать GPT из OpenAI, установите для переменной среды OPENAI_API_KEY свой ключ API.

Местный LLM

Чтобы использовать llama.cpp локально с его механизмом вывода, сначала загрузите квантованную модель, такую ​​как Phi-3 Mini, например:

/path/to/llama.cpp/server -m Phi-3-mini-4k-instruct-q4.gguf

Перед запуском демо установите переменную среды OPENAI_API_BASE :

 export OPENAI_API_BASE=http://127.0.0.1:8080

Демо

С Node.js >= v18:

 npm install
npm start

и откройте localhost:5000 в веб-браузере.