obrolan bermain-main

obrolan-obrolan

Aplikasi obrolan ini mendukung GPT dari OpenAI atau LLM lokal Anda sendiri.

GPT dari OpenAI

Untuk menggunakan GPT dari OpenAI, setel variabel lingkungan OPENAI_API_KEY ke kunci API Anda.

LLM lokal

Untuk memanfaatkan llama.cpp secara lokal dengan mesin inferensinya, pertama-tama muat model terkuantisasi seperti Phi-3 Mini, misalnya:

/path/to/llama.cpp/server -m Phi-3-mini-4k-instruct-q4.gguf

Sebelum meluncurkan demo, setel variabel lingkungan OPENAI_API_BASE :

 export OPENAI_API_BASE=http://127.0.0.1:8080

Demo

Dengan Node.js >= v18:

 npm install
npm start

dan buka localhost:5000 dengan browser web.