คนจรจัดแชท

คนจรจัดแชท

แอปแชทนี้รองรับ GPT จาก OpenAI หรือ LLM ในพื้นที่ของคุณเอง

GPT จาก OpenAI

หากต้องการใช้ GPT จาก OpenAI ให้ตั้งค่าตัวแปรสภาพแวดล้อม OPENAI_API_KEY เป็นคีย์ API ของคุณ

LLM ท้องถิ่น

หากต้องการใช้ llama.cpp ภายในเครื่องด้วยกลไกการอนุมาน ขั้นแรกให้โหลดโมเดลเชิงปริมาณ เช่น Phi-3 Mini เช่น:

/path/to/llama.cpp/server -m Phi-3-mini-4k-instruct-q4.gguf

ก่อนเปิดตัวการสาธิต ให้ตั้งค่าตัวแปรสภาพแวดล้อม OPENAI_API_BASE :

 export OPENAI_API_BASE=http://127.0.0.1:8080

การสาธิต

ด้วย Node.js >= v18:

 npm install
npm start

และเปิด localhost:5000 ด้วยเว็บเบราว์เซอร์