修补匠聊天

修补聊天

此聊天应用程序支持 OpenAI 或您自己的本地法学硕士的 GPT。

OpenAI 的 GPT

要从 OpenAI 使用 GPT，请将环境变量OPENAI_API_KEY设置为您的 API 密钥。

本地法学硕士

要在本地使用 llama.cpp 及其推理引擎，首先加载量化模型，例如 Phi-3 Mini，例如：

/path/to/llama.cpp/server -m Phi-3-mini-4k-instruct-q4.gguf

在启动演示之前，设置环境变量OPENAI_API_BASE ：

 export OPENAI_API_BASE=http://127.0.0.1:8080

演示

对于 Node.js >= v18：

 npm install
npm start

并使用网络浏览器打开localhost:5000 。