修補匠聊天

修補聊天

此聊天應用程式支援 OpenAI 或您自己的本地法學碩士的 GPT。

OpenAI 的 GPT

若要從 OpenAI 使用 GPT，請將環境變數OPENAI_API_KEY設定為您的 API 金鑰。

本地法學碩士

要在本地使用 llama.cpp 及其推理引擎，首先載入量化模型，例如 Phi-3 Mini，例如：

/path/to/llama.cpp/server -m Phi-3-mini-4k-instruct-q4.gguf

在啟動簡報之前，設定環境變數OPENAI_API_BASE ：

 export OPENAI_API_BASE=http://127.0.0.1:8080

示範

對於 Node.js >= v18：

 npm install
npm start

並使用網頁瀏覽器開啟localhost:5000 。