いじくりチャット

雑談

このチャット アプリは、OpenAI または独自のローカル LLM の GPT をサポートしています。

OpenAI の GPT

OpenAI から GPT を使用するには、環境変数OPENAI_API_KEY API キーに設定します。

ローカルLLM

llama.cpp を推論エンジンでローカルに利用するには、まず Phi-3 Mini などの量子化モデルをロードします。例:

/path/to/llama.cpp/server -m Phi-3-mini-4k-instruct-q4.gguf

デモを起動する前に、環境変数OPENAI_API_BASEを設定します。

 export OPENAI_API_BASE=http://127.0.0.1:8080

デモ

Node.js v18 以上の場合:

 npm install
npm start

Web ブラウザでlocalhost:5000開きます。