minichat

迷你聊天室

簡約的 LLM 聊天 UI，靈感來自 Fooocus 和 Pi。

如果您有啟用 CORS 的 API 端點可供使用，您可以在此處嘗試。

目標是專注於內容並隱藏盡可能多的修補和調整。

我們透過使用大膽的排版和簡約的設計來強調內容。

配置

我們嘗試保持配置最少但靈活。

MiniChat 支援 OpenAI 相容的 API，請參閱 Docker Compose 部分，以了解如何利用 Portkey 等閘道與各種模型提供者一起執行 MiniChat。

碼頭工人

可以用Docker運行MiniChat，鏡像小於2MB。

 docker run -p 3216:3216 ghcr.io/functorism/minichat:master

Docker 組合

奧拉馬

跑步

 docker compose -f docker-compose-ollama.yml up
docker exec minichat-ollama-1 ollama pull llama3:8b

使用者介面設定：

• 型號： llama3:8b
• OpenAI API URL：http://localhost:11434/v1
• API 金鑰：未用於 ollama

門鑰匙

跑步

 docker compose -f docker-compose-portkey.yml up

使用者介面設定：

• 型號：claude-3-5-sonnet-20240620
• OpenAI API URL：http://localhost:8080/http://portkey:8787/v1
• API 金鑰：sk-...
• 標頭
  • x-portkey-provider：人擇

HuggingFace 文本生成推理

跑步

 docker compose -f docker-compose-tf-tgi.yml up

使用者介面設定：

• 型號：HuggingFaceH4/zephyr-7b-beta
• OpenAI API URL：http://localhost:8080/v1
• API 金鑰：未使用-for-hf-tgi
• 標頭
  • 選取“發送最小標頭”