minichat

迷你聊天室

简约的 LLM 聊天 UI，灵感来自 Fooocus 和 Pi。

如果您有启用 CORS 的 API 端点可供使用，您可以在此处尝试。

目标是专注于内容并隐藏尽可能多的修补和调整。

我们通过使用大胆的排版和简约的设计来强调内容。

配置

我们尝试保持配置最少但灵活。

MiniChat 支持 OpenAI 兼容的 API，请参阅 Docker Compose 部分，了解如何利用 Portkey 等网关与各种模型提供程序一起运行 MiniChat。

码头工人

可以用Docker运行MiniChat，镜像小于2MB。

 docker run -p 3216:3216 ghcr.io/functorism/minichat:master

Docker 组合

奥拉马

跑步

 docker compose -f docker-compose-ollama.yml up
docker exec minichat-ollama-1 ollama pull llama3:8b

用户界面设置：

• 型号： llama3:8b
• OpenAI API URL：http://localhost:11434/v1
• API 密钥：未用于 ollama

门钥匙

跑步

 docker compose -f docker-compose-portkey.yml up

用户界面设置：

• 型号：claude-3-5-sonnet-20240620
• OpenAI API URL：http://localhost:8080/http://portkey:8787/v1
• API 密钥：sk-...
• 标头
  • x-portkey-provider：人择

HuggingFace 文本生成推理

跑步

 docker compose -f docker-compose-tf-tgi.yml up

用户界面设置：

• 型号：HuggingFaceH4/zephyr-7b-beta
• OpenAI API URL：http://localhost:8080/v1
• API 密钥：未使用-for-hf-tgi
• 标头
  • 选中“发送最小标头”