minichat

MiniBate-papo

Uma interface de chat LLM minimalista, inspirada em Fooocus e Pi.

Se você tiver um endpoint de API habilitado para CORS para usar, você pode experimentá-lo aqui.

O objetivo é focar no conteúdo e esconder o máximo possível de ajustes e ajustes.

Enfatizamos o conteúdo usando tipografia ousada e design minimalista.

Configuração

Tentamos manter a configuração mínima, mas flexível.

MiniChat oferece suporte a APIs compatíveis com OpenAI, consulte a seção Docker Compose para executar o MiniChat com vários provedores de modelo, aproveitando gateways como Portkey.

Docker

Você pode executar o MiniChat com Docker, a imagem tem menos de 2 MB.

 docker run -p 3216:3216 ghcr.io/functorism/minichat:master

Composição do Docker

Ollama

Correr

 docker compose -f docker-compose-ollama.yml up
docker exec minichat-ollama-1 ollama pull llama3:8b

Configurações da IU:

• Modelo: lhama3:8b
• URL da API OpenAI: http://localhost:11434/v1
• Chave API: não utilizado para ollama

Chave de portal

Correr

 docker compose -f docker-compose-portkey.yml up

Configurações da IU:

• Modelo: claude-3-5-soneto-20240620
• URL da API OpenAI: http://localhost:8080/http://portkey:8787/v1
• Chave API: sk-...
• Cabeçalhos
  • x-portkey-provider: antrópico

Inferência de geração de texto HuggingFace

Correr

 docker compose -f docker-compose-tf-tgi.yml up

Configurações da IU:

• Modelo: HuggingFaceH4/zephyr-7b-beta
• URL da API OpenAI: http://localhost:8080/v1
• Chave de API: não utilizado para hf-tgi
• Cabeçalhos
  • Marque "Enviar cabeçalhos mínimos"