minichat

Minichat

Una interfaz de usuario de chat de LLM minimalista, inspirada en Fooocus y Pi.

Si tiene un punto final API habilitado para CORS para usar, puede probarlo aquí.

El objetivo es centrarse en el contenido y ocultar tantos retoques y ajustes como sea posible.

Destacamos el contenido mediante el uso de tipografía atrevida y diseño minimalista.

Configuración

Intentamos mantener la configuración mínima pero flexible.

MiniChat admite API compatibles con OpenAI; consulte la sección Docker Compose para ejecutar MiniChat con varios proveedores de modelos aprovechando puertas de enlace como Portkey.

Estibador

Puedes ejecutar MiniChat con Docker, la imagen tiene menos de 2 MB.

 docker run -p 3216:3216 ghcr.io/functorism/minichat:master

Composición acoplable

Ollama

Correr

 docker compose -f docker-compose-ollama.yml up
docker exec minichat-ollama-1 ollama pull llama3:8b

Configuración de la interfaz de usuario:

• Modelo: llama3:8b
• URL de la API de OpenAI: http://localhost:11434/v1
• Clave API: no utilizada para ollama

Traslador

Correr

 docker compose -f docker-compose-portkey.yml up

Configuración de la interfaz de usuario:

• Modelo: claude-3-5-sonnet-20240620
• URL de la API de OpenAI: http://localhost:8080/http://portkey:8787/v1
• Clave API: sk-...
• Encabezados
  • x-portkey-proveedor: antrópico

HuggingFace Inferencia de generación de texto

Correr

 docker compose -f docker-compose-tf-tgi.yml up

Configuración de la interfaz de usuario:

• Modelo: HuggingFaceH4/zephyr-7b-beta
• URL de la API de OpenAI: http://localhost:8080/v1
• Clave API: no utilizada para hf-tgi
• Encabezados
  • Marque "Enviar encabezados mínimos"