minichat

MiniChat

Eine minimalistische LLM-Chat-Benutzeroberfläche, inspiriert von Fooocus und Pi.

Wenn Sie einen CORS-fähigen API-Endpunkt verwenden möchten, können Sie ihn hier ausprobieren.

Das Ziel besteht darin, sich auf den Inhalt zu konzentrieren und so viele Basteleien und Anpassungen wie möglich zu vermeiden.

Wir betonen den Inhalt durch fette Typografie und minimalistisches Design.

Konfiguration

Wir versuchen, die Konfiguration minimal und dennoch flexibel zu halten.

MiniChat unterstützt OpenAI-kompatible APIs. Informationen zum Ausführen von MiniChat mit verschiedenen Modellanbietern durch Nutzung von Gateways wie Portkey finden Sie im Abschnitt „Docker Compose“.

Docker

Sie können MiniChat mit Docker ausführen, das Image ist weniger als 2 MB groß.

 docker run -p 3216:3216 ghcr.io/functorism/minichat:master

Docker Compose

Ollama

Laufen

 docker compose -f docker-compose-ollama.yml up
docker exec minichat-ollama-1 ollama pull llama3:8b

UI-Einstellungen:

• Modell: Lama3:8b
• OpenAI-API-URL: http://localhost:11434/v1
• API-Schlüssel: unbenutzt für ollama

Portschlüssel

Laufen

 docker compose -f docker-compose-portkey.yml up

UI-Einstellungen:

• Modell: claude-3-5-sonnet-20240620
• OpenAI-API-URL: http://localhost:8080/http://portkey:8787/v1
• API-Schlüssel: sk-...
• Überschriften
  • x-Portschlüssel-Anbieter: anthropisch

HuggingFace-Textgenerierungsinferenz

Laufen

 docker compose -f docker-compose-tf-tgi.yml up

UI-Einstellungen:

• Modell: HuggingFaceH4/zephyr-7b-beta
• OpenAI-API-URL: http://localhost:8080/v1
• API-Schlüssel: unbenutzt für HF-TGI
• Überschriften
  • Aktivieren Sie „Minimale Header senden“.