minichat

МиниЧат

Минималистичный пользовательский интерфейс чата LLM, вдохновленный Fooocus и Pi.

Если у вас есть конечная точка API с поддержкой CORS, вы можете попробовать ее здесь.

Цель состоит в том, чтобы сосредоточиться на содержании и скрыть как можно больше изменений и настроек.

Мы подчеркиваем содержание, используя жирную типографику и минималистичный дизайн.

Конфигурация

Мы стараемся сделать конфигурацию минимальной, но гибкой.

MiniChat поддерживает API-интерфейсы, совместимые с OpenAI. См. раздел Docker Compose для запуска MiniChat с различными поставщиками моделей с использованием таких шлюзов, как Portkey.

Докер

Запустить MiniChat можно с помощью Docker, размер образа меньше 2 МБ.

 docker run -p 3216:3216 ghcr.io/functorism/minichat:master

Докер Составление

Оллама

Бегать

 docker compose -f docker-compose-ollama.yml up
docker exec minichat-ollama-1 ollama pull llama3:8b

Настройки пользовательского интерфейса:

• Модель: лама3:8b
• URL-адрес API OpenAI: http://localhost:11434/v1.
• Ключ API: не используется для олламы

Портключ

Бегать

 docker compose -f docker-compose-portkey.yml up

Настройки пользовательского интерфейса:

• Модель: claude-3-5-sonnet-20240620
• URL-адрес API OpenAI: http://localhost:8080/http://portkey:8787/v1.
• Ключ API: sk-...
• Заголовки
  • x-portkey-provider: антропный

Вывод генерации текста HuggingFace

Бегать

 docker compose -f docker-compose-tf-tgi.yml up

Настройки пользовательского интерфейса:

• Модель: HuggingFaceH4/zephyr-7b-beta
• URL-адрес API OpenAI: http://localhost:8080/v1.
• Ключ API: неиспользуемый для hf-tgi
• Заголовки
  • Установите флажок «Отправлять минимальные заголовки».