minichat

ミニチャット

Fooocus と Pi からインスピレーションを得た、ミニマルな LLM チャット UI。

CORS が有効になっている API エンドポイントを使用できる場合は、ここでそれを試すことができます。

目標は、コンテンツに焦点を当て、できるだけ多くのいじくりや微調整を隠すことです。

大胆なタイポグラフィーとミニマルなデザインを使用してコンテンツを強調します。

構成

私たちは構成を最小限に抑えながらも柔軟に保つよう努めています。

MiniChat は OpenAI 互換 API をサポートしています。Portkey などのゲートウェイを利用してさまざまなモデル プロバイダーで MiniChat を実行する方法については、「Docker Compose」セクションを参照してください。

ドッカー

Docker を使用して MiniChat を実行できます。イメージは 2MB 未満です。

 docker run -p 3216:3216 ghcr.io/functorism/minichat:master

Docker Compose

オラマ

走る

 docker compose -f docker-compose-ollama.yml up
docker exec minichat-ollama-1 ollama pull llama3:8b

UI設定:

• モデル: ラマ3:8b
• OpenAI API URL: http://localhost:11434/v1
• APIキー：未使用-for-ollam

ポートキー

走る

 docker compose -f docker-compose-portkey.yml up

UI設定:

• モデル: クロード-3-5-sonnet-20240620
• OpenAI API URL: http://localhost:8080/http://portkey:8787/v1
• APIキー: sk-...
• ヘッダー
  • x-portkey-provider: 人間

HuggingFace テキスト生成推論

走る

 docker compose -f docker-compose-tf-tgi.yml up

UI設定:

• モデル：HuggingFaceH4/zephyr-7b-beta
• OpenAI API URL: http://localhost:8080/v1
• API キー: used-for-hf-tgi
• ヘッダー
  • 「最小限のヘッダーを送信する」にチェックを入れる