minichat

Obrolan Mini

UI obrolan LLM minimalis, terinspirasi oleh Fooocus dan Pi.

Jika Anda memiliki titik akhir API berkemampuan CORS untuk digunakan, Anda dapat mencobanya di sini.

Tujuannya adalah untuk fokus pada konten dan menyembunyikan sebanyak mungkin perubahan dan penyesuaian.

Kami menekankan konten dengan menggunakan tipografi tebal dan desain minimal.

Konfigurasi

Kami mencoba menjaga konfigurasi tetap minimal namun fleksibel.

MiniChat mendukung API yang kompatibel dengan OpenAI, lihat bagian Docker Compose untuk menjalankan MiniChat dengan berbagai penyedia model dengan memanfaatkan gateway seperti Portkey.

Buruh pelabuhan

Anda dapat menjalankan MiniChat dengan Docker, gambarnya kurang dari 2MB.

 docker run -p 3216:3216 ghcr.io/functorism/minichat:master

Penulisan Docker

Ollama

Berlari

 docker compose -f docker-compose-ollama.yml up
docker exec minichat-ollama-1 ollama pull llama3:8b

Pengaturan UI:

• Model: llama3:8b
• URL API OpenAI: http://localhost:11434/v1
• Kunci API: tidak digunakan untuk ollama

kunci port

Berlari

 docker compose -f docker-compose-portkey.yml up

Pengaturan UI:

• Model: claude-3-5-soneta-20240620
• URL API OpenAI: http://localhost:8080/http://portkey:8787/v1
• Kunci API: sk-...
• Header
  • penyedia x-portkey: antropik

Inferensi Pembuatan Teks HuggingFace

Berlari

 docker compose -f docker-compose-tf-tgi.yml up

Pengaturan UI:

• Model: HuggingFaceH4/zephyr-7b-beta
• URL API OpenAI: http://localhost:8080/v1
• Kunci API: tidak digunakan untuk hf-tgi
• Header
  • Centang "Kirim Header Minimal"