minichat

미니챗

Fooocus와 Pi에서 영감을 받은 최소한의 LLM 채팅 UI입니다.

사용할 CORS 지원 API 엔드포인트가 있는 경우 여기에서 사용해 볼 수 있습니다.

목표는 콘텐츠에 집중하고 가능한 한 많은 수정과 조정을 숨기는 것입니다.

볼드한 타이포그래피와 미니멀한 디자인을 활용하여 콘텐츠를 강조합니다.

구성

우리는 구성을 최소화하면서도 유연하게 유지하려고 노력합니다.

MiniChat은 OpenAI 호환 API를 지원합니다. Portkey와 같은 게이트웨이를 활용하여 다양한 모델 공급자와 함께 MiniChat을 실행하려면 Docker Compose 섹션을 참조하세요.

도커

Docker로 MiniChat을 실행할 수 있으며 이미지 크기는 2MB 미만입니다.

 docker run -p 3216:3216 ghcr.io/functorism/minichat:master

도커 작성

올라마

달리다

 docker compose -f docker-compose-ollama.yml up
docker exec minichat-ollama-1 ollama pull llama3:8b

UI 설정:

• 모델: llama3:8b
• OpenAI API URL: http://localhost:11434/v1
• API 키: 미사용-올라마

포트키

달리다

 docker compose -f docker-compose-portkey.yml up

UI 설정:

• 모델: clude-3-5-sonnet-20240620
• OpenAI API URL: http://localhost:8080/http://portkey:8787/v1
• API 키: sk-...
• 헤더
  • x-portkey-provider: 인류

HuggingFace 텍스트 생성 추론

달리다

 docker compose -f docker-compose-tf-tgi.yml up

UI 설정:

• 모델: HuggingFaceH4/zephyr-7b-beta
• OpenAI API URL: http://localhost:8080/v1
• API 키: 사용되지 않은-hf-tgi
• 헤더
  • "최소 헤더 보내기"를 확인하십시오.