Groq2API

Groq2API

Instalasi

docker run -d -p 8080:8080 ghcr.io/star-studio-develop/groq2api:latest

Penyebaran Vercel

Penyebaran Koyeb

Render penerapan

Penyebaran kereta api

Penggunaan

Daftar parameter opsional

• nama model model
  • gemma-7b-itu
  • campuran-8x7b-32768
  • llama2-70b-4096
  • llama3-8b-8192
  • llama3-70b-8192
• Apakah keluaran stream dialirkan
  • BENAR
  • PALSU
• max_tokens panjang maksimum yang dihasilkan
  • 4096 (lama2-70b-4096)
  • 8192 (gemma-7b-it)
  • 32768 (campuran-8x7b-32768)
• message
  • role
    • pengguna
    • asisten

curl --request POST 
  --url http://127.0.0.1:8080/v1/chat/completions 
  --header ' Authorization: Bearer stytch_session ' 
  --data ' {
  "messages": [
    {
      "role": "user",
      "content": "hi"
    }
  ],
  "model": "mixtral-8x7b-32768",
  "max_tokens": 4096,
  "stream": true
} '

stytch_session dapatkan metode