serge

Serge - LLaMA menjadi mudah?

Serge adalah antarmuka obrolan yang dibuat dengan llama.cpp untuk menjalankan model GGUF. Tidak ada kunci API, sepenuhnya dihosting sendiri!

• Bagian depan SvelteKit
• ? Redis untuk menyimpan riwayat & parameter obrolan
• FastAPI + LangChain untuk API, membungkus panggilan ke llama.cpp menggunakan binding python

? Demo:

demo.webm

⚡️ Mulai cepat

? Buruh pelabuhan:

docker run -d 
    --name serge 
    -v weights:/usr/src/app/weights 
    -v datadb:/data/db/ 
    -p 8008:8008 
    ghcr.io/serge-chat/serge:latest

? Penulisan Docker:

 services :
  serge :
    image : ghcr.io/serge-chat/serge:latest
    container_name : serge
    restart : unless-stopped
    ports :
      - 8008:8008
    volumes :
      - weights:/usr/src/app/weights
      - datadb:/data/db/

volumes :
  weights :
  datadb :

Kemudian kunjungi saja http://localhost:8008, Anda dapat menemukan dokumentasi API di http://localhost:8008/api/docs

? Variabel Lingkungan

Variabel Lingkungan berikut tersedia:

Nama Variabel	Keterangan	Nilai Bawaan
SERGE_DATABASE_URL	String koneksi basis data	sqlite:////data/db/sql_app.db
SERGE_JWT_SECRET	Kunci untuk enkripsi token autentikasi. Gunakan string acak	uF7FGN5uzfGdFiPzR
SERGE_SESSION_EXPIRY	Durasi dalam hitungan menit sebelum pengguna harus mengautentikasi ulang	60
NODE_ENV	Lingkungan berjalan Node.js	production

jendela

Pastikan Anda telah menginstal Docker Desktop, mengkonfigurasi WSL2, dan RAM kosong yang cukup untuk menjalankan model.

☁️ Kubernet

Petunjuk untuk menyiapkan Serge di Kubernetes dapat ditemukan di wiki.

? Model yang Didukung

Kategori	Model
Alfred	40B-1023
BioMistral	7B
Kode	13B, 33B
KodeLLaMA	7B, 7B-Instruksikan, 7B-Python, 13B, 13B-Instruksikan, 13B-Python, 34B, 34B-Instruksikan, 34B-Python
Kodestra	22B v0.1
permata	2B, 1.1-2B-Instruksikan, 7B, 1.1-7B-Instruksikan, 2-9B, 2-9B-Instruksikan, 2-27B, 2-27B-Instruksikan
Gorila	Falcon-7B-HF-v0, 7B-HF-v1, Openfunctions-v1, Openfunctions-v2
Elang	7B, 7B-Instruksikan, 11B, 40B, 40B-Instruksikan
LLaMA 2	7B, 7B-Obrolan, 7B-Coder, 13B, 13B-Obrolan, 70B, 70B-Obrolan, 70B-OASST
LLaMA 3	11B-Instruksikan, 13B-Instruksikan, 16B-Instruksikan
LLaMA Pro	8B, 8B-Instruksikan
Matematika	7B
Med42	70B, v2-8B, v2-70B
Medalipaca	13B
Obat	Obrolan, LLM
Meditron	7B, 7B-Obrolan, 70B, 3-8B
Meta-LlaMA-3	3-8B, 3.1-8B, 3.2-1B-Instruksikan, 3-8B-Instruksikan, 3.1-8B-Instruksikan, 3.2-3B-Instruksikan, 3-70B, 3.1-70B, 3-70B-Instruksikan, 3.1-70B- Menginstruksikan
Mistral	7B-V0.1, 7B-Instruksikan-v0.2, 7B-OpenOrca, Nemo-Instruksikan
MistralLite	7B
Campuran	8x7B-v0.1, 8x7B-Dolphin-2.7, 8x7B-Instruksikan-v0.1
Obrolan Neural	7B-v3.3
Catatan	7B-v1
Notux	8x7b-v1
Nous-Hermes 2	Mistral-7B-DPO, Campuran-8x7B-DPO, Mistral-8x7B-SFT
Obrolan Terbuka	7B-v3.5-1210? 8B-v3.6-20240522
Penerjemah OpenCode	DS-6.7B, DS-33B, CL-7B, CL-13B, CL-70B
BukaLLaMA	3B-v2, 7B-v2, 13B-v2
Orca 2	7B, 13B
Phi	2-2.7B, 3-mini-4k-instruksi, 3.1-mini-4k-instruksi, 3.1-mini-128k-instruksi,3.5-mini-instruksi, 3-medium-4k-instruksi, 3-medium-128k-instruksikan
Kode Python	13B, 33B
PsyMedRP	13B-v1, 20B-v1
Jalak LM	7B-Alfa
TENAGA SURYA	10.7B-v1.0, 10.7B-instruksikan-v1.0
Llama Kecil	1.1B
Vicuna	7B-v1.5, 13B-v1.5, 33B-v1.3, 33B-Pembuat Kode
PenyihirLM	2-7B, 13B-v1.2, 70B-v1.0
Angin barat	3B, 7B-Alfa, 7B-Beta

Model tambahan dapat diminta dengan membuka masalah GitHub. Model lain juga tersedia di Serge Models.

️ Penggunaan Memori

LLaMA akan mogok jika Anda tidak memiliki cukup memori untuk model tersebut

Mendukung

Butuh bantuan? Bergabunglah dengan Perselisihan kami

? Lisensi

Nathan Sarrazin dan Kontributor. Serge adalah perangkat lunak sumber terbuka dan gratis yang dilisensikan di bawah Lisensi MIT dan Apache-2.0.

? Berkontribusi

Jika Anda menemukan bug atau memiliki ide fitur, silakan membuka terbitan atau PR.

Untuk menjalankan Serge dalam mode pengembangan:

git clone https://github.com/serge-chat/serge.git
cd serge/
docker compose -f docker-compose.dev.yml up --build

Solusinya akan menerima sesi debugger python pada port 5678. Contoh launch.json untuk VSCode:

{
    "version" : " 0.2.0 " ,
    "configurations" : [
        {
            "name" : " Remote Debug " ,
            "type" : " python " ,
            "request" : " attach " ,
            "connect" : {
                "host" : " localhost " ,
                "port" : 5678
            },
            "pathMappings" : [
                {
                    "localRoot" : " ${workspaceFolder}/api " ,
                    "remoteRoot" : " /usr/src/app/api/ "
                }
            ],
            "justMyCode" : false
        }
    ]
}