llm comparison tool

Membandingkan model bahasa besar

Proyek ini memungkinkan kami untuk menguji petunjuk terhadap beberapa model bahasa besar dan membandingkan hasilnya.

1. Pilih model untuk membandingkan.
2. Masukkan pertanyaan atau prompt.
3. Bandingkan hasilnya.

Ini menggunakan OpenRouter untuk terhubung ke model yang berbeda. Beberapa model gratis, yang lain tidak. Jika Anda memutuskan untuk menggunakan model berbayar, OpenRouter memiliki batas kredit untuk menghindari tagihan kejutan.

Peringatan : Jangan gunakan proyek ini untuk informasi pribadi dan rahasia. OpenRouter terhubung ke penyedia yang berbeda. Saya tidak dapat menjamin kebijakan privasi OpenRouter dan penyedia. Asumsikan bahwa apa yang Anda kirim ke OpenRouter adalah publik dan bertindak sesuai.

Panduan Get-Get-Geted

Pertama, persiapkan lingkungan, jika Anda belum melakukannya.

Jalankan perintah berikut untuk mengaktifkan lingkungan dan memulai aplikasi di browser.

 source venv/bin/activate
streamlit run app.py

Buka URL yang ditunjukkan di terminal di browser.

Berjalan sebagai wadah

1. Bangun Wadah: docker build --progress=plain -t llm-comparison .
2. Mulai wadah: docker compose up -d
3. Buka jendela browser ke http: // machine_address: 8501 (jika berjalan secara lokal: http: // localhost: 8501)
4. Hentikan wadah saat selesai: docker compose down

Mempersiapkan lingkungan

Ini adalah langkah satu kali. Jika Anda telah melakukan ini, cukup aktifkan lingkungan virtual dengan source venv/bin/activate .

Ada dua langkah untuk mempersiapkan lingkungan.

1. Lingkungan Python
2. Kunci API OpenRouter

Lingkungan Python

Jalankan perintah berikut untuk membuat lingkungan virtual dan menginstal paket yang diperlukan.

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

Kunci API OpenRouter

Kode ini menggunakan OpenRouter untuk mengakses beberapa model. Lihat di sini untuk daftar model yang didukung.

Jika Anda sudah memiliki akun OpenRouter, buat kunci API di sini. Jika Anda tidak memiliki akun, buat satu di sini, maka buat kunci API. Secara opsional, tambahkan kredit jika Anda berencana untuk menggunakan model berbayar.

Setelah Anda memiliki kunci API, buat file .env di direktori root proyek dengan konten berikut.

OPENROUTER_API_KEY= < your key >

Aman untuk menambahkan kunci di sini. Itu tidak akan pernah berkomitmen pada repositori.