PromptoLab

Promptolab

Promptolab adalah aplikasi desktop lintas platform untuk katalog, mengevaluasi, menguji, dan meningkatkan prompt LLM. Ini menyediakan taman bermain untuk pengembangan prompt interaktif dan manajer tes yang ditetapkan untuk pengujian prompt sistematis.

Fitur utama

• Katalog Prompt : Menentukan dan mengatur petunjuk dengan mulus menggunakan tiga kategori prompt yang berbeda. Hub terpusat ini memastikan petunjuk Anda selalu dapat diakses dan terstruktur dengan baik untuk digunakan kembali.

• LLM Playground : Selami eksperimen dengan dua opsi dinamis. Pilih untuk mengirimkan prompt yang dipilih dari katalog Anda atau meminta perbaikan untuk prompt yang diberikan menggunakan salah satu dari tiga pola prompt yang terbukti. Kustomisasi pengalaman Anda lebih lanjut dengan memilih model LLM pilihan Anda dan mengubah tiga parameter kontrol LLM yang kritis. Dukungan untuk {{variable}} sintaks dalam prompt memungkinkan pengujian cepat variasi prompt melalui tabel variabel interaktif.

• Prompts Test Set Manager : Sederhanakan pengujian permintaan sistem kompleks dalam aplikasi AI generatif. Tentukan dan kelola kasus uji untuk memastikan sistem Anda memandu respons LLM secara efektif di berbagai petunjuk pengguna.

• Evaluasi taman bermain : menilai dampak penyesuaian cepat dengan mudah. Alat yang kuat ini membantu Anda mengevaluasi apakah modifikasi pada sistem yang cepat meningkatkan atau menghambat respons LLM di berbagai skenario pengguna, memberi Anda kepercayaan diri untuk mengoptimalkan dengan presisi.

Dengan Promptolab, menavigasi kompleksitas desain cepat tidak pernah lebih intuitif atau menarik. Siap mengoptimalkan kinerja prompt Anda?

Prasyarat

• Python 3.10 atau lebih tinggi
• Salah satu backend LLM berikut:
  • Alat baris perintah LLM

    pip install llm

  • Perpustakaan Litellm

    pip install litellm (NOTE: not needed because it is already defined inside requirements.txt)

• Konfigurasi Qsettings untuk Menyimpan Preferensi LLM Backend

Instalasi

1. Klon Repositori:

   git clone https://github.com/crjaensch/PromptoLab.git
   cd PromptoLab

2. Buat dan aktifkan lingkungan virtual:

   python3 -m venv venv
   source venv/bin/activate  # On Windows: venvScriptsactivate

3. Instal dependensi:

   python3 -m pip install -r requirements.txt

Konfigurasi

Promptolab menggunakan sistem konfigurasi asli QT (QSettings) untuk mempertahankan preferensi backend LLM Anda. Pengaturan secara otomatis disimpan dan dipulihkan di antara peluncuran aplikasi, dengan lokasi penyimpanan dioptimalkan untuk setiap platform:

• Windows: Registry
• MacOS: .plist file
• Linux: File bergaya INI

Anda dapat mengonfigurasi pengaturan LLM backend dan API pilihan Anda melalui antarmuka aplikasi. Opsi berikut tersedia:

• LLM Backend : Pilih antara alat baris perintah llm atau Litellm Library

• Konfigurasi API : Berikan kunci API untuk model LLM pilihan Anda saat menggunakan litellm, seperti:

  • Kunci API Openai
  • Kunci API GROQ
  • Kunci API Google Gemini

• Perhatikan bahwa LLMS yang diinstal secara lokal , misalnya melalui Ollama, didukung untuk Litellm.

Menjalankan aplikasi

1. Pastikan lingkungan virtual Anda diaktifkan:

    source venv/bin/activate  # On Windows: venvScriptsactivate

2. Jalankan aplikasi:

    # If inside PromptoLab, then move to the parent directory
   cd ..
   python3 -m PromptoLab

Tangkapan layar aplikasi

Berikut adalah gambaran visual cepat dari fitur utama PrompaseLab:

Meminta katalog

LLM Playground - Kirimkan prompt

LLM Playground - Kirimkan prompt dengan variabel

LLM Playground - Tingkatkan Prompt

Manajer Set Tes

Evaluasi taman bermain

Laporan Hasil Evaluasi

Perkembangan

Proyek menggunakan:

• Pyside6 untuk GUI untuk memungkinkan penggunaan lintas platform
• Alat llm Simon Willison untuk interaksi LLM
• Perpustakaan litellm Berriai
• venv bawaan Python untuk Manajemen Lingkungan

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT. Lihat file lisensi di repositori untuk teks lisensi lengkap.