qevals

qEval

Daftar isi

• Apa itu eval?
• Memulai
• Prasyarat
• Kesesuaian
• Tes Berjalan
• Berkontribusi
• Catatan Rilis

Apa itu eval?

Evals adalah pembuatan data sintetis dan kerangka evaluasi untuk aplikasi LLM dan RAG.

Ini memiliki 2 modul utama:

• datagen
• evaluasi

Diagram evals arsitektur tingkat tinggi adalah sebagai berikut:

Diagram arsitektur

Memulai

Untuk memulai evals, ikuti langkah-langkah berikut:

1. Kloning repositori ke mesin lokal Anda.
2. Instal dependensi yang diperlukan dengan menjalankan pip install -r requirements.txt di direktori proyek.
3. Buat salinan config/config.toml.template dan beri nama config/config.toml .
4. Perbarui 2 bagian di file config.toml :
   1. MISC
      • Konfigurasikan lokasi file sertifikat SSL Anda.
   2. DATAGEN
      • Setel variabel DATA_DIR mengontrol lokasi korpus data tempat menghasilkan data sintetis, relatif terhadap direktori datagen/data/ . Dengan kata lain, tambahkan direktori data Anda di sana dan tentukan namanya di variabel.
      • Variabel GEN_PROVIDER memungkinkan pemilihan antara azure atau vertex .
      • Tambahkan variabel lainnya yang diinginkan untuk tujuan generatif.
   3. DATAEVAL
      • EVAL_TESTS menawarkan daftar tes evaluasi yang didukung oleh kerangka kerja. Opsi yang mungkin adalah AnswerRelevancy , Hallucination , Faithfulness , Bias , Toxicity , Correctness , Coherence , PromptInjection , PromptBreaking , PromptLeakage .
      • Variabel EVAL_RPVODER memungkinkan memilih antara azure atau vertex .
      • Tambahkan variabel lain yang diperlukan untuk model yang ingin digunakan sebagai juri evaluasi.

Untuk menjalankan modul pembuatan data sintetis:

1. Ubah/sesuaikan contoh klien yang disediakan ( datagen/client.py )

2. Jalankan python -m datagen.client

3. Data yang dihasilkan secara sintetis akan disimpan di direktori datagen/qa_out/ sebagai file CSV dengan format:

    ```csv
    question,context,ground_truth
    ```
   

Untuk menjalankan modul eval:

1. Ubah/sesuaikan contoh klien yang disediakan ( eval/client.py )
   1. Data masukan harus cocok dengan format data yang dihasilkan oleh pembuatan data sintetik ( question , context , ground_truth ).
   2. ground_truth mungkin digunakan atau tidak tergantung pada pengaturan use_answers_from_dataset . Jika disetel ke False kolom data tersebut akan diabaikan dan menghasilkan keluaran baru menggunakan model generatif yang dikonfigurasi.
2. Mulai MlFlow dengan menjalankan:

   mlflow ui --port 5000

3. Jalankan python -m eval.client
4. Pantau dan analisis hasil evaluasi pada antarmuka MlFlow lokal Anda di sini: http://localhost:5000