genai system evaluation

Evaluasi Sistem GenAI

Repositori ini berisi contoh buku catatan untuk mendemonstrasikan cara mengevaluasi sistem yang ditambah LLM. Panduan ini menyediakan alat dan metode untuk evaluasi lokal.

Lingkungan

1. Pastikan Anda telah mengaktifkan Claude Sonnet dan Claude Haiku di Bedrock Console
2. Pastikan Anda memiliki izin yang memadai untuk memanggil Bedrock dari Python SDK (Boto3)

Lokal

Notebook ini diuji dengan Python 3.12. Jika Anda menjalankan secara lokal, pastikan Anda menggunakan 3.12. Pastikan juga Anda memiliki pengaturan AWS CLI dengan kredensial yang ingin Anda atur ke profil default. Kredensial ini memerlukan akses ke Amazon Bedrock Models

Daftar isi

• Struktur Folder
• Memulai
• Penggunaan
• Penulis
• Ucapan Terima Kasih
• Berkontribusi
• Lisensi

Struktur Folder

 LLM-System-Validation/
├── data/                  # RAG context and validation datasets
├── example-notebooks/     # Notebooks for evaluating various components
|__ script/                # Various scripts for setting up environment.
|__ .github/               # Example github actions

Detail

• data/ : Berisi kumpulan data yang digunakan untuk konteks dan validasi Retrieval-Augmented Generation (RAG).
• example-notebooks/ : Notebook Jupyter yang mendemonstrasikan evaluasi:
  • Strategi Penyematan dan Pemotongan
  • Pemeringkatan ulang dengan ukuran potongan besar
  • Rekayasa Cepat LLM-Sebagai-A-Hakim
  • Rekayasa Cepat RAG
  • Pengujian RAG E2E

Memulai

1. Kloning repositori:

    git clone [email protected]:aws-samples/genai-system-evaluation.git
   cd genai-system-evaluation
   

2. Siapkan lingkungan virtual:

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. Instal dependensi yang diperlukan:

    pip install -r requirements.txt
   

4. Unduh dokumen opensearch untuk konteks RAG.

   $ cd data && mkdir opensearch-docs && cd  opensearch-docs
   $ git clone https://github.com/opensearch-project/documentation-website.git

5. Buka contoh buku catatan & mulai buku catatan jupyter!

   $ cd ../../example-notebooks
   $ jupyter notebook

6. Mulailah dari buku catatan 1 dan selesaikan semuanya!

Penggunaan

1. Jelajahi contoh buku catatan di direktori example-notebooks/ untuk memahami berbagai teknik evaluasi.

Penulis

• Tanner McRae - Pekerjaan awal - github
• Felix Huthmacher - Pekerjaan awal - github

Keamanan

Lihat KONTRIBUSI untuk informasi lebih lanjut.

Lisensi

Perpustakaan ini dilisensikan di bawah Lisensi MIT-0. Lihat file LISENSI.