genai system evaluation

การประเมินระบบ GenAI

พื้นที่เก็บข้อมูลนี้มีสมุดบันทึกตัวอย่างเพื่อสาธิตวิธีประเมินระบบเสริม LLM มีเครื่องมือและวิธีการประเมินในท้องถิ่น

สิ่งแวดล้อม

1. ตรวจสอบให้แน่ใจว่าคุณได้เปิดใช้งาน Claude Sonnet และ Claude Haiku ในคอนโซล Bedrock
2. ตรวจสอบให้แน่ใจว่าคุณมีสิทธิ์เพียงพอในการเรียก Bedrock จาก Python SDK (Boto3)

ท้องถิ่น

โน้ตบุ๊กเหล่านี้ได้รับการทดสอบด้วย Python 3.12 หากคุณใช้งานในเครื่อง ตรวจสอบให้แน่ใจว่าคุณใช้ 3.12 นอกจากนี้ ตรวจสอบให้แน่ใจว่าคุณมีการตั้งค่า AWS CLI ด้วยข้อมูลรับรองที่คุณต้องการตั้งค่าเป็นโปรไฟล์เริ่มต้น ข้อมูลประจำตัวเหล่านี้จำเป็นต้องเข้าถึงโมเดล Amazon Bedrock

สารบัญ

• โครงสร้างโฟลเดอร์
• เริ่มต้นใช้งาน
• การใช้งาน
• ผู้เขียน
• รับทราบ
• มีส่วนร่วม
• ใบอนุญาต

โครงสร้างโฟลเดอร์

 LLM-System-Validation/
├── data/                  # RAG context and validation datasets
├── example-notebooks/     # Notebooks for evaluating various components
|__ script/                # Various scripts for setting up environment.
|__ .github/               # Example github actions

รายละเอียด

• data/ : ประกอบด้วยชุดข้อมูลที่ใช้สำหรับบริบทการเรียกข้อมูล-Augmented Generation (RAG) และการตรวจสอบความถูกต้อง
• example-notebooks/ : สมุดบันทึก Jupyter สาธิตการประเมิน:
  • กลยุทธ์การฝังและการแบ่งส่วน
  • จัดเรียงใหม่ด้วยขนาดชิ้นใหญ่
  • LLM-As-A-Judge พร้อมวิศวกรรม
  • RAG พร้อม เอ็นจิเนียริ่ง
  • การทดสอบ E2E RAG

เริ่มต้นใช้งาน

1. โคลนที่เก็บ:

    git clone [email protected]:aws-samples/genai-system-evaluation.git
   cd genai-system-evaluation
   

2. ตั้งค่าสภาพแวดล้อมเสมือน:

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. ติดตั้งการพึ่งพาที่จำเป็น:

    pip install -r requirements.txt
   

4. ดาวน์โหลดเอกสาร opensearch สำหรับบริบท RAG

   $ cd data && mkdir opensearch-docs && cd  opensearch-docs
   $ git clone https://github.com/opensearch-project/documentation-website.git

5. ไปที่ตัวอย่างสมุดบันทึกและเริ่มสมุดบันทึก jupyter!

   $ cd ../../example-notebooks
   $ jupyter notebook

6. เริ่มต้นที่สมุดบันทึก 1 และทำงานผ่านมัน!

การใช้งาน

1. สำรวจสมุดบันทึกตัวอย่างในไดเร็กทอรี example-notebooks/ เพื่อทำความเข้าใจเทคนิคการประเมินต่างๆ

ผู้เขียน

• Tanner McRae - งานเบื้องต้น - github
• Felix Huthmacher - งานเบื้องต้น - github

ความปลอดภัย

ดูการมีส่วนร่วมสำหรับข้อมูลเพิ่มเติม

ใบอนุญาต

ห้องสมุดนี้ได้รับอนุญาตภายใต้ใบอนุญาต MIT-0 ดูไฟล์ใบอนุญาต