genai system evaluation تنزيل - genai system evaluation تنزيل كود المصدر

genai system evaluation

شفرة المصدر الأخرى

1.0.0

تنزيل

تقييم نظام GenAI

يحتوي هذا المستودع على نماذج من دفاتر الملاحظات لتوضيح كيفية تقييم نظام LLM المعزز. ويوفر الأدوات والأساليب للتقييم المحلي.

بيئة

تأكد من تمكين Claude Sonnet وClaude Haiku في وحدة تحكم Bedrock
تأكد من أن لديك الأذونات الكافية للاتصال بـ Bedrock من Python SDK (Boto3)

محلي

تم اختبار هذه الدفاتر باستخدام Python 3.12. إذا كنت تعمل محليًا، فتأكد من أنك تستخدم الإصدار 3.12. تأكد أيضًا من أن لديك إعداد AWS CLI ببيانات الاعتماد التي تريد تعيينها إلى ملف التعريف الافتراضي. تحتاج بيانات الاعتماد هذه إلى الوصول إلى Amazon Bedrock Models

جدول المحتويات

هيكل المجلد
ابدء
الاستخدام
المؤلفون
شكر وتقدير
المساهمة
رخصة

هيكل المجلد

 LLM-System-Validation/
├── data/                  # RAG context and validation datasets
├── example-notebooks/     # Notebooks for evaluating various components
|__ script/                # Various scripts for setting up environment.
|__ .github/               # Example github actions

تفاصيل

data/ : يحتوي على مجموعات البيانات المستخدمة لسياق إنشاء الاسترجاع المعزز (RAG) والتحقق من صحته.
example-notebooks/ : دفاتر Jupyter التي توضح تقييم:
- استراتيجية التضمين والتقطيع
- إعادة الترتيب بأحجام القطع الكبيرة
- LLM-As-A-قاضي الهندسة السريعة
- RAG الهندسة السريعة
- اختبار E2E RAG

ابدء

استنساخ المستودع:

 git clone [email protected]:aws-samples/genai-system-evaluation.git
cd genai-system-evaluation

إعداد بيئة افتراضية:

 python -m venv venv
source venv/bin/activate  # On Windows, use `venvScriptsactivate`

تثبيت التبعيات المطلوبة:
```
 pip install -r requirements.txt
```

قم بتنزيل مستندات البحث المفتوح لسياق RAG.

$ cd data && mkdir opensearch-docs && cd  opensearch-docs
$ git clone https://github.com/opensearch-project/documentation-website.git

انتقل إلى أمثلة دفاتر الملاحظات وابدأ تشغيل دفاتر ملاحظات jupyter!
```
$ cd ../../example-notebooks
$ jupyter notebook
```
ابدأ من دفتر الملاحظات 1 وشق طريقك من خلاله!