evidently

شفرة المصدر الأخرى

v0.4.40

تنزيل

من الواضح

إطار عمل مفتوح المصدر لتقييم واختبار ومراقبة الأنظمة التي تعمل بتقنية ML وLLM.

من الواضح

التوثيق | مجتمع الخلاف | مدونة | تويتر | من الواضح سحابة

؟ إصدار جديد

من الواضح 0.4.25 . تقييم LLM -> البرنامج التعليمي

ما هو الواضح؟

من الواضح أنها مكتبة بايثون مفتوحة المصدر لتقييم وملاحظة ML وLLM. فهو يساعد في تقييم واختبار ومراقبة الأنظمة التي تعمل بالذكاء الاصطناعي وخطوط البيانات بدءًا من التجربة وحتى الإنتاج.

؟ يعمل مع البيانات الجدولية والنصية والتضمينات.
يدعم الأنظمة التنبؤية والتوليدية، من التصنيف إلى RAG.
أكثر من 100 مقياس مدمج بدءًا من الكشف عن انجراف البيانات إلى لجنة تحكيم LLM.
واجهة بايثون للمقاييس والاختبارات المخصصة.
؟ كل من التقييمات دون اتصال بالإنترنت والمراقبة المباشرة.
بنية مفتوحة: يمكنك تصدير البيانات بسهولة والتكامل مع الأدوات الموجودة.

ومن الواضح أن وحدات للغاية. يمكنك البدء بتقييمات لمرة واحدة باستخدام Reports أو Test Suites في Python أو الحصول على خدمة Dashboard للمراقبة في الوقت الفعلي.

1. التقارير

تحسب التقارير البيانات المختلفة ومقاييس جودة ML وLLM. يمكنك البدء بالإعدادات المسبقة أو التخصيص.

صور تفاعلية خارج الصندوق.
الأفضل للتحليل الاستكشافي وتصحيح الأخطاء.
احصل على النتائج في Python، أو قم بالتصدير بتنسيق JSON، أو قاموس Python، أو HTML، أو DataFrame، أو عرض في مراقبة واجهة المستخدم.

التقارير

2. أجنحة الاختبار

تتحقق مجموعات الاختبار من الشروط المحددة على القيم المترية وترجع نتيجة النجاح أو الفشل.

الأفضل لاختبار الانحدار، أو عمليات فحص CI/CD، أو مسارات التحقق من صحة البيانات.
خيار الإعداد الصفري: إنشاء شروط الاختبار تلقائيًا من مجموعة البيانات المرجعية.
بناء جملة بسيط لتعيين شروط الاختبار المخصصة مثل gt (أكبر من)، lt (أقل من)، وما إلى ذلك.
احصل على النتائج في Python، أو قم بالتصدير بتنسيق JSON، أو قاموس Python، أو HTML، أو DataFrame، أو عرض في مراقبة واجهة المستخدم.

جناح الاختبار

3. لوحة المراقبة

تساعد خدمة مراقبة واجهة المستخدم على تصور المقاييس ونتائج الاختبار بمرور الوقت.

يمكنك الاختيار:

استضافة ذاتية للنسخة مفتوحة المصدر. العرض المباشر.
قم بالتسجيل في Evidently Cloud (مستحسن).

تقدم Evidently Cloud طبقة مجانية سخية وميزات إضافية مثل إدارة المستخدم والتنبيه والتقييمات بدون تعليمات برمجية.

لوحة القيادة

‍ تثبيت واضح

من الواضح أنه متاح كحزمة PyPI. لتثبيته باستخدام pip package manager، قم بتشغيل:

pip install evidently

لتثبيت من الواضح باستخدام مثبت conda، قم بتشغيل:

conda install -c conda-forge evidently

◀️ ابدء

الخيار 1: أجنحة الاختبار

هذا هو مرحبا العالم بسيط. تحقق من البرامج التعليمية للمزيد: البيانات الجدولية أو تقييم LLM.

قم باستيراد مجموعة الاختبار والتقييم المسبق ومجموعة البيانات الجدولية للعبة.

 import pandas as pd

from sklearn import datasets

from evidently . test_suite import TestSuite
from evidently . test_preset import DataStabilityTestPreset

iris_data = datasets . load_iris ( as_frame = True )
iris_frame = iris_data . frame

قم بتقسيم DataFrame إلى مرجع وحالي. قم بتشغيل مجموعة اختبار استقرار البيانات التي ستقوم تلقائيًا بإنشاء اختبارات على نطاقات قيم الأعمدة والقيم المفقودة وما إلى ذلك من المرجع. احصل على الإخراج في دفتر Jupyter:

 data_stability = TestSuite ( tests = [
    DataStabilityTestPreset (),
])
data_stability . run ( current_data = iris_frame . iloc [: 60 ], reference_data = iris_frame . iloc [ 60 :], column_mapping = None )
data_stability

يمكنك أيضًا حفظ ملف HTML. ستحتاج إلى فتحه من المجلد الوجهة.

 data_stability . save_html ( "file.html" )

للحصول على الإخراج كـ JSON:

 data_stability . json ()

يمكنك اختيار إعدادات مسبقة أخرى واختبارات فردية وتعيين الشروط.

الخيار 2: التقارير

قم باستيراد التقرير وتقييم الإعداد المسبق ومجموعة البيانات الجدولية للعبة.

 import pandas as pd

from sklearn import datasets

from evidently . report import Report
from evidently . metric_preset import DataDriftPreset

iris_data = datasets . load_iris ( as_frame = True )
iris_frame = iris_data . frame

قم بتشغيل تقرير انجراف البيانات الذي سيقارن توزيعات الأعمدة بين current reference :

 data_drift_report = Report ( metrics = [
    DataDriftPreset (),
])

data_drift_report . run ( current_data = iris_frame . iloc [: 60 ], reference_data = iris_frame . iloc [ 60 :], column_mapping = None )
data_drift_report

احفظ التقرير بتنسيق HTML. ستحتاج لاحقًا إلى فتحه من المجلد الوجهة.

 data_drift_report . save_html ( "file.html" )

للحصول على الإخراج كـ JSON:

 data_drift_report . json ()

يمكنك اختيار إعدادات مسبقة ومقاييس فردية أخرى، بما في ذلك تقييمات LLM للبيانات النصية.

الخيار 3: لوحة معلومات مراقبة تعلم الآلة

يؤدي هذا إلى إطلاق مشروع تجريبي في واجهة المستخدم الواضحة. تحقق من البرامج التعليمية للاستضافة الذاتية أو السحابة الواضحة.

الخطوة الموصى بها: إنشاء بيئة افتراضية وتفعيلها.

 pip install virtualenv
virtualenv venv
source venv/bin/activate

بعد تثبيت Evidently ( pip install evidently )، قم بتشغيل Evidently UI مع المشاريع التجريبية:

 evidently ui --demo-projects all

قم بالوصول إلى خدمة واجهة المستخدم الواضحة في متصفحك. انتقل إلى المضيف المحلي: 8000 .

؟ ماذا يمكنك تقييم؟

من الواضح أنه يحتوي على أكثر من 100 تقييم مدمج. يمكنك أيضًا إضافة تلك المخصصة. يحتوي كل مقياس على تصور اختياري: يمكنك استخدامه في Reports أو Test Suites أو الرسم على Dashboard .

فيما يلي أمثلة على الأشياء التي يمكنك التحقق منها:


؟ واصفات النص	مخرجات LLM
الطول، والمشاعر، والسمية، واللغة، والرموز الخاصة، ومطابقات التعبير العادي، وما إلى ذلك.	التشابه الدلالي، وأهمية الاسترجاع، وجودة التلخيص، وما إلى ذلك مع التقييمات المستندة إلى النموذج والماجستير في القانون.
؟ جودة البيانات	الانحراف في توزيع البيانات
القيم المفقودة، والتكرارات، ونطاقات الحد الأدنى والحد الأقصى، والقيم الفئوية الجديدة، والارتباطات، وما إلى ذلك.	أكثر من 20 اختبارًا إحصائيًا ومقاييس المسافة لمقارنة التحولات في توزيع البيانات.
تصنيف	؟ الانحدار
الدقة، الدقة، الاستدعاء، ROC AUC، مصفوفة الارتباك، التحيز، إلخ.	MAE، ME، RMSE، توزيع الأخطاء، الحالة الطبيعية للخطأ، تحيز الخطأ، إلخ.
؟ الترتيب (بما في ذلك RAG)	؟ التوصيات
NDCG، MAP، MRR، معدل الإصابة، إلخ.	الصدفة، والجدة، والتنوع، والتحيز الشعبي، وما إلى ذلك.