PromptoLab

kordlab

Promplab هو تطبيق سطح مكتب عبر المنصات لتصنيف المطالبات LLM وتقييمها واختبارها وتحسينها. يوفر ملعبًا لتطوير موجه تفاعلي ومدير مجموعة اختبار لاختبار موجه منهجي.

الميزات الرئيسية

• المطالبة كتالوج : تحديد وتنظيم المطالبات بسلاسة باستخدام ثلاث فئات موجهة مميزة. يضمن هذا المحور المركزي أن تكون المطالبات الخاصة بك يمكن الوصول إليها دائمًا وتنظيمها جيدًا لإعادة استخدامها بسهولة.

• ملعب LLM : الغوص في التجريب مع خيارين ديناميكيين. اختر إرسال موجه محدد من الكتالوج الخاص بك أو تحسينات الطلب لمطالبة معينة باستخدام واحدة من ثلاثة أنماط مطالبة مثبتة. تخصيص تجربتك بشكل أكبر من خلال اختيار نموذج LLM المفضل لديك والتبديل ثلاث معلمات التحكم في LLM الحرجة. يتيح دعم بناء جملة {{variable}} في المطالبات الاختبار السريع للتغيرات المطالبة من خلال جدول المتغيرات التفاعلية.

• مطالبات مجموعة اختبار المدير : تبسيط اختبار المطالبات المعقدة في تطبيقات الذكاء الاصطناعي. حدد وإدارة حالات الاختبار لضمان استجابات LLM في نظامك بشكل فعال عبر مطالبات المستخدمين المختلفة.

• ملعب التقييم : تقييم تأثير التعديلات السريعة بسهولة. تساعدك هذه الأداة القوية على تقييم ما إذا كان التعديلات على موجه النظام يعزز أو يعيق استجابات LLM عبر سيناريوهات المستخدم المتنوعة ، مما يتيح لك الثقة لتحسين الدقة.

مع Promdolab ، لم يكن التنقل في تعقيدات التصميم السريع أكثر سهولة أو إثارة. هل أنت مستعد لتحسين أداء الموجه الخاص بك؟

المتطلبات الأساسية

• بيثون 3.10 أو أعلى
• واحدة من الخلفية LLM التالية:
  • أداة سطر الأوامر LLM

    pip install llm

  • مكتبة Litellm

    pip install litellm (NOTE: not needed because it is already defined inside requirements.txt)

• تكوين QSettings لتخزين تفضيلات LLM الخلفية

تثبيت

1. استنساخ المستودع:

   git clone https://github.com/crjaensch/PromptoLab.git
   cd PromptoLab

2. إنشاء وتفعيل بيئة افتراضية:

   python3 -m venv venv
   source venv/bin/activate  # On Windows: venvScriptsactivate

3. تثبيت التبعيات:

   python3 -m pip install -r requirements.txt

إعدادات

يستخدم Dersilab نظام التكوين الأصلي لـ QT (QSettings) لاستمرار تفضيلات الواجهة الخلفية LLM. يتم حفظ الإعدادات تلقائيًا واستعادتها بين عمليات إطلاق التطبيق ، مع تحسين مواقع التخزين لكل منصة:

• Windows: التسجيل
• macos: .plist ملفات
• Linux: ملفات ini-style

يمكنك تكوين إعدادات LLM الخلفية و API المفضلة لديك من خلال واجهة التطبيق. الخيارات التالية متوفرة:

• LLM الخلفية : اختر بين أداة سطر الأوامر llm أو مكتبة Litellm

• تكوين API : قم بتوفير مفاتيح API لنماذج LLM المفضلة لديك عند استخدام litellm ، مثل:

  • مفتاح API Openai
  • مفتاح GROQ API
  • مفتاح Google Gemini API

• لاحظ أن LLMS المثبتة محليًا ، على سبيل المثال عبر Ollama ، مدعومون لـ Litellm.

تشغيل التطبيق

1. تأكد من تنشيط بيئتك الافتراضية:

    source venv/bin/activate  # On Windows: venvScriptsactivate

2. تشغيل التطبيق:

    # If inside PromptoLab, then move to the parent directory
   cd ..
   python3 -m PromptoLab

لقطات التطبيق

فيما يلي نظرة عامة سريعة على الميزات الرئيسية لـ Dersidolab:

يطالب الكتالوج

ملعب LLM - إرسال موجه

ملعب LLM - أرسل موجهًا مع المتغيرات

LLM Playground - تحسين المطالبة

اختبار مجموعة مجموعة

ملعب تقييم

تقرير نتائج التقييم

تطوير

يستخدم المشروع:

• Pyside6 من أجل واجهة المستخدم الرسومية لتمكين استخدام المنصة
• أداة llm الخاصة بـ Simon Willison لتفاعلات LLM
• مكتبة Berriai's litellm
• Python المدمج في venv لإدارة البيئة

رخصة

هذا المشروع مرخص بموجب ترخيص معهد ماساتشوستس للتكنولوجيا. راجع ملف الترخيص في المستودع لنص الترخيص الكامل.