rag arena

راج ارينا

RAG Arena هو مشروع Next.js مفتوح المصدر جعل my mendable.ai يتفاعل مع LangChain لتوفير تجربة chatbot لـ RAG حيث تتلقى الاستعلامات استجابات متعددة. يصوت المستخدمون على هذه الردود، والتي يتم بعد ذلك إزالة التشويش عنها للكشف عن المسترد المستخدم، مما يؤدي إلى التمييز بين روبوتات الدردشة من خلال أساليب RAG الخاصة بالبيانات. يستخدم المشروع Supabase لعمليات قاعدة البيانات ويتميز بلوحة قيادة في الوقت الفعلي تعرض البيانات من قاعدة البيانات.

تثبيت

تأكد من تثبيت pnpm على نظامك. إذا لم يكن كذلك، قم بتثبيته عبر:

npm install -g pnpm

استنساخ مستودع المشروع:

git clone https://github.com/mendableai/rag-arena

انتقل إلى دليل المشروع وقم بتثبيت التبعيات:

 cd RAG-arena
pnpm i

تكوين متغيرات البيئة الخاصة بك:

 # probably in: https://platform.openai.com/api-keys
OPENAI_API_KEY=

# probably in: https://supabase.com/dashboard/ project>project settings>api
NEXT_PUBLIC_SUPABASE_URL=
NEXT_PUBLIC_SUPABASE_PRIVATE_KEY=

# probably in: https://console.upstash.com/redis/
UPSTASH_REDIS_REST_URL=
UPSTASH_REDIS_REST_TOKEN=

PRODUCTION=false

PYTHON_MICRO_SERVER=

ابدأ تطوير خادم الويب (nextjs):

pnpm dev

تشغيل خادم بايثون

 cd python_service

poetry install

*(إذا لم يكن لديك شعر، فما عليك سوى إضافة المعرف باستخدام pip install hair)

تفعيل متجر الرسم البياني Neo4j

بالنسبة إلى مسترد Graph Rag، ستحتاج إلى إنشاء مخزن الرسم البياني، أو السماح للخادم بتشغيل وظيفة 'create_neo4j_graph_store' تلقائيًا (مترجمة في /python_service/retrievers/neo4j_retriever.py ) عن طريق إلغاء التعليق على الأسطر:

 # if not os.path.exists(storage_dir) or not os.listdir(storage_dir):
# create_neo4j_graph_store()

سيستغرق هذا بعض الوقت اعتمادًا على البيانات المستخدمة في data/chunks . في النهاية، سيكون لديك دليل neo/storage الخاص بك مليئًا بالبيانات المستمرة لمخزن الرسم البياني محليًا.

تحميل الفهرس لأول مرة

ستحتاج إلى تحميل الفهرس وتخزينه مؤقتًا حتى يمكن استخدام Graph RAG. تقوم الدالة load_index() بذلك نيابةً عنك داخل python_service/app.py . لذا، في عملية التنفيذ الأولى، قد يستغرق الأمر بعض الوقت لإنشاء ملف .pkl المخزن مؤقتًا والموجود في python_service/index/cache .

قم بتشغيل خادم القارورة محليًا باستخدام وضع التصحيح

poetry run flask run --debug

افتح http://localhost:3000 باستخدام متصفحك لترى النتيجة.

نظرة عامة على الهندسة المعمارية

نظام الابتلاع

• المسار: app/api/ingest/route.ts
• الوصف: هذه الوحدة مسؤولة عن إدخال المقالات في قاعدة بيانات متجهة، مما يجعلها قابلة للاسترداد للاستعلامات المستقبلية.
• تفاصيل التنفيذ:
  • الفاصل: يستخدم RecursiveCharacterTextSplitter من LangChain لتقسيم النص بشكل فعال.
  • التضمينات: تستفيد من OpenAIEmbeddings لإنشاء عمليات تضمين المستندات.
  • التخزين: يستخدم SupabaseVectorStore لتخزين المستندات المعالجة في Supabase.

المسترد الديناميكي

• المسار: app/api/retrievers/dynamic-retriever/route.ts
• الوصف: يقوم بتحديد واستخدام المستردات المختلفة بشكل ديناميكي بناءً على إدخال المستخدم لجلب المستندات ذات الصلة.
• الميزات الرئيسية:
  • تحديد المعدل: يطبق تحديد المعدل لإدارة الحمل وضمان الاستخدام العادل.
  • Document RAG: استرداد المستندات الأكثر صلة باستعلام المستخدم.
  • تكامل OpenAI: يتفاعل مع واجهة برمجة تطبيقات OpenAI لتحسين عمليات إكمال الدردشة، مدعومًا من SupabaseVectorStore لمطابقة المستندات.

نظام التصويت

• المسار: actions/voting-system.ts
• الغرض: يشرف على المنطق الكامن وراء التصويت للإجابات المستردة، وهو أمر بالغ الأهمية للتعلم والتكيف مع النظام.
• الوظائف:
  • تتبع التصويت: يقوم بتحديث عدد الأصوات وأوقات الاختبار وتقييمات Elo لكل مسترد.
  • تعديل Elo: يضبط تصنيفات Elo استنادًا إلى متوسط ​​عدد المرات التي تم فيها اختبار المستردات، مما يعزز العدالة والدقة.

 // calculation used for the elo
function calculateEloAdjustment(timesTested: number, averageTimesTested: number): number {
    if (averageTimesTested === 0) return 10;
    const adjustmentFactor = timesTested / averageTimesTested;
    return (1 / adjustmentFactor) * 10;
}

مخطط قاعدة البيانات

• اسم الجدول: المتصدرين
• المحتويات: يحمل بيانات مهمة لكل مسترد، بما في ذلك id ، retriever ، elo ، votes ، times_tested ، full_name ، description ، link .

نظرة عامة على وظائف RAG

(https://js.langchain.com/docs/modules/data_connection/retrievers/)

يوضح هذا القسم وظائف RAG المختلفة المحددة في app/api/retrievers/dynamic-retriever/tools/functions.ts ، مع توضيح غرضها وتنفيذها ضمن بنية المشروع. تلعب هذه الوظائف دورًا حاسمًا في عملية RAG للمستندات، حيث تستفيد من الاستراتيجيات والتقنيات المختلفة لتحسين الأداء والدقة.

متجر المتجهات

• وقت الاستخدام: مثالي للمبتدئين الذين يبحثون عن حل سريع ومباشر.
• الوصف: تعمل هذه الوظيفة على تعزيز بساطة إنشاء التضمينات لكل جزء نصي، مما يجعلها نقطة البداية الأكثر سهولة للوصول للمستند RAG.

وثيقة الوالدين

• متى يتم الاستخدام: الأفضل للمستندات المقسمة إلى أجزاء أصغر ومتميزة من المعلومات التي يتم فهرستها بشكل منفصل ولكن يجب استرجاعها ككل.
• الوصف: يقوم بفهرسة أجزاء متعددة لكل مستند، وتحديد الأجزاء الأكثر تشابهًا في مساحة التضمين لاسترداد المستند الأصلي بالكامل، بدلاً من الأجزاء الفردية فقط.

ناقلات متعددة

• متى يتم الاستخدام: مناسب عندما يمكنك استخراج معلومات أكثر صلة بالفهرسة من نص المستند نفسه.
• الوصف: ينشئ متجهات متعددة لكل مستند، حيث من المحتمل أن يمثل كل متجه ملخصات نصية أو أسئلة افتراضية أو أشكال أخرى من المعلومات المقطرة.

ضغط السياق

• متى يتم الاستخدام: يكون مفيدًا عندما تحتوي المستندات المستردة على معلومات زائدة غير ذات صلة، مما يؤدي إلى تشتيت الانتباه عن الاستجابة للاستعلام الأساسي.
• الوصف: إضافة خطوة ما بعد المعالجة إلى مسترد آخر، واستخراج المعلومات الأكثر صلة فقط من المستندات المستردة، والتي يمكن إنجازها باستخدام عمليات التضمين أو LLM.

الوقت المرجح

• وقت الاستخدام: مثالي للمستندات ذات الطوابع الزمنية المرتبطة بها، بهدف استرداد أحدث المستندات بناءً على التشابه الدلالي والحداثة.
• الوصف: يسترد المستندات عن طريق موازنة التشابه الدلالي مع الطوابع الزمنية للمستندات، مما يضمن إعطاء الأولوية للمستندات الحديثة في عملية RAG.

مسترد الاستعلام المتعدد

• متى يتم الاستخدام: الأفضل للاستعلامات المعقدة التي تتطلب أجزاء متعددة ومتميزة من المعلومات للحصول على استجابة شاملة.
• الوصف: يُنشئ استعلامات متعددة من مدخل واحد، لتلبية الحاجة إلى المعلومات عبر مواضيع مختلفة للإجابة على الاستعلام الأصلي بشكل كامل. يقوم هذا الأسلوب بجلب المستندات لكل استعلام يتم إنشاؤه، مما يضمن الحصول على استجابة شاملة.

المساهمة

المساهمات هي موضع ترحيب! يرجى اتباع سير عمل طلب الشوكة والسحب القياسي. تأكد من الالتزام بأنماط وأنماط الترميز الموجودة في المشروع واكتب اختبارات للميزات الجديدة أو إصلاحات الأخطاء.

رخصة

RAG Arena مفتوح المصدر وتم إصداره بموجب ترخيص MIT. راجع ملف الترخيص لمزيد من المعلومات.