الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

pyLLMSearch - RAG المتقدم

التوثيق

الغرض من هذه الحزمة هو تقديم نظام ملائم للإجابة على الأسئلة (RAG) مع تكوين بسيط قائم على YAML يتيح التفاعل مع مجموعات متعددة من المستندات المحلية. يتم إيلاء اهتمام خاص للتحسينات في مختلف مكونات النظام بالإضافة إلى RAGs الأساسية المستندة إلى LLM - تحليل أفضل للمستندات، والبحث المختلط، والبحث الممكّن HyDE، وسجل الدردشة، والربط العميق، وإعادة الترتيب، والقدرة على تخصيص التضمينات، والمزيد . تم تصميم الحزمة للعمل مع نماذج اللغات الكبيرة المخصصة (LLMs) - سواء من OpenAI أو المثبتة محليًا.

سمات

  • التنسيقات المدعومة

    • بناء في المحللون:
      • .md - يقسم الملفات بناءً على المكونات المنطقية مثل العناوين والعناوين الفرعية وكتل التعليمات البرمجية. يدعم ميزات إضافية مثل تنظيف روابط الصور وإضافة بيانات التعريف المخصصة والمزيد.
      • .pdf - محلل يستند إلى MuPDF.
      • .docx - محلل مخصص، يدعم الجداول المتداخلة.
    • يتم دعم التنسيقات الشائعة الأخرى بواسطة معالج مسبق Unstructured :
      • قائمة التنسيقات انظر هنا.

  • دعم تحليل الجدول عبر gmft مفتوح المصدر (https://github.com/conjuncts/gmft) أو Azure Document Intelligence.

  • دعم اختياري لتحليل الصور باستخدام Gemini API.

  • يدعم مجموعة متعددة من المستندات، وتصفية النتائج حسب المجموعة.

  • القدرة على تحديث التضمينات بشكل تدريجي، دون الحاجة إلى إعادة فهرسة قاعدة المستند بأكملها.

  • يُنشئ عمليات تضمين كثيفة من مجلد المستندات ويخزنها في قاعدة بيانات متجهة (ChromaDB).

    • يتم دعم نماذج التضمين التالية:
      • تعانق الوجه التضمينات.
      • النماذج القائمة على محولات الجملة، على سبيل المثال، multilingual-e5-base .
      • النماذج المعتمدة على المدرس، على سبيل المثال، instructor-large .

  • يُنشئ تضمينات متفرقة باستخدام SPLADE (https://github.com/naver/splade) لتمكين البحث المختلط (متناثر + كثيف).

  • يدعم استراتيجية "الاسترجاع وإعادة الترتيب" للبحث الدلالي، انظر هنا.

    • بالإضافة إلى برنامج التشفير المتقاطع ms-marco-MiniLM الأصلي، يتم دعم bge-reranker الأكثر حداثة.

  • يدعم HyDE (تضمين المستندات الافتراضية) - انظر هنا.

    • تحذير: يمكن أن يؤدي تمكين HyDE (عبر التكوين أو تطبيق الويب) إلى تغيير جودة النتائج بشكل كبير. يرجى التأكد من قراءة الورقة قبل التمكين.
    • من خلال تجاربي الخاصة، يؤدي تمكين HyDE إلى تعزيز جودة المخرجات بشكل كبير في الموضوعات التي لا يستطيع المستخدم صياغة السؤال فيها باستخدام لغة محددة للموضوع - على سبيل المثال عند تعلم موضوعات جديدة.

  • دعم الاستعلامات المتعددة، المستوحى من RAG Fusion - https://towardsdatascience.com/forget-rag-the-future-is-rag-fusion-1147298d8ad1

    • عند تشغيل الاستعلام المتعدد (إما config أو webapp)، سيتم استبدال الاستعلام الأصلي بثلاثة أشكال مختلفة لنفس الاستعلام، مما يسمح بسد الفجوة في المصطلحات و"تقديم زوايا أو وجهات نظر مختلفة" وفقًا للمقال.

  • يدعم سجل الدردشة الاختياري مع سياق السؤال

  • يسمح بالتفاعل مع المستندات المضمنة، ويدعم داخليًا النماذج والأساليب التالية (بما في ذلك المستضافة محليًا):

    • نماذج OpenAI (ChatGPT 3.5/4 وAzure OpenAI).
    • نماذج الوجه المعانقة.
    • نماذج Llama cpp المدعومة - للحصول على القائمة الكاملة، انظر هنا.
    • نماذج AutoGPTQ (معطلة مؤقتًا بسبب التبعيات المعطلة).

  • إمكانية التشغيل التفاعلي مع LiteLLM + Ollama عبر OpenAI API، ودعم مئات النماذج المختلفة (راجع تكوين النموذج لـ LiteLLM)

  • ميزات أخرى

    • واجهة سطر الأوامر (CLI) البسيطة وواجهات الويب.
    • الارتباط العميق بأقسام المستند - انتقل إلى صفحة PDF فردية أو رأس في ملف تخفيض السعر.
    • القدرة على حفظ الردود على قاعدة بيانات غير متصلة بالإنترنت لتحليلها في المستقبل.
    • واجهة برمجة التطبيقات التجريبية

تجريبي

تجريبي

التوثيق

تصفح التوثيق

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل