الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

بحث مختلط باستخدام البحث عن النص الكامل والمتجه

  • هذه وظيفة بحث تستخدم نموذج اللاما LLM لإنشاء التضمينات (1024)
  • يتم تخزين التضمينات في posgres للاستفادة من مكتبة pgvector
  • نقطة نهاية REST مكتوبة في ExpressJS

تعليمات الإعداد

اتبع الخطوات التالية لإعداد المشروع وتشغيله:

  1. قم بتثبيت PostgreSQL

    • قم بتنزيل Postgres.app وتثبيته باستخدام PostgreSQL 16 من تطبيق Postgres.
    • افتح Postgres.app، وقم بتهيئة PostgreSQL، وانتقل إلى إعدادات الخادم.
    • حدد المستخدم باسم النظام الخاص بك وقم بتغيير كلمة المرور إلى admin .
    • قم بتشغيل خادم PostgreSQL.

  2. تكوين المشروع

    • انتقل إلى مجلد config في دليل المشروع.
    • افتح db.js وقم بتحديث السطر 3:
      • قم بتغيير اسم المستخدم واسم قاعدة البيانات من mayanksharma إلى اسم مستخدم النظام الخاص بك.

  3. قم بإعداد قاعدة البيانات

    • في تطبيق Postgres، انقر نقرًا مزدوجًا على قاعدة البيانات التي تحتوي على اسم المستخدم الخاص بك لفتح الوحدة الطرفية.
    • قم بتشغيل الأمر التالي في المحطة: 
      CREATE EXTENSION vector;

  4. قم بتثبيت أولاما

    • قم بتنزيل وتثبيت Ollama من تنزيل Ollama.
    • بعد التثبيت، لا تقم بتشغيل أي نموذج كما هو مطلوب.
    • افتح محطة أو موجه الأوامر وقم بتشغيل: 
      ollama pull snowflake-arctic-embed
    • مرة أخرى، لا تقم بتشغيل أي نموذج كما هو مطلوب بعد التثبيت.

  5. تثبيت تبعيات المشروع

    • في محطة المشروع، قم بتشغيل الأوامر التالية لتثبيت التبعيات وبدء تشغيل الخادم: 
      npm install
node server.js

  6. قم بتثبيت ملحق عميل REST

    • قم بتنزيل وتثبيت ملحق "REST Client" (الرمز الأزرق) لمحرر التعليمات البرمجية الخاص بك.

  7. اختبر واجهة برمجة التطبيقات

    • في الدليل الجذر للمشروع، افتح ملف api.http لاختبار نقاط نهاية API.

موارد إضافية

  • تطبيق بوستجرس
  • تحميل اولاما

وثائق API وأمثلة الاستخدام

  • POST: /api/v1/magazine/hybridsearch/[ page_number ] يعرض نتائج البحث المختلطة
      1. بحث عن نوع محتوى نقطة النهاية: application/json 
        {
   "query" : " your_search_query "
}

فقط لإضافة البيانات، وليس جزءًا من إرسال المهمة

  • POST: /api/v1/magazine أضف نقطة نهاية المجلة
      1. بحث عن نوع محتوى نقطة النهاية: application/json 
        {
   "title" : " magazine_title " ,
   "author" : " author_name " ,
   "category" : " magazine_category " ,
   "content" : " magazine_content "
 }

تقرير الأداء

اعتبارات الأداء

لقد استخدمت PostgreSQL مع pgvector (لتخزين ناقلات التضمين) وtsvector (لتخزين نص المحتوى).

المتطلبات: البحث من بين مليون سجل

  • تمت إضافة فهارس هرمية للعوالم الصغيرة القابلة للملاحة (HNSW) للبحث المتجه في تضمينات المحتوى السبب: يتطلب البحث استدعاءً عاليًا، مما يجعل hnsw أفضل من مرجع ivfflat

    • Vector_ip_ops
    • Vector_cosine_ops
    • Vector_l1_ops

  • تمت إضافة فهارس للعنوان والمؤلف والمحتوى

    • يتم استخدام فهرسة GIN للمحتوى في نوع بيانات TSVECTOR

  • تمت إضافة ترقيم الصفحات لتقليل أوقات التحميل

    • الحد والإزاحة في الاستعلامات الرسم البياني لتقرير الأداء

  • الملف الشخصي: الذروة

  • المستخدمون الافتراضيون: 20

  • مدة الاختبار: 5 دقائق

  • نتيجة نقطة النهاية: POST /api/v1/magazine/hybridsearch/1 ("glasgow"، و"game"، و"business"، و"shubham"، و"food"، و"modern")

  • إجمالي الطلبات المرسلة: 10,915

  • الطلب في الثانية: 35.62

  • متوسط ​​وقت الاستجابة: 116 مللي ثانية

شرح تنفيذ البحث المختلط

يتم استخدام خدمتين فرديتين للبحث عن النص والبحث عن المتجهات

يتم إنشاء التضمينات بواسطة نموذج Meta llama "snowflake-arctic-embed"، كونه خفيف الوزن.

  • الخطوة 1: يتم عرض الكائنات الشائعة من نتائج بحث المتجهات والنص الكامل أولاً،

  • الخطوة 2: متبوعة بالكائنات من البحث عن النص فقط،

  • الخطوة 3: باقي الكائنات من بحث المتجهات.

اختبار الصلة بالنتائج

  • استعلام: المتجه "glasgow"، إرجاع "Celtic Feast Journal" التي تحتوي على "اسكتلندا مكتوبة في المحتوى"

  • استعلام: المتجه "shortbread"، يُرجع "Celtic Feast Journal" لأن "shortbread" مرتبط بـ "Scotland"

  • استعلام: الكلمة الأساسية/النص الكامل "shubham"، يُرجع "Physics Refresher" الذي يحمل اسم المؤلف "Shubham Thorve"

  • استعلام: الكلمة الأساسية/النص الكامل "mayank"، يُرجع "Digit Gaming" الذي يحمل اسم المؤلف "Mayank Khurana"

  • استعلام: الكلمة الأساسية/النص الكامل "الشهر"، يُرجع "Dalal Street Journal" الذي يحتوي على محتوى "كل شيء عن ألعاب الفيديو هذا الشهر"

يوجد مخطط قاعدة البيانات ORM في /model

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل