searchzin

بحثزين

تنفيذ محرك بحث بسيط.

تحفيز

أغراض الدراسة، في الغالب لفهم تفاصيل التنفيذ لكيفية إنشاء محركات البحث، ومقايضات الأداء والهيكل.

وصف

تتمثل الفكرة في إنشاء تطبيق متماثل من واجهة المستخدم إلى نظام قاعدة البيانات.

الاستخدام

يمكن نشر التطبيق باستخدام عامل الإرساء أو الملف الثنائي الذي تم إصداره في جيثب.

 ./searchzin -c <path-to-config>.yml

بعد ذلك يمكنك البحث في http://localhost:8080 لرؤية صفحة البحث.

إعدادات

يمكن إجراء التكوين إما عن طريق ملف التكوين الموجود افتراضيًا في /etc/searchzin/config.yml ، أو عن طريق توفير مفاتيح التكوين في النموذج -C key=value ، ويتجاوز النموذج الثاني الأول.

افتراضيات التكوين:

 port : 8080 # Service port
path :
  log : /var/log/searchzin # Log directory
  data : /var/lib/searchzin # Data directory 

تطوير

كل هيكل المشروع مصنوع في جولانج، باستخدام إطار عمل gin .

تتم إدارة التبعيات باستخدام dep .

تتم إدارة معظم سلسلة أدوات المشروع بواسطة Makefile ، والأهداف المهمة هي:

• install : تثبيت التبعيات المطلوبة وخطافات git
• readme : يقوم بتنفيذ تضمين الملف README.md
• lint : يقوم بإجراء فحص وتنسيق التعليمات البرمجية
• test : حسنًا، قم بتجميع اختبارات الوحدة وتشغيلها
• build : إنشاء مجلد linux قابل للتوزيع في dist
• run : يقوم بتشغيل الكود باستخدام go run
• run-dev : يقوم بإنشاء حاوية عامل إرساء وتشغيلها
• release : إنشاء صورة عامل ميناء الإصدار
• publish : ينشر صورة عامل الإرساء على dockerhub باستخدام محتويات ملف VERSION كإصدار
• publish-latest : ينشر صورة عامل الإرساء على dockerhub latest علامة
• ( TODO ) watch : يقوم بتنفيذ lint test تعديل الملف
• ( TODO ) func-test : يقوم بإجراء اختبارات وظيفية داخل مجلد features

بنيان

هناك 6 مكونات رئيسية لمحرك البحث هذا:

• قاعدة بيانات الوثائق
• قاعدة بيانات الفهرس
• خدمة الفهرسة
• منفذ الاستعلام
• مخطط الاستعلام
• محلل الاستعلام

ولكل مكون مسؤولية واضحة في النظام، وتعمل جميعها معًا للرد على الاستفسارات وطلبات فهرسة المستندات.

قاعدة بيانات المستندات

إنها مسؤولة عن تخزين وإعطاء معرفات للمستندات التي تم إنشاؤها حديثًا. القيود هي:

• يخزن المستندات id
• تمكين إنشاء id بدون أي تصادمات من أجل الثبات
• خوارزمية فعالة لتخزين المستندات، تم تحسينها للقراءة السريعة والكتابة السريعة الكافية
• كن على دراية بوحدة التخزين الأساسية، سواء كانت ssd أو hdd
• كن على دراية بحجم صفحة Linux الأساسي واستراتيجية التخزين المؤقت للملفات

قاعدة بيانات الفهرس

يخزن فهرسًا عكسيًا لـ "المصطلحات" والمستندات

• يخزن terms لتوثيق علاقات المجموعة
• تمكين إستراتيجيات معالجة key للاستعلامات التي تحتوي على تقريب الكلمات الرئيسية
• مُحسّن للمفاتيح منخفضة الكثافة التي تحتوي على الكثير من المستندات
• كن على دراية بالحجم الأساسي لصفحة Linux بحيث يمكن ملاءمتها وتحميلها في الذاكرة بسهولة

خدمة الفهرسة

بالنظر إلى مستند جديد يفهمه ويحفظه في قاعدة بيانات الفهرس وقاعدة بيانات المستندات.

• يعرف الحقول التي يتم فهرستها وكيف
• يعرف بنية المستند ويمكنه ربط ذلك بالفهارس

محلل الاستعلام

يوزع مدخلات المستخدم ويحولها إلى خطة استعلام باستخدام بنية بيانات تشبه الشجرة.

• يوزع سلسلة مقدمة من المستخدم ويحولها إلى رسم بياني
• سيكون DSL مشابهًا لـ lucene
• دعم استعلامات ANSI SQL
• دعم لعمليات البحث عن مفتاح الوثيقة

مخطط الاستعلام

نظرًا لشجرة الاستعلام، يتم تحسينها مع العلم بالقيود والبيئة التي سيتم تنفيذها فيها.

• إزالة النتائج الزائدة عن الحاجة، وإتاحتها لجميع الخطوات التي تحتاج إليها
• كن على دراية بحجم الفهرس لفرز عمليات الاسترداد الفعالة التي سيتم إجراؤها أولاً
• إرجاع قائمة مرتبة بعقد الاستعلام المطلوب تنفيذها

منفذ الاستعلام

بعد الحصول على خطة منظمة، يقوم الاستعلام باسترداد البيانات الفعالة من قاعدة بيانات index ، ويتم تنفيذ هذه الخطوة من قبل المنفذ.

• يعرف كيفية الاستعلام عن قاعدة بيانات الفهرس
• ينضم إلى النتائج المقدمة منه بطريقة مرتبة
• يستعيد الوثائق
• يخزن نتائج الاستعلام في ملف ليتم الاستعلام عنه لاحقًا باستخدام التخزين "البارد".

لغة الاستعلام

تعتمد لغة الاستعلام هذه بشكل كبير على لغة لوسين، لتبسيط التصميم وفهم المقايضات التي تم إجراؤها.

سيناريو الاختبار

سيكون سيناريو الاختبار الحالي الذي سيتم استخدامه هو فهرسة ملفات البودكاست حسب الاسم والمحتوى والعلامات.

يمكن العثور على الاستخدام الأساسي في searchzin-example .

رخصة

Searchzin متاح بموجب ترخيص MIT.