open semantic search تنزيل - open semantic search تنزيل كود المصدر

open semantic search

شفرة المصدر الأخرى

1.0.0

تنزيل

افتح البحث الدلالي

https://opensmanticsearch.org

فتح البحث الدلالي هو:

خادم بحث متكامل
إطار ETL لمعالجة المستندات (الزحف، واستخراج النص، وتحليل النص، والتعرف على الكيانات المسماة والتعرف الضوئي على الحروف للصور والصور المدمجة في PDF)،
واجهات مستخدم البحث، واستخراج النص، وتحليلات النص، وتطبيقات البحث للبحث عن النص الكامل، والبحث متعدد الأوجه، والبحث الاستكشافي، والبحث في الرسم البياني المعرفي

التوثيق

يعد README.md هذا بمثابة وثائق لمطوري البرامج.

وثائق للمستخدمين والمسؤولين

يتم تضمين الوثائق الخاصة بالمستخدمين والمسؤولين في حزم البرامج/الصور ويتم ربطها في واجهة مستخدم البحث (القائمة "مساعدة").

هندسة البرمجيات

يمكنك العثور على وثائق بنية محرك البحث في docs/doc/modules/README.md .

تنسيق التوثيق

يتم إنشاء وثائق HTML المدمجة هذه بواسطة منشئ الموقع الثابت MkDocs باستخدام ملف التكوين mkdocs.yml .

مصدر الوثائق (تنسيق Markdown) والمخططات (تنسيق حورية البحر) قابل للتحرير في docs الدليل.

يبني

كيفية إنشاء حزمة deb للتثبيت على خادم Debian أو Ubuntu أو صور عامل الإرساء للتشغيل في حاويات Docker:

مستودعات git المستنسخة

استنساخ المستودع بما في ذلك التبعيات:

 git clone --recurse-submodules --remote-submodules https://github.com/opensemanticsearch/open-semantic-search.git
cd open-semantic-search

بناء حزمة ديب

لإنشاء حزمة deb لـ Debian GNU/Linux أو Ubuntu Linux ، اتصل ببرنامج البناء build-deb كجذر المستخدم (قم بتغيير المستخدم بواسطة su أو sudo su ):

 ./build-deb

إنشاء VM لبحث سطح المكتب

تم توثيق كيفية إنشاء جهاز بحث سطح المكتب الدلالي المفتوح لـ VirtualBox في src/open-semantic-desktop-search/README.md .

بناء صور عامل الإرساء

أنشئ صور Docker باستخدام التكوين الافتراضي docker-compose docker-compose.yml :

 docker-compose build

تشغيل حاويات الإرساء

بعد هذه عمليات الإنشاء، يمكن بدء جميع صور/تبعيات/خدمات Docker معًا عن طريق docker-compose باستخدام ملف التكوين docker-compose.yml .

يمكنك بدء البيئة بأكملها عن طريق تشغيل:

 docker-compose up

مما سيكشف واجهة مستخدم الويب على المنفذ 8080 .

يمكنك تصفح واجهة مستخدم Open Semantic Search في متصفحك المفضل من خلال عنوان URL هذا:

http://localhost:8080/search/

الاختبارات الآلية

بالنسبة لـ CI/CD هناك بعض الاختبارات الآلية المختلفة:

اختبارات التكامل

نظرًا لأن الوحدة الفرعية Open Semantic ETL تستخدم وتحتاج إلى خدمات قوية مختلفة مثل Solr أو spaCy-services أو Tika-Server بواسطة HTTP وREST-API، يتم تشغيل العديد من الاختبارات الآلية كاختبارات تكامل داخل بيئة docker-compose التي تم تكوينها في docker-compose.etl.test.yml بحيث تتوفر هذه الخدمات أثناء تشغيل اختبارات الوحدة واختبارات التكامل.

 docker-compose -f docker-compose.etl.test.yml build
docker-compose -f docker-compose.etl.test.yml up

نهاية إلى نهاية الاختبارات

بعض اختبارات التكامل الآلي والاختبارات الشاملة (E2E) داخل متصفح الويب الذي يتم التحكم فيه بواسطة إطار عمل التشغيل الآلي للمتصفح Playwright وإطار الاختبار المستند إلى Node.js / javascript JEST.

يمكنك توسيع الاختبارات الآلية في test/test.js

يتم تشغيلها بواسطة صورة عامل الإرساء Dockerfile-test وتحتاج إلى خدمات بيئة إنشاء عامل الإرساء docker-compose.test.yml :

 docker-compose -f docker-compose.test.yml build
docker-compose -f docker-compose.test.yml up

التبعيات

يتم حل التبعيات تلقائيًا عن طريق إنشاء أو تثبيت حزم Debian أو Ubuntu أو عن طريق إنشاء صور Docker.

وثائق حول هذه التبعيات والتي قد تساعد في تصحيح مشكلات جحيم التبعية أو التثبيتات في بيئات أخرى:

بناء التبعيات على كود المصدر (GIT)

يتم تعريف التبعيات على مستودعات Git / الوحدات الفرعية الأخرى للمكونات مثل Open Semantic ETL في ملف تكوين Git .gitmodules

سيتم سحب الوحدات الفرعية تلقائيًا إلى الدليل الفرعي src ، إذا قمت بسحب هذا المستودع عن طريق git في الوضع العودي.

تبعيات التعبئة والتغليف لأرشيفات Java (JAR)

تحتاج الوحدات الفرعية src/tika-server.deb و src/solr.deb إلى JAR الخاص بـ Apache Tika-Server وApache Solr.

إذا لم تكن هناك، فسيتم تنزيلها من Apache Software Foundation بواسطة wget في البرنامج النصي build-deb أو الوحدات الفرعية Dockerfile .

تبعيات التثبيت على حزم Debian/Ubuntu (DEB)

تم تعريف تبعيات الأدوات والمكتبات، المتوفرة في مستودعات حزم Debian أو Ubuntu، في القسم Depends ملف تكوين حزمة deb DEBIAN/control

تبعيات التثبيت على حزم بايثون (PIP)

يتم تعريف تبعيات مكتبات Python التي لا تتوفر كحزم لتوزيع Linux ولكن في Python Package Index (PyPI) في

src/open-semantic-etl/src/opensemanticetl/requirements.txt

سيتم تثبيت هذه التبعيات تلقائيًا عند تثبيت حزم Debian/Ubuntu بواسطة البرنامج النصي DEBIAN/postinst لحزم Debian/Ubuntu أو عن طريق إنشاء docker الذي تم تكوينه بواسطة Dockerfile بواسطة

 pip3 install -r /usr/lib/python3/dist-packages/opensemanticetl/requirements.txt

المساهمين

لا تظهر واجهة مستخدم Github معظم المساهمين على أنهم " مساهمون " في هذا المستودع، نظرًا لأن هذا المستودع الرئيسي منظم بواسطة وحدات Git الفرعية مثل Open Semantic ETL والوحدات النمطية الأخرى، والتي تتم إدارتها في مستودعات Git(hub) المنفصلة.

لذا شكرًا لجميع المساهمين (الحاليين والسابقين):