rubrix

محرك بحث مرئي مدعوم بالذكاء الاصطناعي

كان الدافع الرئيسي وراء بناء rubrix هو امتلاك محرك بحث مرئي مدعوم بالكامل بالذكاء الاصطناعي، وربط المفاهيم في مجالات معالجة اللغات الطبيعية ورؤية الكمبيوتر، وهو شيء نحب أن نطلق عليه "بحث التشابه المشترك". لدى rubrix حاليًا وظيفتان رئيسيتان:

• خذ مدخلات المستخدم التي تصف الصورة واحصل على خمس صور تناسب هذا الوصف (البحث عن الصور)
• التقاط صورة قام المستخدم بتحميلها واسترداد خمس صور مماثلة (البحث العكسي عن الصور)

من فضلك انقر هنا لمعرفة المزيد من التفاصيل حول البنية وكيفية عمل rubrix !

rubrix في العمل

يمكنك الاطلاع على بعض الصور التي تم استردادها بواسطة rubrix للحصول على نماذج استعلامات هنا.

ابدء

يصف هذا القسم المتطلبات الأساسية ويحتوي على تعليمات لبدء المشروع وتشغيله.

يثبت

1. بيئة المشروع

حاليًا، يعمل rubrix بشكل لا تشوبه شائبة على Linux، ويمكن إعداده بسهولة مع جميع الحزم المطلوبة باتباع التعليمات التالية:

1. قم بتنزيل الإصدار المناسب من conda لجهازك.

2. قم بتثبيته عن طريق تشغيل ملف conda_install.sh باستخدام الأمر:

   $ bash conda_install.sh

3. أضف conda إلى ملف تعريف باش:

   $ source ~ /.bashrc

4. انتقل إلى rubrix/ (دليل المستوى الأعلى) وقم بإنشاء بيئة افتراضية conda باستخدام ملف environment.yml المضمن باستخدام الأمر التالي:

   $ conda env create -f environment.yml

5. قم بتنشيط البيئة الافتراضية باستخدام الأمر التالي:

   $ conda activate rubrix

6. لتثبيت الحزمة مع إضافات setuptools، استخدم الأمر التالي في rubrix/ (دليل المستوى الأعلى) الذي يحتوي على ملف setup.py :

   $ pip install . 

2 أ. أصول البيانات - الإعداد من الصفر

بمجرد تثبيت المتطلبات الأساسية، اتبع الإرشادات التالية لإنشاء المشروع:

1. انتقل إلى دليل rubrix/index .

2. قم بتشغيل البرنامج النصي bash setup.sh باستخدام الأمر التالي:

   $ bash setup.sh

ماذا يفعل هذا؟

1. تنزيل مجموعة بيانات الصور/التسميات التوضيحية من flickr8k.
2. إنشاء وإعداد darknet/ داخل rubrix/index لتمكين اكتشاف الكائنات باستخدام YOLOv4.
3. ينشئ ملف assets/index.json ، وهو في الأساس عبارة عن فهرس صورة عكسية يعين جميع الكائنات التي تم تدريب YOLOv4 عليها، على الصور التي تحتوي عليها.
4. ينشئ ملف assets/imageEmbeddingLocations.json ، والذي يقوم بشكل أساسي بتعيين جميع الصور الموجودة في قاعدة البيانات إلى متجهات تضمين الجملة التي تم إنشاؤها لكل من التسميات التوضيحية الموجودة في قاعدة البيانات.
5. يُنشئ ناقلات الميزات التي تصف جميع الصور الموجودة في قاعدة البيانات ويحفظها في دليل assets/descriptors .

ملاحظة: يمكن أن يستغرق البرنامج النصي أعلاه ما بين 1.5 إلى 2 ساعة لإكمال التنفيذ.

2 ب. أصول البيانات - الإعداد السريع

1. قم بتنزيل أصول البيانات من هذا الرابط.
2. قم بفك ضغط المحتويات وحفظها في rubrix/assets .
3. كل ما تبقى هو تغيير المسارات في rubrix/assets/index.json و rubrix/assets/imageEmbeddingLocations.json بالنسبة إلى الجهاز المحلي. يمكن القيام بذلك على النحو التالي:
   • تأكد من أن البيئة الافتراضية المقابلة نشطة، أو قم بتنشيطها باستخدام الأمر التالي:

     $ conda activate rubrix

   • قم بتشغيل Python Interpretor في الوحدة الطرفية وقم بتشغيل مقتطف التعليمات البرمجية التالي:

      >> > from rubrix . utils import fix_paths_in_index
     >> > path_to_index = < absolute / path / to / rubrix / assets / index . json >
     >> > path_to_emb = < absolute / path / to / rubrix / assets / imageEmbeddingLocations . json >
     >> > fix_paths_in_index ( path_to_index , path_to_emb )

4. انتقل إلى دليل rubrix/rubrix/index وقم بتشغيل البرنامج النصي bash التالي:

   $ bash quick_setup.sh

الاستخدام

1. كحزمة

بعد الانتهاء من هذه الخطوات، من المفترض أن تكون قادرًا على استخدام rubrix .

• للبحث عن الصور، قم بتنفيذ طريقة rubrix/query/query_by_text .
• للبحث العكسي عن الصور، قم بتنفيذ طريقة rubrix/query/query_by_image_objects .

يمكنك أيضًا اتباع مثال عملي لهذا هنا.

2. تطبيق الويب المحلي

البديل هو استخدام rubrix كتطبيق على متصفح الويب.

• انتقل إلى دليل rubrix/rubrix/web .
• أدخل الأمر التالي في الجهاز لتشغيل تطبيق الويب:

  $ python app.py

3. تطبيق ويب Dockerized

هذا إذا كنت تريد نشر rubrix على خادم، مثل خادم Ubuntu Linux على AWS

1. انتقل إلى الدليل العلوي
2. أدخل الأمر التالي لإنشاء صورة عامل الإرساء:

 $ sudo docker build -t < YOUR-NAME > /rubrix .

3. يمكنك بعد ذلك تشغيل:

 $ sudo docker run -p 9000:80 < YOUR-NAME > /rubrix

سيكون الإعداد المثالي لذلك هو إعداد وكيل عكسي لـ Apache/Nginx على النظام المضيف، مع الإشارة إلى المنفذ 9000 في هذه الحالة، وسيتعامل Apache/Nginx الخاص بالنظام المضيف مع SSL. سيكون هذا حتى تتمكن من نشر التطبيق مرارًا وتكرارًا دون القلق بشأن إعادة إنشاء شهادات SSL.

لا يستخدم Dockerfile ملف environment.yml لأن استخدام conda في أي نوع من بيئة الإنتاج يعد بمثابة كابوس. لن تنعكس التغييرات التي تم إجراؤها هناك في حاوية Dockerized.

إرشادات المساهمة

لا توجد إرشادات محددة للمساهمة، باستثناء بعض الإرشادات العامة التي حاولنا اتباعها، مثل:

• يجب أن يتبع الكود معايير PEP8 قدر الإمكان
• نحن نستخدم مستندات Google-Style لتوثيق وحدات Python في هذا المشروع.

إذا رأيت شيئًا يمكن تحسينه، فأرسل طلب سحب! يسعدنا دائمًا أن ننظر إلى التحسينات، للتأكد من أن rubrix ، كمشروع، هو أفضل نسخة من نفسه.

إذا كنت تعتقد أنه يجب القيام بشيء ما بطريقة مختلفة (أو أنه معطل تمامًا)، فيرجى إنشاء مشكلة.

رخصة

راجع ملف الترخيص لمزيد من التفاصيل.