kroomsa تنزيل - kroomsa تنزيل كود المصدر

kroomsa

شفرة المصدر الأخرى

1.0.0

تنزيل

كرومسا

محرك بحث للفضوليين. إنها خوارزمية بحث مصممة لجذب المستخدمين من خلال تعريضهم لمحتوى ذي صلة ولكنه مثير للاهتمام أثناء الجلسة.

وصف

تؤثر خوارزمية البحث المطبقة في موقع الويب الخاص بك بشكل كبير على تفاعل الزائرين. يمكن أن يؤدي التنفيذ اللائق إلى تقليل الاعتماد بشكل كبير على محركات البحث القياسية مثل Google لكل استعلام، وبالتالي زيادة المشاركة. تبحث الطرق التقليدية في المصطلحات أو العبارات في استعلامك للعثور على المحتوى ذي الصلة بناءً على المطابقة النحوية. يستخدم Kroomsa المطابقة الدلالية للعثور على المحتوى ذي الصلة باستعلامك. هناك تدوينة تتوسع في دوافع كرومسا وجوانبها التقنية.

ابدء

المتطلبات الأساسية

بايثون 3.6.5
قم بتشغيل إعداد دليل المشروع: python3 ./setup.py في الدليل الجذر.
أداة تشفير الجملة العالمية لـ Tensorflow 4
- النموذج موجود على هذا الرابط قم بتنزيل النموذج واستخرج الملف المضغوط في الدليل /vectorizer .
يتم استخدام MongoDB كقاعدة بيانات لجمع طلبات Reddit. يمكن تثبيت MongoDB باتباع هذا الرابط.
لجلب التعليقات على طلبات Reddit، يتم استخدام PRAW. لكشط بيانات الاعتماد هناك حاجة إلى السماح للبرنامج النصي لنفسه. ويتم ذلك عن طريق إنشاء تطبيق مرتبط بحساب reddit باتباع هذا الرابط. كمرجع يمكنك متابعة هذا البرنامج التعليمي الذي كتبه شانتنو تيواري.
- قم بتسجيل مثيلات متعددة واسترد بيانات الاعتماد الخاصة بها، ثم قم بإضافتها إلى /config ضمن معلمة bot_codes بالتنسيق التالي: "client_id client_secret user_agent" كعناصر قائمة مفصولة بـ ,
Docker-compose (للنشر المُرسى فقط): قم بتثبيت أحدث إصدار باتباع هذا الرابط.

التثبيت

قم بإنشاء بيئة python وقم بتثبيت الحزم المطلوبة للمعالجة المسبقة باستخدام: python3 -m pip install -r ./preprocess_requirements.txt
تجميع مجموعة بيانات من طلبات Reddit
- كشط المشاركات
  - يتم استخدام واجهة برمجة التطبيقات الخاصة بـ Pushshift لجلب عمليات إرسال Reddit. في الدليل الجذر، قم بتشغيل الأمر التالي: python3 ./pre_processing/scraping/questions/scrape_questions.py . يقوم بتشغيل برنامج نصي يقوم بإلغاء subreddits بشكل تسلسلي حتى بدايتها ويخزن التقديمات ككائنات JSON في /pre_processing/scraping/questions/scraped_questions . ثم يقوم بعد ذلك بتقسيم عمليات الإرسال المسروقة إلى أجزاء متساوية بقدر ما توجد مثيلات مسجلة للروبوتات.
- كشط التعليقات
  - بعد ملء التكوين باستخدام bot_codes ، يمكننا البدء في حذف التعليقات باستخدام ملفات الإرسال المقسمة التي تم إنشاؤها أثناء إلغاء عمليات الإرسال. باستخدام الأمر التالي: python3 ./pre_processing/scraping/comments/scrape_comments.py يتم إنشاء عمليات متعددة تجلب تدفقات التعليقات في وقت واحد.
- الإدراج
  - لإدراج المشاركات والتعليقات المرتبطة بها، استخدم الأوامر التالية: python3 ./pre_processing/db_insertion/insertion.py . يقوم بإدراج المشاركات والتعليقات المرتبطة بها في مونغو.
  - لتنظيف التعليقات ووضع علامة على المشاركات غير العامة لأي سبب من الأسباب، قم بتشغيل python3 ./post_processing/post_processing.py . وبصرف النظر عن التنظيف، فإنه يضيف أيضًا رموزًا تعبيرية إلى كل كائن إرسال (هذا السلوك قابل للتكوين).
إنشاء مؤشر FAISS
- لإنشاء فهرس FAISS، قم بتشغيل الأمر التالي: python3 ./index/build_index.py . افتراضيًا، يقوم بإنشاء IDMap, Flat ولكنه قابل للتكوين من خلال الملف /config .
تفريغ قاعدة البيانات (للنشر المُرسى)
- للنشر المُرسى، يلزم وجود تفريغ قاعدة بيانات في /mongo_dump . استخدم الأمر التالي في الدليل الجذر لإنشاء تفريغ قاعدة البيانات. mongodump --db database_name(default: red) --collection collection_name(default: questions) -o ./mongo_dump .

تنفيذ

النشر المحلي (باستخدام Gunicorn)
- قم بإنشاء بيئة python وتثبيت الحزم المطلوبة باستخدام الأمر التالي: python3 -m pip install -r ./inference_requirements.txt
- يمكن نشر مثيل محلي لـ Kroomsa باستخدام الأمر التالي: gunicorn -c ./gunicorn_config.py server:app
عرض تجريبي
- اضبط demo_mode على True في /config .
- بناء الصور: docker-compose build
- النشر: docker-compose up