inverted_index

جدول المحتويات

1. حول المشروع

   • نموذج النظام

   • بنيت مع

2. ابدء

   • المتطلبات الأساسية

   • تثبيت

3. الاستخدام

4. خريطة الطريق

5. رخصة

6. شكر وتقدير

حول المشروع

قد يكون البحث عن العبارات التي يقولها الأشخاص من حولك أمرًا صعبًا. ماذا عن التحديثات الديناميكية لمجموعة البيانات هذه؟ تخزين قابل للتطوير وزمن وصول منخفض؟ هدفي الرئيسي من هذا المشروع هو بناء نظام يلبي هذه المتطلبات ويسمح بمواكبة الاتجاهات الموجودة في التغريدات في الوقت الفعلي.

باتباع فكرة الفهرس المقلوب، قمت بتنفيذ التطبيق الذي يبحث في الوقت الفعلي عن التغريدات ذات المحتوى المحدد، ويخزنها في نظام ملفات محلي ويسمح بإجراء بحث قائم على الكلمات مباشرة بعد تهيئة اتصال العميل.

نموذج النظام

بنيت مع

• جافا 8
• بايثون 3.7
• كافكا 2.10
• الجد 6.7

ابدء

المتطلبات الأساسية

لتشغيل التطبيق تحتاج إلى:

• يقوم Docker بتأليف دليل التثبيت

تثبيت

1. استنساخ الريبو

   git clone https://github.com/cyberpunk317/inverted_index.git

2. باتباع هذا الدليل، احصل على بيانات اعتماد Twitter API وقم بإعدادها في kafka/kafka_producer.py

    TWITTER_APP_KEY = 'YOUR APP KEY'
    TWITTER_APP_SECRET = 'YOUR APP SECRET'
    TWITTER_KEY = 'YOUR KEY'
    TWITTER_SECRET = 'YOUR SECRET' 

الاستخدام

إنشاء ملفات Dockerfiles للعميل والخادم:

 ./gradlew clean build createClientDockerfile createMainDockerfile

سيؤدي هذا إلى إنتاج app_server.Dockerfile وapp_client.Dockerfile في الدليل الجذر.

بدء التطبيق:

 docker-compose up

إطلاق جلسة العميل:

 docker build -f app_client.Dockerfile -t client:latest . && docker run -it --rm --network=host client:latest bash

ابدأ في كتابة الكلمات التي تهمك. سيعرض الخادم موقع التغريدات بالتنسيق "dataset_v2//tweet_N.txt". على سبيل المثال:

 You entered: war
Server response: [dataset_v2/Veeresh Dambal/tweet_30.txt, dataset_v2/pedro schliesser/tweet_1.txt]

خريطة الطريق

راجع المشكلات المفتوحة للحصول على قائمة بالميزات المقترحة (والمشكلات المعروفة).

رخصة

وزعت بموجب ترخيص معهد ماساتشوستس للتكنولوجيا. راجع LICENSE لمزيد من المعلومات.

شكر وتقدير

• إعداد مجموعة كافكا
• تعبئة تطبيق Java في حاويات (باستخدام Gradle)
• دليل جافا CI/CD
• JUnit 5 مع Gradle
• دليل تنسيق README
• دليل جافا CI/CD
• JUnit 5 مع Gradle