selective search

بحث انتقائي

البحث الانتقائي هو مشروع لاسترجاع المعلومات الموزعة (DIR) للبحث عن النص على نطاق واسع حيث يتم تقسيم مجموعة المستندات إلى مجموعات فرعية (تُعرف باسم الأجزاء) بناءً على تشابه مجموعة المستندات، وبالتالي تمكين البحث عبر أجزاء أقل بدلاً من جميع الأجزاء.

الهدف من المشروع هو تنفيذ نظام بحث موزع يتسم بالكفاءة والفعالية دون التأثير على جودة البحث ويهدف إلى تقليل تكلفة البحث.

يُطلق على منهجية تحليل مجموعة واسعة النطاق إلى وحدات فرعية بناءً على تشابه محتوى السجلات الخاصة بها اسم "التقسيم على أساس الموضوع"، ويُطلق على البحث عبر عدد أقل من الأجزاء ذات الصلة لاستعلام بحث معين اسم "البحث الانتقائي" في منشور صادر عن Kulkarni et آل.

جدول المحتويات

1. العمارة العامة
2. التنفيذ الحالي
   1. كومة التكنولوجيا
   2. توافق الإصدار
   3. هندسة التنفيذ
   4. سمات
3. ابدء
   1. تجميع
   2. يجري
      1. تشغيل على IDE
      2. تشغيل على مجموعة سبارك
   3. إعداد سولركلود
4. أمثلة
5. التكوين والضبط
6. أسئلة
7. مراجع

العمارة العامة

التنفيذ الحالي

تمت برمجة البحث الانتقائي في Scala. إنه يوسع مكتبات Apache Spark MLLib للتجميع غير الخاضع للرقابة والحوسبة الموزعة، ومكتبات Apache Solr للبحث واسترجاع المعلومات.

كومة التكنولوجيا

• لغة البرمجة: سكالا
• الأطر الموسعة
  • أباتشي سبارك للحوسبة الموزعة
    • يمتد مكتبات التعلم الآلي الخاصة بـ Apache Spark (MLLib) لتنفيذ التقسيم على أساس الموضوع ويتم تشغيل الخوارزمية أعلى Spark Cluster.
  • Apache Solr للبحث الموزع
    • يوسع مكتبات استرجاع المعلومات (البحث) الخاصة بـ Apache Solr لتنفيذ خوارزميات البحث الانتقائية المختلفة ويتم إعداد مجموعة البحث نفسها على Apache SolrCloud.
  • للتكامل بين Apache Spark وApache Solr، يتم استخدام مكتبات Spark-Solr.
• أدوات
  • Maven للبناء، IntelliJ للتطوير، Git لـ SCM

توافق الإصدار

1. جافا JDK 8 الإصدار "1.8.0_131"

2. سكالا 2.12.2

3. أباتشي سبارك الإصدار 2.1.1

4. أباتشي سولر 6.6.2

5. سبارك سولر 3.3.0

6. أباتشي ميفن 3.5.0

7. أباتشي آيفي 2.4.0

8. أباتشي أنت الإصدار 1.10.1

هندسة التنفيذ

سمات

• يتم إنشاء تحويل البيانات النصية إلى متجهات TF-IDF إما بناءً على قاموس المصطلحات المقدمة كمدخل أو قاموس آخر من مجموعة بيانات التدريب من خلال تطبيق أوزان TF-IDF على المصطلحات.
• تنفيذ خوارزمية KMeans المخصصة لتجميع مجموعة البيانات النصية، وتوسيع مكتبات Apache Spark MLLib، وتنفيذ كل من مقاييس حساب التشابه، وهي Cosine وEuclidean.
• فهرسة السجلات في Solrcloud.
• تنفيذ خوارزميات البحث الانتقائية، وهي CORI[6] وReDDE[7]
• المحللون اللغويون لسجلات Clueweb09 WARC ومجموعة بيانات 20newsgroup ومجموعة البيانات النصية بشكل عام.
• محللو النصوص الذين يقومون بتجريد HTML، واستخراج محتوى النصوص، والترميز، والتصفية حسب كلمات التوقف وتطبيق KStemmer.

ابدء

تجميع

لتجميع الإصدار الحالي من البحث الانتقائي، ستحتاج إلى قائمة البرامج التالية التي تعمل على جهازك.

• Java وScala وApache Maven (الإصدارات كما هي مدرجة في قسم توافق الإصدار)

للتحقق من تشغيل البرامج المذكورة أعلاه على جهازك، قم بالتأكيد باستخدام الأوامر أدناه.

• java -version
  • نسخة جافا "1.8.0_31"
• scala -version
  • إصدار Scala Code Runner 2.11.8
• mvn -version
  • أباتشي ميفن 3.3.9

بعد التحقق من إعداد البرامج المطلوبة، قم بتنزيل الكود المصدري وتنفيذ الأمر أدناه.

• mvn clean install -DskipTests

يجري

لتشغيل مشروع البحث الانتقائي على المضيف المحلي (الجهاز)، يلزم تكوين Apache SolrCloud. إذا لم تكن قد قمت بتكوينه بالفعل، فاتبع الإرشادات المقدمة هنا: ()

بعد إعداد SolrCloud، هناك طريقتان لتشغيل البحث الانتقائي، إما إعداده على IDE - يمكن أن يكون إما IntelliJ/Eclipse أو تشغيل Spark Cluster وتنفيذ المهمة عليه.

1. تشغيل على IDE

• قم بتنزيل أو استنساخ المشروع git clone https://github.com/rajanim/selective-search.git
• قم بتجميع التعليمات البرمجية المصدر باتباع الخطوات المذكورة ضمن قسم "ترجمة".
• قم باستيراد المشروع الحالي كمشروع Maven إلى IDE
• لاختبار هذا الإعداد، انتقل إلى تطبيق الاختبار App.scala ، وانقر بزر الماوس الأيمن ثم قم بتشغيله. يجب أن تطبع عبارة "Hello World!" هذا يؤكد أن كود Scala قد تم تجميعه وتشغيله بنجاح.
• لاختبار إعداد البحث الانتقائي، انتقل إلى TestTextFileParser.scala ، وقم بتعديل مسار الجذر وفقًا لإعدادات الدليل لديك، وقم بتشغيل حالات الاختبار (انقر بزر الماوس الأيمن واختر خيار التشغيل)
• لتنفيذ بحث انتقائي لـ 20newsgroup، انتقل إلى org.sfsu.cs.io.newsgroup.NewsgroupRunner.scala ، وقم بتعديل مسار دليل الإدخال إلى مسار دليل جهازك المحلي، ثم قم بالتشغيل.
• انتقل إلى /test/org.sfsu.cs.* لاختبار الوظائف المتنوعة التي تم تنفيذها.

2. تشغيل على مجموعة سبارك

قم بتكوين Spark Cluster على المضيف المحلي.

• تنزيل Apache Spark (يعمل التنفيذ الحالي على spark spark-2.0.0-bin-hadoop2.7 )
• انتقل إلى المحطة الطرفية وانتقل إلى المسار الذي يوجد به برنامج spark unzip. على سبيل المثال، cd /Users/user_name/softwares/spark-2.0.0-bin-hadoop2.7
• تكوين شرارة
  • ابدأ برنامج Spark Master ./sbin/start-master.sh
  • تكوين مثيلات شرارة الرقيق

    • قم بإنشاء ملف spark-env.sh باستخدام القالب المقدم: cp ./conf/spark-env.sh.template ./conf/spark-env.sh

    • قم بإلحاق معلمة التكوين بنهاية الملف: echo "export SPARK_WORKER_INSTANCES=4" >> ./conf/spark-env.sh

  • ابدأ مثيلات العبيد الشرارة ./sbin/start-slaves.sh <master_url> [master url: available or seen on spark web-ui after master is started, at: localhost:8080]

قم بتشغيل مشروع البحث الانتقائي على مجموعة الشرارة. nohup ./bin/spark-submit --master spark://RajaniM-1159:7077 --num-executors 2 --executor-memory 8g --driver-memory 12g --conf "spark.rpc.message.maxSize=2000" --conf "spark.driver.maxResultSize=2000" --class com.sfsu.cs.main.TopicalShardsCreator /Users/rajanishivarajmaski/selective-search/target/selective-search-1.0-SNAPSHOT.jar TopicalShardsCreator -zkHost localhost:9983 -collection word-count -warcFilesPath /Users/rajani.maski/rm/cluweb_catb_part/ -dictionaryLocation /Users/rajani.maski/rm/spark-solr-899/ -numFeatures 25000 -numClusters 50 -numPartitions 50 -numIterations 30 &

إعداد سولركلود

• قم بتنزيل Apache Solr بتنسيق Zip (يعمل التنفيذ الحالي على solr 6.2.1)

• انتقل إلى المحطة وانتقل إلى المسار الذي يوجد به دليل solr unzip.

• ابدأ تشغيل solr في الوضع السحابي

  ./bin/solr start -c -m 4g

• بمجرد أن تبدأ solr برسالة ترحيب باسم "بحث سعيد!"، يجب أن تكون قادرًا على الاتصال بواجهة المستخدم الإدارية الخاصة به http://localhost:8983/solr/#/ ، وانتقل إلى المجموعات: http://localhost:8983/solr/#/~collections

• أضف مجموعة عن طريق إعطاء اسم المجموعة، واختر مجموعة التكوين، ويجب أن تكون data_driven_schema_configs. مدخلات زوج القيمة الرئيسية الأخرى كما هو موضح هنا في لقطة الشاشة: انقر هنا

• تأكد من إنشاء المجموعة بنجاح من خلال الانتقال إلى واجهة مستخدم مسؤول السحابة http://localhost:8983/solr/#/~cloud ويجب أن تكون قادرًا على رؤية المجموعة التي تم إنشاؤها حديثًا

• هناك طريقة أخرى لإنشاء مجموعة وهي عبر سطر الأوامر. مثال للأمر ./bin/solr create_collection -n data_driven_schema_configs -c collection_name -p portNumber -shards numShards

بالنسبة Selective Search ، نحتاج إلى مجموعة solr مع استراتيجية implicit routing .

• مثال لأمر الضفيرة لإنشاء مجموعة مكونة من 20 قطعة مع توجيه ضمني http://localhost:8983/solr/admin/collections?action=CREATE&name=NewsGroupImplicit&numShards=20&replicationFactor=1&maxShardsPerNode=20&router.name=implicit&shards=shard1,shard2,shard3,shard4,shard5,shard6,shard7,shard8,shard9,shard10,shard11,shard12,shard13,shard14,shard15,shard16,shard17,shard18,shard19,shard20&collection.configName=data_driven_schema_configs&router.field=_route_

التصور

• تصور تخصيص المجموعة باستخدام لوحة معلومات الموز.
• الملاحظات التعليمية والمرجعية هنا
• قم بتكوين Banana على مثيل solr الخاص بك واتصل بلوحة معلومات الموز عبر http url http://localhost:8983/solr/banana/src/index.html#/dashboard

أمثلة

اتبع الخطوات المذكورة أدناه لتنفيذ (تشغيل) البحث الانتقائي لأي مجموعة بيانات أخرى (مخصصة/محددة).

• قم بإنشاء فئة scala مشابهة لـ NewsgroupRunner.scala
• احصل على سياق الشرارة عن طريق إنشاء org.sfsu.cs.main.SparkInstance جديد واستدعاء طريقة createSparkContext val sc = sparkInstance.createSparkContext("class name")
• قم بتحويل مستندات الإدخال إلى RDD لمستندات TF، والمراجع النموذجية كما هو موضح أدناه
  • إذا كانت مجموعة بيانات الإدخال عبارة عن مجموعة من الملفات النصية، فاستخدم واجهة برمجة تطبيقات محللي النصوص المتوفرة ضمن org.sfsu.cs.io.text.TextFileParser.scala للحصول على المستندات النصية المعينة إلى org.sfsu.cs.document.TFDocument
  • إذا كانت مجموعة بيانات الإدخال عبارة عن مجموعة من سجلات شبكة الأدلة، فاستخدم المحلل اللغوي المتوفر ضمن org.sfsu.cs.io.clueweb09
  • إذا كانت مجموعة بيانات الإدخال عبارة عن ملف CSV، فاستخدم واجهة برمجة تطبيقات المحلل اللغوي المتوفرة ضمن org.sfsu.cs.io.csv

التكوين والضبط

التكوينات المطلوبة

• يجب تثبيت كافة البرامج المطلوبة لتجميع المصدر، كما هو مدرج ضمن قسم الترجمة
• يجب تكوين Solrcloud، إما على الجهاز المحلي أو عن بعد، إذا تم الإعداد على جهاز التحكم عن بعد، فتأكد من تحديد IP والمنفذ الصحيحين أثناء تنفيذ المهمة. خطوات التكوين هنا
• إعداد مجموعة Spark المستقلة على الجهاز المحلي لتشغيل المهمة عبر spark-submit.sh

ضبط

• إعداد معلمات الشرارة - ذاكرة المنفذ، - ذاكرة السائق بناءً على الذاكرة المتوفرة على الجهاز.
• قد يقوم برنامج تشغيل Spark بالإبلاغ عن استثناء maxResultSize، ويمكن زيادته عن طريق تمرير المعلمة "spark.driver.maxResultSize=2000" ولا يمكن أن يتجاوز 2048
• بالنسبة لـ Apache solr، قم بتخصيص Xmx أثناء بدء تشغيل solr. على سبيل المثال، لتخصيص 4g، ./bin/solr start -c -m 4g

استكشاف الأخطاء وإصلاحها

• تم تلقي استثناء أثناء إنشاء مجموعة solr التي أبلغت عن "الأجزاء المطلوبة أعلى من العدد المسموح به" https://issues.apache.org/jira/browse/SOLR-4114 الإصلاح: تأكد من أن maxShardsPerNode يساوي numShards بناءً على عدد العقد المتاحة.

أسئلة

إذا كانت لديك أسئلة إضافية تتعلق بالتنفيذ أو النتائج التجريبية أو المعايير أو استخدام Selective-Search ، فيسعدنا تقديم المساعدة. يرجى إرسال بريد إلكتروني إلى [email protected]

مراجع

1. أناغا كولكارني. 2015. البحث الانتقائي: بحث فعال وواسع النطاق. معاملات ACM على نظم المعلومات، 33(4). ايه سي ام. 2015.
2. أناغا كولكارني. 2010. أقسام الفهرس القائمة على الموضوع للبحث الانتقائي الفعال والفعال. ورشة العمل الثامنة حول الأنظمة الموزعة واسعة النطاق لاسترجاع المعلومات.
3. رولف جاجرمان، كارستن إيكهوف. نماذج موضوعية على نطاق الويب في Spark: خادم معلمات غير متزامن. 2016.
4. مجموعة بيانات Clueweb09. مشروع الليمور.
5. 20 مجموعة أخبار. جريني. qwone.com/~jason/20Newsgroups
6. مون شيه تشوانغ وأناغا كولكارني. تحسين اختيار الجزء للبحث الانتقائي. وقائع مؤتمر جمعيات استرجاع المعلومات في آسيا. نوفمبر 2017
7. إل سي وجي كالان. (2003.) "طريقة تقدير توزيع المستندات ذات الصلة لاختيار الموارد." في وقائع المؤتمر الدولي السنوي السادس والعشرون لـ ACM SIGIR حول البحث والتطوير في مجال استرجاع المعلومات. تورونتو: ايه سي ام.