advanced ir search_engine

التمهيدي

محرك بحث للمستندات مكتوب من الصفر بلغة بايثون. استنادًا إلى مفاهيم من كتاب مقدمة ستانفورد لاسترجاع المعلومات.

يستخدم الجزء TREC8Adhoc من مجموعة TIPSTER لبناء الفهرس وتقييمه. سيتعين عليك الحصول على TREC8Adhoc.tar.bz2 من هذه المجموعة (القرص 4 و5) لإعادة إنتاج النتائج التي تم الإبلاغ عنها.

لتقييم النتائج باستخدام trec_eval سيتعين عليك تنزيل TREC-8 qrels المخصص.

سمات:

• طرق بناء الفهرس المقلوب: فهرسة بسيطة في الذاكرة أحادية المرور (SPIMI) وتقليل الخريطة
• مقاييس تشابه المستندات: TF-IDF، وBM25، وBM25VA (رابط PDF) ومسافة جيب التمام TF-IDF
• تقييم الأداء على TREC وإعداد تقارير النتائج بتنسيق qrel.

يقع منفذ Rust المبكر في ir-search-engine-rust.

المتطلبات الأساسية

يتطلب هذا المشروع إصدار python 3.6 على الأقل.

تثبيت التبعيات

pip install -r requirements.txt

إنشاء الفهرس

يجري

قم بتشغيل python cmd_index.py --help للحصول على التعليمات.

مثال:

لإنشاء فهرس وإحصائيات مستند باستخدام أسلوب SPIMI، قم بتشغيل: python cmd_index.py --document_folder=./data/TREC8all/Adhoc/ --index_file=spimi.index --stats_file=spimi.stats spimi

الإخراج

يقوم البرنامج النصي بإنشاء ملفين للإخراج:

• index_file : الفهرس المقلوب
• stats_file : إحصائيات المستند التي تم جمعها أثناء إنشاء الفهرس (أطوال المستند وعدد المصطلحات)

تنسيق الفهرس

يعتمد تنسيق ملف الفهرس على النص.

يوضح السطر الأول عدد المستندات الفريدة في الفهرس.

يمثل كل سطر متتالي مصطلحًا يتضمن البيانات ذات الصلة:

<TERM> <DOCUMENT_FREQUENCY> <POSTINGS>

• TERM - المصطلح نفسه
• DOCUMENT_FREQUENCY - تكرار المستند (عدد المستندات التي يظهر فيها المصطلح)
• المنشورات - قائمة مفصولة بفواصل من المستندات التي يظهر فيها المصطلح جنبًا إلى جنب مع مصطلح التكرار مفصولاً بقناة في المستند المحدد: <DOCUMENT_ID>|<TERM_FREQUENCY>،<DOCUMENT_ID>|<TERM_FREQUENCY>،...
• TERM_FREQUENCY - عدد مرات ظهور المصطلح في المستند المقابل

تقييم

يجري

قم بتشغيل python cmd_search.py --help للحصول على التعليمات.

مثال:

لتقييم قائمة المواضيع في فهرس SPIMI تم إنشاؤه مسبقًا باستخدام تصنيف bm25، قم بتشغيل: python cmd_search.py --output_file=out.txt --run_name=dev --topics_file=./data/TREC8all/topicsTREC8Adhoc.txt --index_file=spimi.index --stats_file=spimi.stats bm25

الإخراج

يقوم البرنامج النصي بإنشاء ملف إخراج يمكن استخدامه مع trec_eval ، مثل: trec_eval -q -m map -c ./data/TREC8all/qrels.trec8.adhoc.parts1-5 ./out.txt