nutch

التمهيدي لـ Apache Nutch

للحصول على أحدث المعلومات حول Nutch، يرجى زيارة موقعنا على الانترنت على العنوان التالي:

https://nutch.Apache.org/

والويكي الخاص بنا على:

https://cwiki.apache.org/confluence/display/NUTCH/Home

للبدء في استخدام Nutch، اقرأ البرنامج التعليمي:

https://cwiki.apache.org/confluence/display/NUTCH/NutchTutorial

المساهمة

للمساهمة في التصحيح، اتبع هذه التعليمات (لاحظ أن تثبيت Hub ليس مطلوبًا بشكل صارم، ولكن يوصى به).

0. قم بتنزيل وتثبيت hub.github.com
1. قم بتقديم مشكلة JIRA لإصلاحها على https://issues.Apache.org/jira/projects/NUTCH/issues
   • سوف تحصل على معرف الإصدار NUTCH-xxxx حيث xxxx هو معرف الإصدار.
2. git clone https://github.com/apache/nutch.git
3. cd nutch
4. git checkout -b NUTCH-xxxx
5. تحرير الملفات (يُرجى محاولة تضمين حالة اختبار إن أمكن)
6. git status (تأكد من أنها تعرض الملفات التي تتوقع تحريرها)
7. تأكد من أن التعليمات البرمجية الخاصة بك تتوافق مع قالب تنسيق التعليمات البرمجية Nutch، والذي يتكون في الأساس من مسافات بادئة
8. git add <files>
9. git commit -m "fix for NUTCH-xxx contributed by <your username>"
10. hub fork (إذا لم يتم تثبيت المحور، يمكنك تفرع المشروع باستخدام زر "الشوكة" في صفحة مشروع Nutch Github)
11. git push -u <your git username> NUTCH-xxxx
12. hub pull-request (إذا لم يتم تثبيت المحور، يرجى اتباع التعليمات حول كيفية إنشاء طلب سحب من مفترق الطرق)

إعداد إيد

كسوف

إنشاء ملفات مشروع Eclipse

 ant eclipse

واتبع الإرشادات الواردة في استيراد المشاريع الموجودة.

يجب عليك تكوين ملف nutch-site.xml قبل التشغيل. تأكد من أنك قمت بإضافة خصائص http.agent.name و plugin.folders . يشير الملف plugin.folders عادةً إلى <project_root>/build/plugins .

الآن قم بإنشاء تكوين تطبيق Java، واختر org.apache.nuch.crawl.Injector، وأضف مسارين كوسائط. الأول هو دليل Crawldb، والثاني هو دليل URL حيث يمكن للحاقن قراءة عناوين URL. الآن قم بتشغيل التكوين الخاص بك.

إذا كنا لا نزال نرى No plugins found on paths of property plugin.folders="plugins" ، فقم بتحديث plugin.folders في nutch-default.xml، فهذا حل سريع، ولكن لا ينبغي استخدامه.

فكرة ذكية

قم أولاً بتثبيت البرنامج المساعد IvyIDEA. ثم قم بتشغيل ant eclipse . سيؤدي هذا إلى إنشاء ملفات .classpath و.project الضرورية حتى يتمكن Intellij من استيراد المشروع في الخطوة التالية.

في Intellij IDEA، حدد File > New > Project from Existing Sources. حدد الدليل الرئيسي ثم انقر فوق "فتح".

في شاشة "استيراد مشروع"، حدد زر الاختيار "استيراد مشروع من طراز خارجي" وحدد "Eclipse". انقر فوق "إنشاء". في الشاشة التالية، يجب أن يكون "دليل مشاريع Eclipse" مضبوطًا بالفعل على مجلد الجوز. اترك زر الاختيار "إنشاء ملفات وحدة بالقرب من ملفات .classpath" محددًا. انقر فوق "التالي" على الشاشات التالية. في شاشة SDK للمشروع، حدد Java 11 وانقر فوق "إنشاء". ملاحظة: بالنسبة لأي شخص يستخدم جهاز Mac ولديه برنامج openjdk مثبت على برنامج homebrew، فإنك تحتاج إلى استخدام الدليل ضمن libexec : <openjdk11_directory>/libexec/openjdk.jdk/Contents/Home .

بمجرد استيراد المشروع، ستظهر لك نافذة منبثقة تقول "تم العثور على نصوص برمجية لبناء Ant"، و"تم اكتشاف أطر عمل - تم اكتشاف إطار عمل IvyIDEA". انقر فوق "استيراد". إذا لم تظهر لك النافذة المنبثقة، أقترح عليك اتباع الخطوات مرة أخرى حيث يحدث هذا من وقت لآخر. هناك نافذة منبثقة أخرى لـ Ant تطلب منك تكوين المشروع. لا تنقر فوق "تكوين".

لاستيراد نمط التعليمات البرمجية، انتقل إلى Intellij IDEA > التفضيلات > المحرر > نمط التعليمات البرمجية > Java.

بالنسبة إلى القائمة المنسدلة للمخطط، حدد "المشروع". انقر على أيقونة الترس وحدد "استيراد النظام" > "ملف Eclipse XML".

حدد ملف Eclipse-format.xml وانقر فوق "فتح". في الشاشة التالية، حدد مربع الاختيار "النظام الحالي" واضغط على "موافق".

يعمل في Intellij IDEA

تعمل في Intellij

• افتح تكوينات التشغيل/التصحيح
• حدد "+" لإنشاء تكوين جديد وحدد "التطبيق"
• بالنسبة إلى "الفئة الرئيسية" أدخل فئة ذات وظيفة رئيسية (على سبيل المثال org.apache.nutch.indexer.IndexingJob).
• بالنسبة إلى "وسيطات البرنامج" قم بإضافة الوسائط المطلوبة للفئة. يمكنك الحصول عليها عن طريق تشغيل الزحف القابل للتنفيذ لمهمتك. استخدم المسارات المؤهلة بالكامل. (على سبيل المثال /Users/kamil/workspace/external/nutch/crawl/crawldb /Users/kamil/workspace/external/nutch/crawl/segments/20221222160141 -deleteGone)
• بالنسبة إلى "دليل العمل"، أدخل "/Users/kamil/workspace/external/nutch/runtime/local".
• حدد "تعديل الخيارات" > "تعديل Classpath" وأضف دليل التكوين الذي ينتمي إلى "دليل العمل" من الخطوة السابقة (على سبيل المثال /Users/kamil/workspace/external/nutch/runtime/local/conf). سيسمح هذا لمحمل الموارد بتحميل هذا التكوين.
• حدد "تعديل الخيارات" > "إضافة خيارات VM". أضف خيارات VM المطلوبة. يمكنك الحصول عليها عن طريق تشغيل الزحف القابل للتنفيذ لمهمتك (على سبيل المثال -Xmx4096m -Dhadoop.log.dir=/Users/kamil/workspace/external/nutch/runtime/local/logs -Dhadoop.log.file=hadoop.log - Dmapreduce.job.reduces=2 -Dmapreduce.reduce.speculative=false -Dmapreduce.map.speculative=false -Dmapreduce.map.output.compress=true)

ملاحظة : ستحتاج إلى تشغيل البناء يدويًا من خلال ANT للحصول على آخر التغييرات المحدثة عند التشغيل. وذلك لأن نظام بناء النمل منفصل عن نظام Intellij.