nutch

Apache อ่อนนุช README

สำหรับข้อมูลล่าสุดเกี่ยวกับนุช กรุณาเยี่ยมชมเว็บไซต์ของเราที่:

https://nutch.apache.org/

และวิกิของเราที่:

https://cwiki.apache.org/confluence/display/NUTCH/Home

ในการเริ่มต้นใช้งาน Nutch อ่านบทช่วยสอน:

https://cwiki.apache.org/confluence/display/NUTCH/NutchTutorial

มีส่วนร่วม

หากต้องการสนับสนุนแพตช์ ให้ทำตามคำแนะนำเหล่านี้ (โปรดทราบว่าไม่จำเป็นต้องติดตั้งฮับอย่างเคร่งครัด แต่แนะนำให้ทำ)

0. ดาวน์โหลดและติดตั้ง hub.github.com
1. ยื่นปัญหา JIRA เพื่อแก้ไขปัญหาของคุณที่ https://issues.apache.org/jira/projects/NUTCH/issues
   • คุณจะได้รับ ID ปัญหา NUTCH-xxxx โดยที่ xxxx คือ ID ปัญหา
2. git clone https://github.com/apache/nutch.git
3. cd nutch
4. git checkout -b NUTCH-xxxx
5. แก้ไขไฟล์ (โปรดลองและรวมกรณีทดสอบด้วยถ้าเป็นไปได้)
6. git status (ตรวจสอบให้แน่ใจว่ามันแสดงไฟล์ที่คุณคาดว่าจะแก้ไข)
7. ตรวจสอบให้แน่ใจว่าโค้ดของคุณสอดคล้องกับเทมเพลตการจัดรูปแบบโค้ด Nutch ซึ่งเป็นการเยื้องช่องว่างสองครั้ง
8. git add <files>
9. git commit -m "fix for NUTCH-xxx contributed by <your username>"
10. hub fork (หากไม่ได้ติดตั้งฮับ คุณสามารถแยกโครงการได้โดยใช้ปุ่ม "fork" บนหน้าโครงการ Nutch Github)
11. git push -u <your git username> NUTCH-xxxx
12. hub pull-request (หากไม่ได้ติดตั้งฮับ โปรดปฏิบัติตามคำแนะนำวิธีการสร้างคำขอดึงจากทางแยก)

การตั้งค่า IDE

คราส

สร้างไฟล์โปรเจ็กต์ Eclipse

 ant eclipse

และปฏิบัติตามคำแนะนำในการนำเข้าโครงการที่มีอยู่

คุณต้องกำหนดค่า nutch-site.xml ก่อนที่จะรัน ตรวจสอบให้แน่ใจว่าคุณได้เพิ่มคุณสมบัติ http.agent.name และ plugin.folders แล้ว โดยปกติแล้ว Plugins.folders จะชี้ไปที่ <project_root>/build/plugins

ตอนนี้สร้างการกำหนดค่าแอปพลิเคชัน Java เลือก org.apache.nutch.crawl.Injector เพิ่มสองเส้นทางเป็นอาร์กิวเมนต์ อันแรกคือไดเร็กทอรี crawldb ส่วนอันที่สองคือไดเร็กทอรี URL โดยที่ injector สามารถอ่าน URL ได้ ตอนนี้รันการกำหนดค่าของคุณ

หากเรายังคงเห็น No plugins found on paths of property plugin.folders="plugins" ให้อัปเดต Plugin.folders ใน nutch-default.xml นี่เป็นวิธีแก้ไขด่วน แต่ไม่ควรใช้

Intellij IDEA

ขั้นแรกให้ติดตั้งปลั๊กอิน IvyIDEA จากนั้นรัน ant eclipse ซึ่งจะสร้างไฟล์ .classpath และ .project ที่จำเป็นเพื่อให้ Intellij สามารถนำเข้าโปรเจ็กต์ได้ในขั้นตอนถัดไป

ใน Intellij IDEA เลือก ไฟล์ > ใหม่ > โครงการจากแหล่งที่มาที่มีอยู่ เลือกโฮมไดเร็กตอรี่ของ nutch แล้วคลิก "เปิด"

ในหน้าจอ "นำเข้าโครงการ" ให้เลือกปุ่มตัวเลือก "นำเข้าโครงการจากรุ่นภายนอก" และเลือก "Eclipse" คลิก "สร้าง" ในหน้าจอถัดไป "ไดเร็กทอรีโปรเจ็กต์ Eclipse" ควรถูกตั้งค่าไปที่โฟลเดอร์ nutch แล้ว ปล่อยให้ปุ่มตัวเลือก "สร้างไฟล์โมดูลใกล้กับไฟล์ .classpath" ถูกเลือกไว้ คลิก "ถัดไป" ในหน้าจอถัดไป ในหน้าจอโครงการ SDK เลือก Java 11 แล้วคลิก "สร้าง" หมายเหตุ สำหรับใครก็ตามบน Mac ที่ติดตั้ง openjdk ที่ติดตั้ง homebrew คุณต้องใช้ไดเรกทอรีภายใต้ libexec : <openjdk11_directory>/libexec/openjdk.jdk/Contents/Home

เมื่อนำเข้าโปรเจ็กต์แล้ว คุณจะเห็นป๊อปอัปแจ้งว่า "พบสคริปต์ Ant build", "ตรวจพบเฟรมเวิร์ก - ตรวจพบเฟรมเวิร์ก IvyIDEA" คลิก "นำเข้า" หากคุณไม่ได้รับป๊อปอัป ฉันขอแนะนำให้ทำตามขั้นตอนต่างๆ อีกครั้ง เนื่องจากเหตุการณ์นี้จะเกิดขึ้นเป็นครั้งคราว มีป๊อปอัป Ant อีกอันที่ขอให้คุณกำหนดค่าโปรเจ็กต์ อย่าคลิก "กำหนดค่า"

หากต้องการนำเข้ารูปแบบโค้ด ให้ไปที่ Intellij IDEA > การตั้งค่า > ตัวแก้ไข > รูปแบบโค้ด > Java

สำหรับเมนูแบบเลื่อนลงของโครงการ ให้เลือก "โครงการ" คลิกไอคอนรูปเฟืองและเลือก "นำเข้า Scheme"> "ไฟล์ Eclipse XML"

เลือกไฟล์ eclipse-format.xml และคลิก "เปิด" ในหน้าจอถัดไป ให้เลือกช่องทำเครื่องหมาย "Current Scheme" แล้วกดตกลง

ทำงานใน Intellij IDEA

ทำงานใน Intellij

• เปิดการกำหนดค่า Run/Debug
• เลือก "+" เพื่อสร้างการกำหนดค่าใหม่และเลือก "แอปพลิเคชัน"
• สำหรับ "Main Class" ให้ป้อนคลาสที่มีฟังก์ชันหลัก (เช่น org.apache.nutch.indexer.IndexingJob)
• สำหรับ "ข้อโต้แย้งของโปรแกรม" ให้เพิ่มข้อโต้แย้งที่จำเป็นสำหรับชั้นเรียน คุณสามารถรับสิ่งเหล่านี้ได้โดยการรันโปรแกรมรวบรวมข้อมูลสำหรับงานของคุณ ใช้เส้นทางที่มีคุณสมบัติครบถ้วน (เช่น /Users/kamil/workspace/external/nutch/crawl/crawldb /Users/kamil/workspace/external/nutch/crawl/segments/20221222160141 -deleteGone)
• สำหรับ "Working Directory" ให้ป้อน "/Users/kamil/workspace/external/nutch/runtime/local"
• เลือก "แก้ไขตัวเลือก" > "แก้ไข Classpath" และเพิ่มไดเร็กทอรี config ที่เป็นของ "Working Directory" จากขั้นตอนก่อนหน้า (เช่น /Users/kamil/workspace/external/nutch/runtime/local/conf) ซึ่งจะทำให้ตัวโหลดทรัพยากรสามารถโหลดการกำหนดค่านั้นได้
• เลือก "แก้ไขตัวเลือก"> "เพิ่มตัวเลือก VM" เพิ่มตัวเลือก VM ที่จำเป็น คุณสามารถรับสิ่งเหล่านี้ได้โดยการเรียกใช้โปรแกรมรวบรวมข้อมูลสำหรับงานของคุณ (เช่น -Xmx4096m -Dhadoop.log.dir=/Users/kamil/workspace/external/nutch/runtime/local/logs -Dhadoop.log.file=hadoop.log - Dmapreduce.job.reduces=2 -Dmapreduce.reduce.speculative=false -Dmapreduce.map.speculative=false -Dmapreduce.map.output.compress=true)

หมายเหตุ : คุณจะต้องทริกเกอร์บิลด์ผ่าน ANT ด้วยตนเองเพื่อรับการเปลี่ยนแปลงที่อัปเดตล่าสุดเมื่อทำงาน เนื่องจากระบบสร้างมดแยกจากระบบ Intellij