nutch

BACA Apache Nutch

Untuk informasi terbaru mengenai Nutch, silahkan kunjungi website kami di:

https://nutch.apache.org/

dan wiki kami, di:

https://cwiki.apache.org/confluence/display/NUTCH/Home

Untuk mulai menggunakan Nutch, baca Tutorial:

https://cwiki.apache.org/confluence/display/NUTCH/NutchTutorial

Berkontribusi

Untuk menyumbangkan patch, ikuti petunjuk berikut (perhatikan bahwa menginstal Hub tidak sepenuhnya diperlukan, tetapi disarankan).

0. Unduh dan instal hub.github.com
1. Ajukan masalah JIRA untuk perbaikan Anda di https://issues.apache.org/jira/projects/NUTCH/issues
   • Anda akan mendapatkan id masalah NUTCH-xxxx di mana xxxx adalah ID masalah.
2. git clone https://github.com/apache/nutch.git
3. cd nutch
4. git checkout -b NUTCH-xxxx
5. edit file (silakan coba dan sertakan test case jika memungkinkan)
6. git status (pastikan itu menunjukkan file apa yang ingin Anda edit)
7. Pastikan kode Anda mematuhi templat pemformatan kode Nutch, yang pada dasarnya berupa dua indentasi spasi
8. git add <files>
9. git commit -m "fix for NUTCH-xxx contributed by <your username>"
10. hub fork (jika hub tidak diinstal, Anda dapat melakukan fork proyek menggunakan tombol "fork" di halaman proyek Nutch Github)
11. git push -u <your git username> NUTCH-xxxx
12. hub pull-request (jika hub belum terpasang, silakan ikuti petunjuk cara membuat pull-request dari fork)

pengaturan IDE

Gerhana

Hasilkan file proyek Eclipse

 ant eclipse

dan ikuti instruksi di Mengimpor proyek yang ada.

Anda harus mengkonfigurasi nutch-site.xml sebelum menjalankannya. Pastikan, Anda telah menambahkan properti http.agent.name dan plugin.folders . Plugin.folders biasanya menunjuk ke <project_root>/build/plugins .

Sekarang buat Konfigurasi Aplikasi Java, pilih org.apache.nutch.crawl.Injector, tambahkan dua jalur sebagai argumen. Yang pertama adalah direktori crawldb, yang kedua adalah direktori URL tempat injektor dapat membaca url. Sekarang jalankan konfigurasi Anda.

Jika kami masih melihat No plugins found on paths of property plugin.folders="plugins" , perbarui plugin.folders di nutch-default.xml, ini adalah perbaikan cepat, tetapi tidak boleh digunakan.

IDE Intellij

Pertama instal Plugin IvyIDEA. lalu jalankan ant eclipse . Ini akan membuat file .classpath dan .project yang diperlukan sehingga Intellij dapat mengimpor proyek pada langkah berikutnya.

Di Intellij IDEA, pilih File > Baru > Proyek dari Sumber yang Ada. Pilih direktori home nutch dan klik "Buka".

Pada layar "Impor Proyek" pilih tombol radio "Impor proyek dari model eksternal" dan pilih "Eclipse". Klik "Buat". Pada layar berikutnya, "Direktori proyek Eclipse" seharusnya sudah disetel ke folder nutch. Biarkan tombol radio "Buat file modul di dekat file .classpath" dipilih. Klik "Berikutnya" di layar berikutnya. Pada layar proyek SDK pilih Java 11 dan klik "Buat". NB Bagi siapa pun yang menggunakan Mac dengan openjdk yang diinstal homebrew, Anda perlu menggunakan direktori di bawah libexec : <openjdk11_directory>/libexec/openjdk.jdk/Contents/Home .

Setelah proyek diimpor, Anda akan melihat popup yang mengatakan "Skrip pembuatan semut ditemukan", "Kerangka terdeteksi - Kerangka IvyIDEA terdeteksi". Klik "Impor". Jika Anda tidak mendapatkan pop-up, saya sarankan untuk mengulangi langkah-langkah tersebut lagi karena hal ini terjadi dari waktu ke waktu. Ada popup Ant lain yang meminta Anda untuk mengkonfigurasi proyek. JANGAN klik "Konfigurasi".

Untuk mengimpor gaya kode, Buka Intellij IDEA > Preferensi > Editor > Gaya Kode > Java.

Untuk dropdown Skema pilih "Proyek". Klik ikon roda gigi dan pilih "Impor Skema" > "File XML Eclipse".

Pilih file Eclipse-format.xml dan klik "Buka". Pada layar berikutnya centang kotak "Skema Saat Ini" dan tekan OK.

Berjalan di Intellij IDEA

Berjalan di Intellij

• Buka Konfigurasi Jalankan/Debug
• Pilih "+" untuk membuat konfigurasi baru dan pilih "Aplikasi"
• Untuk "Kelas Utama" masukkan kelas dengan fungsi utama (misalnya org.apache.nutch.indexer.IndexingJob).
• Untuk "Argumen Program" tambahkan argumen yang diperlukan untuk kelas. Anda bisa mendapatkannya dengan menjalankan perayapan yang dapat dieksekusi untuk pekerjaan Anda. Gunakan jalur yang memenuhi syarat penuh. (misal /Users/kamil/workspace/external/nutch/crawl/crawldb /Users/kamil/workspace/external/nutch/crawl/segments/20221222160141 -deleteGone)
• Untuk "Direktori Kerja" masukkan "/Users/kamil/workspace/external/nutch/runtime/local".
• Pilih "Modify options" > "Modify Classpath" dan tambahkan direktori konfigurasi milik "Working Directory" dari langkah sebelumnya (misalnya /Users/kamil/workspace/external/nutch/runtime/local/conf). Ini akan memungkinkan pemuat sumber daya memuat konfigurasi tersebut.
• Pilih "Ubah opsi" > "Tambahkan Opsi VM". Tambahkan opsi VM yang diperlukan. Anda bisa mendapatkannya dengan menjalankan perayapan yang dapat dieksekusi untuk pekerjaan Anda (misalnya -Xmx4096m -Dhadoop.log.dir=/Users/kamil/workspace/external/nutch/runtime/local/logs -Dhadoop.log.file=hadoop.log - Dmapreduce.job.reduces=2 -Dmapreduce.reduce.speculative=false -Dmapreduce.map.spekulatif=false -Dmapreduce.map.output.compress=true)

Catatan : Anda perlu memicu build secara manual melalui ANT untuk mendapatkan perubahan terbaru saat dijalankan. Ini karena sistem ant build terpisah dari sistem Intellij.