WebSihir

Webmagic mengadopsi desain yang sepenuhnya modular, dan fungsinya mencakup seluruh siklus hidup perayap (ekstraksi tautan, pengunduhan halaman, ekstraksi konten, persistensi), mendukung perayapan multi-utas, perayapan terdistribusi, percobaan ulang otomatis, dan UA/Cookie yang disesuaikan serta fungsi lainnya.

Fitur utama webmagic

1. Desain sepenuhnya modular dan skalabilitas yang kuat.
2. Intinya sederhana tetapi mencakup seluruh proses crawler. Ini fleksibel dan kuat dan juga merupakan bahan yang bagus untuk mempelajari cara memulai crawler.
3. Menyediakan API halaman ekstraksi yang kaya.
4. Tidak ada konfigurasi, tetapi crawler dapat diimplementasikan melalui anotasi POJO+.
5. Mendukung multi-utas.
6. Mendukung distribusi.
7. Mendukung perayapan js halaman yang dirender secara dinamis.
8. Tidak ada ketergantungan kerangka kerja dan dapat secara fleksibel dimasukkan ke dalam proyek.

Tampilan halaman WebMagic (kerangka perayap Java).