sparkler

kembang api

Perayap web adalah program bot yang mengambil sumber daya dari web demi membangun aplikasi seperti mesin pencari, basis pengetahuan, dll. Sparkler (kontraksi Spark-Crawler) adalah perayap web baru yang memanfaatkan kemajuan terkini dalam komputasi terdistribusi dan domain pengambilan informasi dengan menggabungkan berbagai proyek Apache seperti Spark, Kafka, Lucene/Solr, Tika, dan pf4j. Sparkler adalah perayap web yang dapat diperluas, sangat skalabel, dan berkinerja tinggi yang merupakan evolusi dari Apache Nutch dan berjalan di Apache Spark Cluster.

CATATAN:

Sparkler sedang diusulkan ke Apache Incubator. Tinjau dokumen proposal dan berikan saran Anda di sini Akan dilakukan nanti, pada akhirnya!

Fitur penting dari Sparkler:

• Memberikan kinerja lebih tinggi dan toleransi kesalahan: Pipa perayapan telah didesain ulang untuk memanfaatkan kemampuan caching dan toleransi kesalahan Apache Spark.
• Mendukung analitik yang kompleks dan hampir real-time: Struktur data internal adalah penyimpanan terindeks yang didukung oleh Apache Lucene dan memiliki fungsi untuk menjawab pertanyaan kompleks hampir secara real-time. Apache Solr (Mendukung mode mandiri untuk memulai cepat dan cloud untuk menskalakan secara horizontal) digunakan untuk mengekspos analitik crawler melalui HTTP API. Analisis ini dapat divisualisasikan menggunakan grafik intuitif di dasbor Admin (segera hadir).
• Mengalirkan konten secara real-time: Secara opsional, Apache Kafka dapat dikonfigurasi untuk mengambil konten keluaran saat konten tersedia.
• Rendering Java Script Mengeksekusi kode javascript di halaman web untuk membuat keadaan akhir halaman. Penyiapannya mudah dan tidak merepotkan, berskala dengan mendistribusikan pekerjaan di Spark. Ini mempertahankan sesi dan cookie untuk permintaan selanjutnya yang dibuat ke host.
• Kerangka kerja plugin yang dapat diperluas: Sparkler dirancang bersifat modular. Ini mendukung plugin untuk memperluas dan menyesuaikan perilaku runtime.
• Parser Universal: Apache Tika, alat deteksi konten dan analisis konten paling populer yang dapat menangani ribuan format file, digunakan untuk menemukan tautan ke sumber daya web keluar dan juga untuk melakukan analisis pada sumber daya yang diambil.

Mulai Cepat: Menjalankan pekerjaan perayapan pertama Anda dalam hitungan menit

Untuk menggunakan Sparkler, instal buruh pelabuhan dan jalankan perintah di bawah ini:

 # Step 0. Get the image
docker pull ghcr.io/uscdatascience/sparkler/sparkler:main
# Step 1. Create a volume for elastic
docker volume create elastic
# Step 1. Inject seed urls
docker run -v elastic:/elasticsearch-7.17.0/data ghcr.io/uscdatascience/sparkler/sparkler:main inject -id myid -su ' http://www.bbc.com/news '
# Step 3. Start the crawl job
docker run -v elastic:/elasticsearch-7.17.0/data ghcr.io/uscdatascience/sparkler/sparkler:main crawl -id myid -tn 100 -i 2     # id=1, top 100 URLs, do -i=2 iterations

Menjalankan Sparkler dengan file url seed:

1. Follow Steps 0-1
2. Create a file name seed-urls.txt using Emacs editor as follows:     
       a. emacs sparkler/bin/seed-urls.txt 
       b. copy paste your urls 
       c. Ctrl+x Ctrl+s to save  
       d. Ctrl+x Ctrl+c to quit the editor [Reference: http://mally.stanford.edu/~sr/computing/emacs.html]

* Note: You can use Vim and Nano editors also or use: echo -e " http://example1.comnhttp://example2.com " >> seedfile.txt command.

3. Inject seed urls using the following command, (assuming you are in sparkler/bin directory) 
$bash sparkler.sh inject -id 1 -sf seed-urls.txt
4. Start the crawl job.

Untuk merayapi hingga akhir semua URL baru, gunakan -i -1 , Contoh: /data/sparkler/bin/sparkler.sh crawl -id 1 -i -1

Memberikan Kontribusi:

• Ke kode sumber
• Ke dokumentasi

Hubungi kami

Setiap pertanyaan atau saran diterima di milis kami [email protected] Alternatifnya, Anda dapat menggunakan saluran slack untuk mendapatkan bantuan http://irds.usc.edu/sparkler/#slack