sparkler

бенгальский огонь

Веб-сканер — это бот-программа, которая извлекает ресурсы из Интернета для создания таких приложений, как поисковые системы, базы знаний и т. д. Sparkler (сокращение от Spark-Crawler) — это новый веб-сканер, использующий последние достижения в области распределенных вычислений. и домены поиска информации путем объединения различных проектов Apache, таких как Spark, Kafka, Lucene/Solr, Tika и pf4j. Sparkler — это расширяемый, масштабируемый и высокопроизводительный веб-сканер, который является развитием Apache Nutch и работает на кластере Apache Spark.

ПРИМЕЧАНИЕ:

Sparkler предлагается инкубатору Apache. Просмотрите документ предложения и оставьте свои предложения здесь здесь. В конце концов, это будет сделано позже!

Примечательные особенности Спарклера:

• Обеспечивает более высокую производительность и отказоустойчивость. Конвейер сканирования был переработан, чтобы использовать преимущества кэширования и отказоустойчивости Apache Spark.
• Поддерживает сложную аналитику в режиме, близком к реальному времени. Внутренняя структура данных представляет собой индексированное хранилище на базе Apache Lucene и имеет функциональные возможности для ответа на сложные запросы практически в реальном времени. Apache Solr (поддержка автономного режима для быстрого запуска и облачного режима для горизонтального масштабирования) используется для предоставления аналитики сканера через HTTP API. Эту аналитику можно визуализировать с помощью интуитивно понятных диаграмм на панели администратора (скоро).
• Потоковая передача контента в режиме реального времени. При необходимости Apache Kafka можно настроить на получение выходного контента по мере того, как контент становится доступным.
• Рендеринг Java Script Выполняет код JavaScript на веб-страницах для создания окончательного состояния страницы. Настройка проста и безболезненна, масштабируется за счет распределения работы на Spark. Он сохраняет сеансы и файлы cookie для последующих запросов к хосту.
• Расширяемая платформа плагинов: Sparkler спроектирован по модульному принципу. Он поддерживает плагины для расширения и настройки поведения во время выполнения.
• Универсальный парсер: Apache Tika, самый популярный набор инструментов для обнаружения и анализа контента, который может работать с тысячами форматов файлов, используется для обнаружения ссылок на исходящие веб-ресурсы, а также для выполнения анализа полученных ресурсов.

Быстрый старт: запуск первого задания сканирования за считанные минуты

Чтобы использовать Sparkler, установите Docker и выполните следующие команды:

 # Step 0. Get the image
docker pull ghcr.io/uscdatascience/sparkler/sparkler:main
# Step 1. Create a volume for elastic
docker volume create elastic
# Step 1. Inject seed urls
docker run -v elastic:/elasticsearch-7.17.0/data ghcr.io/uscdatascience/sparkler/sparkler:main inject -id myid -su ' http://www.bbc.com/news '
# Step 3. Start the crawl job
docker run -v elastic:/elasticsearch-7.17.0/data ghcr.io/uscdatascience/sparkler/sparkler:main crawl -id myid -tn 100 -i 2     # id=1, top 100 URLs, do -i=2 iterations

Запуск Sparkler с исходным файлом URL-адресов:

1. Follow Steps 0-1
2. Create a file name seed-urls.txt using Emacs editor as follows:     
       a. emacs sparkler/bin/seed-urls.txt 
       b. copy paste your urls 
       c. Ctrl+x Ctrl+s to save  
       d. Ctrl+x Ctrl+c to quit the editor [Reference: http://mally.stanford.edu/~sr/computing/emacs.html]

* Note: You can use Vim and Nano editors also or use: echo -e " http://example1.comnhttp://example2.com " >> seedfile.txt command.

3. Inject seed urls using the following command, (assuming you are in sparkler/bin directory) 
$bash sparkler.sh inject -id 1 -sf seed-urls.txt
4. Start the crawl job.

Чтобы сканировать все новые URL-адреса до конца, используйте -i -1 . Пример: /data/sparkler/bin/sparkler.sh crawl -id 1 -i -1

Внесение взносов:

• К исходному коду
• К документации

Связаться с нами

Любые вопросы и предложения приветствуются в нашем списке рассылки [email protected]. Кроме того, вы можете использовать канал Slack для получения помощи http://irds.usc.edu/sparkler/#slack.