sparkler

Bengala

Un rastreador web es un programa bot que obtiene recursos de la web con el fin de crear aplicaciones como motores de búsqueda, bases de conocimiento, etc. Sparkler (contracción de Spark-Crawler) es un nuevo rastreador web que utiliza avances recientes en informática distribuida. y dominios de recuperación de información mediante la conglomeración de varios proyectos de Apache como Spark, Kafka, Lucene/Solr, Tika y pf4j. Sparkler es un rastreador web extensible, altamente escalable y de alto rendimiento que es una evolución de Apache Nutch y se ejecuta en Apache Spark Cluster.

NOTA:

Sparkler se propone a Apache Incubator. Revise el documento de propuesta y proporcione sus sugerencias aquí. ¡Se terminará más tarde, eventualmente!

Características notables de Sparkler:

• Proporciona mayor rendimiento y tolerancia a fallas: la canalización de rastreo se ha rediseñado para aprovechar la capacidad de almacenamiento en caché y tolerancia a fallas de Apache Spark.
• Admite análisis complejos y casi en tiempo real: la estructura de datos interna es un almacén indexado impulsado por Apache Lucene y tiene la funcionalidad de responder consultas complejas casi en tiempo real. Apache Solr (compatible con modo independiente para un inicio rápido y modo de nube para escalar horizontalmente) se utiliza para exponer los análisis del rastreador a través de la API HTTP. Estos análisis se pueden visualizar mediante gráficos intuitivos en el panel de administración (próximamente).
• Transmite el contenido en tiempo real: opcionalmente, Apache Kafka se puede configurar para recuperar el contenido de salida cuando esté disponible.
• Representación de script Java Ejecuta el código JavaScript en páginas web para crear el estado final de la página. La configuración es fácil e indolora y se escala distribuyendo el trabajo en Spark. Conserva las sesiones y cookies para las solicitudes posteriores realizadas a un host.
• Marco de complementos extensible: Sparkler está diseñado para ser modular. Admite complementos para ampliar y personalizar el comportamiento del tiempo de ejecución.
• Universal Parser: Apache Tika, el kit de herramientas de análisis y detección de contenido más popular que puede manejar miles de formatos de archivos, se utiliza para descubrir enlaces a los recursos web salientes y también para realizar análisis de los recursos obtenidos.

Inicio rápido: ejecute su primer trabajo de rastreo en minutos

Para usar Sparkler, instale Docker y ejecute los siguientes comandos:

 # Step 0. Get the image
docker pull ghcr.io/uscdatascience/sparkler/sparkler:main
# Step 1. Create a volume for elastic
docker volume create elastic
# Step 1. Inject seed urls
docker run -v elastic:/elasticsearch-7.17.0/data ghcr.io/uscdatascience/sparkler/sparkler:main inject -id myid -su ' http://www.bbc.com/news '
# Step 3. Start the crawl job
docker run -v elastic:/elasticsearch-7.17.0/data ghcr.io/uscdatascience/sparkler/sparkler:main crawl -id myid -tn 100 -i 2     # id=1, top 100 URLs, do -i=2 iterations

Ejecutando Sparkler con un archivo de URL semilla:

1. Follow Steps 0-1
2. Create a file name seed-urls.txt using Emacs editor as follows:     
       a. emacs sparkler/bin/seed-urls.txt 
       b. copy paste your urls 
       c. Ctrl+x Ctrl+s to save  
       d. Ctrl+x Ctrl+c to quit the editor [Reference: http://mally.stanford.edu/~sr/computing/emacs.html]

* Note: You can use Vim and Nano editors also or use: echo -e " http://example1.comnhttp://example2.com " >> seedfile.txt command.

3. Inject seed urls using the following command, (assuming you are in sparkler/bin directory) 
$bash sparkler.sh inject -id 1 -sf seed-urls.txt
4. Start the crawl job.

Para rastrear hasta el final de todas las URL nuevas, use -i -1 , ejemplo: /data/sparkler/bin/sparkler.sh crawl -id 1 -i -1

Hacer contribuciones:

• Al código fuente
• a la documentacion

Contáctenos

Cualquier pregunta o sugerencia es bienvenida en nuestra lista de correo [email protected]. Alternativamente, puede utilizar el canal Slack para obtener ayuda http://irds.usc.edu/sparkler/#slack