sparkler

Brilhante

Um rastreador da web é um programa de bot que busca recursos da web para construir aplicativos como mecanismos de pesquisa, bases de conhecimento, etc. Sparkler (contração do Spark-Crawler) é um novo rastreador da web que faz uso dos avanços recentes na computação distribuída e domínios de recuperação de informações conglomerando vários projetos Apache como Spark, Kafka, Lucene/Solr, Tika e pf4j. Sparkler é um rastreador da web extensível, altamente escalonável e de alto desempenho que é uma evolução do Apache Nutch e roda no Apache Spark Cluster.

OBSERVAÇÃO:

Sparkler está sendo proposto para Apache Incubator. Revise o documento da proposta e dê suas sugestões aqui aqui Será feito mais tarde, eventualmente!

Recursos notáveis ​​do Sparkler:

• Fornece maior desempenho e tolerância a falhas: O pipeline de rastreamento foi reprojetado para aproveitar as vantagens do cache e da capacidade de tolerância a falhas do Apache Spark.
• Suporta análises complexas e quase em tempo real: A estrutura de dados interna é um armazenamento indexado desenvolvido pelo Apache Lucene e tem a funcionalidade para responder a consultas complexas quase em tempo real. Apache Solr (com suporte autônomo para início rápido e modo de nuvem para escalabilidade horizontal) é usado para expor a análise do rastreador por meio da API HTTP. Essas análises podem ser visualizadas usando gráficos intuitivos no painel do administrador (em breve).
• Transmite o conteúdo em tempo real: opcionalmente, o Apache Kafka pode ser configurado para recuperar o conteúdo de saída conforme e quando o conteúdo estiver disponível.
• Renderização de Java Script Executa o código javascript em páginas da web para criar o estado final da página. A configuração é fácil e indolor, escalável distribuindo o trabalho no Spark. Ele preserva as sessões e os cookies para as solicitações subsequentes feitas a um host.
• Estrutura de plugin extensível: Sparkler foi projetado para ser modular. Ele suporta plug-ins para estender e personalizar o comportamento do tempo de execução.
• Analisador universal: Apache Tika, o kit de ferramentas de detecção e análise de conteúdo mais popular que pode lidar com milhares de formatos de arquivo, é usado para descobrir links para recursos da web de saída e também para realizar análises em recursos buscados.

Início rápido: executando seu primeiro trabalho de rastreamento em minutos

Para usar o sparkler, instale o docker e execute os comandos abaixo:

 # Step 0. Get the image
docker pull ghcr.io/uscdatascience/sparkler/sparkler:main
# Step 1. Create a volume for elastic
docker volume create elastic
# Step 1. Inject seed urls
docker run -v elastic:/elasticsearch-7.17.0/data ghcr.io/uscdatascience/sparkler/sparkler:main inject -id myid -su ' http://www.bbc.com/news '
# Step 3. Start the crawl job
docker run -v elastic:/elasticsearch-7.17.0/data ghcr.io/uscdatascience/sparkler/sparkler:main crawl -id myid -tn 100 -i 2     # id=1, top 100 URLs, do -i=2 iterations

Executando o Sparkler com arquivo de URLs iniciais:

1. Follow Steps 0-1
2. Create a file name seed-urls.txt using Emacs editor as follows:     
       a. emacs sparkler/bin/seed-urls.txt 
       b. copy paste your urls 
       c. Ctrl+x Ctrl+s to save  
       d. Ctrl+x Ctrl+c to quit the editor [Reference: http://mally.stanford.edu/~sr/computing/emacs.html]

* Note: You can use Vim and Nano editors also or use: echo -e " http://example1.comnhttp://example2.com " >> seedfile.txt command.

3. Inject seed urls using the following command, (assuming you are in sparkler/bin directory) 
$bash sparkler.sh inject -id 1 -sf seed-urls.txt
4. Start the crawl job.

Para rastrear até o final de todos os novos URLS, use -i -1 , Exemplo: /data/sparkler/bin/sparkler.sh crawl -id 1 -i -1

Fazendo contribuições:

• Para o código-fonte
• Para a documentação

Contate-nos

Quaisquer dúvidas ou sugestões são bem-vindas em nossa lista de discussão [email protected] Alternativamente, você pode usar o canal do Slack para obter ajuda http://irds.usc.edu/sparkler/#slack