shopify burst crawler

shopify-burst-crawler

Rastreadores simples para baixar metainformações de todas as fotos do site Shopify Burst: https://burst.shopify.com. Existem 2 modos de rastreamento suportados:

• BurstCrawler - inicia o rastreamento usando o URL das fotos mais recentes
• BurstSitemapCrawler – inicia o rastreamento usando o URL do mapa do site

Uso

Ambos os rastreadores suportam a mesma API:

 BurstCrawler crawler = new BurstCrawler ();

// or you could use the Sitemap crawler
crawler = new BurstSitemapCrawler ();

// this will crawl and return the entire bunch of results
// it is slow and may take a lot of time
List < BurstImage > images = crawler . crawl ();

// a streaming version if also available
GenericConsumer < BurstImage > collector = new GenericConsumer < BurstImage >() {

	@ Override
	public boolean consume ( BurstImage image ) {
		// do something with the image
		// ...
		
		// return a true if you want to continue crawling
		// or return, a false to stop the crawling
		return true ;
	}
};
crawler . crawl ( collector );

Transferências

O JAR instantâneo de desenvolvimento atual pode ser obtido usando JitPack.io como:

Adicione o seguinte repository ao Maven,

< repository >
	< id >jitpack.io</ id >
	< url >https://jitpack.io</ url >
</ repository >

Em seguida, adicione a dependência como,

< dependency >
    < groupId >com.github.sangupta</ groupId >
    < artifactId >shopify-burst-crawler</ artifactId >
    < version >1.0.0-SNAPSHOT</ version >
</ dependency >

Versionamento

Para maior transparência e compreensão do nosso ciclo de lançamento, e para nos esforçarmos para manter a compatibilidade com versões anteriores, este projeto será mantido sob as diretrizes de Versionamento Semântico tanto quanto possível.

Os lançamentos serão numerados com o seguinte formato:

<major>.<minor>.<patch>

E construído com as seguintes diretrizes:

• Quebrar a compatibilidade com versões anteriores prejudica o principal
• Novas adições sem quebrar a compatibilidade com versões anteriores superam o menor
• Correções de bugs e alterações diversas prejudicam o patch

Para obter mais informações sobre SemVer, visite http://semver.org/.

Licença

 shopify-burst-crawler
Copyright (c) 2017-2019, Sandeep Gupta

https://sangupta.com/projects/shopify-burst-crawler

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

	http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.