shopify burst crawler

rastreador-shopify-burst

Rastreadores simples para descargar metainformación para todas las fotografías de archivo del sitio web de Shopify Burst: https://burst.shopify.com. Se admiten 2 modos de rastreo:

• BurstCrawler: comienza a rastrear utilizando la URL de las fotos más recientes
• BurstSitemapCrawler: comienza a rastrear utilizando la URL del mapa del sitio

Uso

Ambos rastreadores admiten la misma API:

 BurstCrawler crawler = new BurstCrawler ();

// or you could use the Sitemap crawler
crawler = new BurstSitemapCrawler ();

// this will crawl and return the entire bunch of results
// it is slow and may take a lot of time
List < BurstImage > images = crawler . crawl ();

// a streaming version if also available
GenericConsumer < BurstImage > collector = new GenericConsumer < BurstImage >() {

	@ Override
	public boolean consume ( BurstImage image ) {
		// do something with the image
		// ...
		
		// return a true if you want to continue crawling
		// or return, a false to stop the crawling
		return true ;
	}
};
crawler . crawl ( collector );

Descargas

La instantánea de desarrollo actual JAR se puede obtener usando JitPack.io como:

Agregue el siguiente repository a Maven,

< repository >
	< id >jitpack.io</ id >
	< url >https://jitpack.io</ url >
</ repository >

Luego agregue la dependencia como,

< dependency >
    < groupId >com.github.sangupta</ groupId >
    < artifactId >shopify-burst-crawler</ artifactId >
    < version >1.0.0-SNAPSHOT</ version >
</ dependency >

Versionado

Para lograr transparencia y conocimiento de nuestro ciclo de lanzamiento, y para esforzarnos por mantener la compatibilidad con versiones anteriores, este proyecto se mantendrá según las pautas de control de versiones semánticas tanto como sea posible.

Los lanzamientos se numerarán con el siguiente formato:

<major>.<minor>.<patch>

Y construido con las siguientes pautas:

• Romper la compatibilidad con versiones anteriores afecta a la mayoría
• Las nuevas incorporaciones sin romper la compatibilidad con versiones anteriores superan al menor
• Las correcciones de errores y cambios varios superan el parche

Para obtener más información sobre SemVer, visite http://semver.org/.

Licencia

 shopify-burst-crawler
Copyright (c) 2017-2019, Sandeep Gupta

https://sangupta.com/projects/shopify-burst-crawler

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

	http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.