shopify burst crawler

shopify-burst-crawler

Des robots d'exploration simples pour télécharger des méta-informations pour toutes les photos d'archives du site Web Shopify Burst : https://burst.shopify.com. Il existe 2 modes d'exploration pris en charge :

• BurstCrawler - commence à explorer en utilisant l'URL des dernières photos
• BurstSitemapCrawler - commence l'exploration à l'aide de l'URL du plan du site

Usage

Les deux robots prennent en charge la même API :

 BurstCrawler crawler = new BurstCrawler ();

// or you could use the Sitemap crawler
crawler = new BurstSitemapCrawler ();

// this will crawl and return the entire bunch of results
// it is slow and may take a lot of time
List < BurstImage > images = crawler . crawl ();

// a streaming version if also available
GenericConsumer < BurstImage > collector = new GenericConsumer < BurstImage >() {

	@ Override
	public boolean consume ( BurstImage image ) {
		// do something with the image
		// ...
		
		// return a true if you want to continue crawling
		// or return, a false to stop the crawling
		return true ;
	}
};
crawler . crawl ( collector );

Téléchargements

L'instantané de développement actuel JAR peut être obtenu à l'aide de JitPack.io comme :

Ajoutez le repository suivant à Maven,

< repository >
	< id >jitpack.io</ id >
	< url >https://jitpack.io</ url >
</ repository >

Ajoutez ensuite la dépendance comme,

< dependency >
    < groupId >com.github.sangupta</ groupId >
    < artifactId >shopify-burst-crawler</ artifactId >
    < version >1.0.0-SNAPSHOT</ version >
</ dependency >

Gestion des versions

Par souci de transparence et de compréhension de notre cycle de publication, et pour s'efforcer de maintenir la compatibilité ascendante, ce projet sera maintenu autant que possible selon les directives de gestion des versions sémantiques.

Les versions seront numérotées selon le format suivant :

<major>.<minor>.<patch>

Et construit avec les directives suivantes :

• La rupture de la rétrocompatibilité annule le problème majeur
• De nouveaux ajouts sans rompre la compatibilité ascendante modifient le mineur
• Les corrections de bugs et les modifications diverses modifient le correctif

Pour plus d'informations sur SemVer, veuillez visiter http://semver.org/.

Licence

 shopify-burst-crawler
Copyright (c) 2017-2019, Sandeep Gupta

https://sangupta.com/projects/shopify-burst-crawler

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

	http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.