shopify burst crawler

shopify-burst-crawler

Einfache Crawler zum Herunterladen von Metainformationen für alle Stockfotos von der Shopify Burst-Website: https://burst.shopify.com. Es werden zwei Crawling-Modi unterstützt:

• BurstCrawler – beginnt mit dem Crawlen unter Verwendung der URL der neuesten Fotos
• BurstSitemapCrawler – beginnt mit dem Crawlen unter Verwendung der Sitemap-URL

Verwendung

Beide Crawler unterstützen dieselbe API:

 BurstCrawler crawler = new BurstCrawler ();

// or you could use the Sitemap crawler
crawler = new BurstSitemapCrawler ();

// this will crawl and return the entire bunch of results
// it is slow and may take a lot of time
List < BurstImage > images = crawler . crawl ();

// a streaming version if also available
GenericConsumer < BurstImage > collector = new GenericConsumer < BurstImage >() {

	@ Override
	public boolean consume ( BurstImage image ) {
		// do something with the image
		// ...
		
		// return a true if you want to continue crawling
		// or return, a false to stop the crawling
		return true ;
	}
};
crawler . crawl ( collector );

Downloads

Das aktuelle Entwicklungs-Snapshot JAR kann mit JitPack.io wie folgt abgerufen werden:

Fügen Sie Maven das folgende repository hinzu:

< repository >
	< id >jitpack.io</ id >
	< url >https://jitpack.io</ url >
</ repository >

Fügen Sie dann die Abhängigkeit hinzu als:

< dependency >
    < groupId >com.github.sangupta</ groupId >
    < artifactId >shopify-burst-crawler</ artifactId >
    < version >1.0.0-SNAPSHOT</ version >
</ dependency >

Versionierung

Aus Gründen der Transparenz und des Einblicks in unseren Veröffentlichungszyklus sowie des Strebens nach Abwärtskompatibilität wird dieses Projekt so weit wie möglich gemäß den Richtlinien zur semantischen Versionierung verwaltet.

Veröffentlichungen werden im folgenden Format nummeriert:

<major>.<minor>.<patch>

Und nach folgenden Richtlinien konstruiert:

• Die Aufhebung der Abwärtskompatibilität bringt den Großteil ins Wanken
• Neue Ergänzungen ohne Beeinträchtigung der Abwärtskompatibilität beeinträchtigen den Minderjährigen
• Fehlerbehebungen und sonstige Änderungen runden den Patch ab

Weitere Informationen zu SemVer finden Sie unter http://semver.org/.

Lizenz

 shopify-burst-crawler
Copyright (c) 2017-2019, Sandeep Gupta

https://sangupta.com/projects/shopify-burst-crawler

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

	http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.