shopify burst crawler

shopify-burst-crawler

Простые сканеры для загрузки метаинформации для всех стоковых фотографий с веб-сайта Shopify Burst: https://burst.shopify.com. Поддерживаются 2 режима сканирования:

• BurstCrawler — начинает сканирование, используя URL-адрес последних фотографий.
• BurstSitemapCrawler — начинает сканирование по URL-адресу карты сайта.

Использование

Оба сканера поддерживают один и тот же API:

 BurstCrawler crawler = new BurstCrawler ();

// or you could use the Sitemap crawler
crawler = new BurstSitemapCrawler ();

// this will crawl and return the entire bunch of results
// it is slow and may take a lot of time
List < BurstImage > images = crawler . crawl ();

// a streaming version if also available
GenericConsumer < BurstImage > collector = new GenericConsumer < BurstImage >() {

	@ Override
	public boolean consume ( BurstImage image ) {
		// do something with the image
		// ...
		
		// return a true if you want to continue crawling
		// or return, a false to stop the crawling
		return true ;
	}
};
crawler . crawl ( collector );

Загрузки

Текущий JAR снимок разработки можно получить с помощью JitPack.io следующим образом:

Добавьте следующий repository в Maven:

< repository >
	< id >jitpack.io</ id >
	< url >https://jitpack.io</ url >
</ repository >

Затем добавьте зависимость как:

< dependency >
    < groupId >com.github.sangupta</ groupId >
    < artifactId >shopify-burst-crawler</ artifactId >
    < version >1.0.0-SNAPSHOT</ version >
</ dependency >

Управление версиями

Для прозрачности и понимания нашего цикла выпуска, а также для стремления поддерживать обратную совместимость, этот проект будет поддерживаться в максимально возможной степени в соответствии с рекомендациями по семантическому управлению версиями.

Релизы будут нумероваться в следующем формате:

<major>.<minor>.<patch>

И построен с учетом следующих рекомендаций:

• Нарушение обратной совместимости приводит к серьезным последствиям.
• Новые дополнения без нарушения обратной совместимости
• Исправления ошибок и различные изменения, внесенные в патч.

Для получения дополнительной информации о SemVer посетите http://semver.org/.

Лицензия

 shopify-burst-crawler
Copyright (c) 2017-2019, Sandeep Gupta

https://sangupta.com/projects/shopify-burst-crawler

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

	http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.