shopify burst crawler

Shopify 버스트 크롤러

Shopify Burst 웹사이트(https://burst.shopify.com)에서 모든 스톡 사진에 대한 메타 정보를 다운로드하는 간단한 크롤러입니다. 2가지 크롤링 모드가 지원됩니다.

• BurstCrawler - 최신 사진 URL을 사용하여 크롤링을 시작합니다.
• BurstSitemapCrawler - 사이트맵 URL을 사용하여 크롤링을 시작합니다.

용법

두 크롤러 모두 동일한 API를 지원합니다.

 BurstCrawler crawler = new BurstCrawler ();

// or you could use the Sitemap crawler
crawler = new BurstSitemapCrawler ();

// this will crawl and return the entire bunch of results
// it is slow and may take a lot of time
List < BurstImage > images = crawler . crawl ();

// a streaming version if also available
GenericConsumer < BurstImage > collector = new GenericConsumer < BurstImage >() {

	@ Override
	public boolean consume ( BurstImage image ) {
		// do something with the image
		// ...
		
		// return a true if you want to continue crawling
		// or return, a false to stop the crawling
		return true ;
	}
};
crawler . crawl ( collector );

다운로드

현재 개발 스냅샷 JAR 다음과 같이 JitPack.io 사용하여 얻을 수 있습니다.

Maven에 다음 repository 추가합니다.

< repository >
	< id >jitpack.io</ id >
	< url >https://jitpack.io</ url >
</ repository >

그런 다음 종속성을 다음과 같이 추가하십시오.

< dependency >
    < groupId >com.github.sangupta</ groupId >
    < artifactId >shopify-burst-crawler</ artifactId >
    < version >1.0.0-SNAPSHOT</ version >
</ dependency >

버전 관리

릴리스 주기에 대한 투명성과 통찰력을 확보하고 이전 버전과의 호환성을 유지하기 위해 이 프로젝트는 가능한 한 의미 체계 버전 관리 지침에 따라 유지됩니다.

릴리스에는 다음 형식으로 번호가 매겨집니다.

<major>.<minor>.<patch>

그리고 다음 지침에 따라 구성되었습니다.

• 이전 버전과의 호환성을 깨면 주요 문제가 발생합니다.
• 이전 버전과의 호환성을 유지하면서 새로운 추가 기능으로 인해 사소한 문제가 발생합니다.
• 버그 수정 및 기타 변경 사항으로 인해 패치가 적용됩니다.

SemVer에 대한 자세한 내용은 http://semver.org/를 참조하세요.

특허

 shopify-burst-crawler
Copyright (c) 2017-2019, Sandeep Gupta

https://sangupta.com/projects/shopify-burst-crawler

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

	http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.