shopify burst crawler

Shopify-バーストクローラー

Shopify Burst Web サイト: https://burst.shopify.com からすべてのストック写真のメタ情報をダウンロードするためのシンプルなクローラー。次の 2 つのクロール モードがサポートされています。

• BurstCrawler - 最新の写真の URL を使用してクロールを開始します
• BurstSitemapCrawler - サイトマップ URL を使用してクロールを開始します

使用法

どちらのクローラーも同じ API をサポートしています。

 BurstCrawler crawler = new BurstCrawler ();

// or you could use the Sitemap crawler
crawler = new BurstSitemapCrawler ();

// this will crawl and return the entire bunch of results
// it is slow and may take a lot of time
List < BurstImage > images = crawler . crawl ();

// a streaming version if also available
GenericConsumer < BurstImage > collector = new GenericConsumer < BurstImage >() {

	@ Override
	public boolean consume ( BurstImage image ) {
		// do something with the image
		// ...
		
		// return a true if you want to continue crawling
		// or return, a false to stop the crawling
		return true ;
	}
};
crawler . crawl ( collector );

ダウンロード

現在の開発スナップショットJAR JitPack.io使用して次のように取得できます。

次のrepository Maven に追加します。

< repository >
	< id >jitpack.io</ id >
	< url >https://jitpack.io</ url >
</ repository >

次に、依存関係を次のように追加します。

< dependency >
    < groupId >com.github.sangupta</ groupId >
    < artifactId >shopify-burst-crawler</ artifactId >
    < version >1.0.0-SNAPSHOT</ version >
</ dependency >

バージョン管理

リリース サイクルの透明性と洞察を確保し、下位互換性の維持に努めるため、このプロジェクトはできる限りセマンティック バージョニング ガイドラインに基づいて維持されます。

リリースには次の形式で番号が付けられます。

<major>.<minor>.<patch>

そして、次のガイドラインに従って構築されました。

• 下位互換性を破ると大きな問題が発生する
• 下位互換性を損なうことなく新しい機能を追加すると、マイナーな問題が発生します
• バグ修正とその他の変更によりパッチが変更される

SemVer の詳細については、http://semver.org/ をご覧ください。

ライセンス

 shopify-burst-crawler
Copyright (c) 2017-2019, Sandeep Gupta

https://sangupta.com/projects/shopify-burst-crawler

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

	http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.