Perayap sederhana untuk mengunduh informasi meta untuk semua stok foto dari situs web Shopify Burst: https://burst.shopify.com. Ada 2 mode perayapan yang didukung:
Kedua crawler mendukung API yang sama:
BurstCrawler crawler = new BurstCrawler ();
// or you could use the Sitemap crawler
crawler = new BurstSitemapCrawler ();
// this will crawl and return the entire bunch of results
// it is slow and may take a lot of time
List < BurstImage > images = crawler . crawl ();
// a streaming version if also available
GenericConsumer < BurstImage > collector = new GenericConsumer < BurstImage >() {
@ Override
public boolean consume ( BurstImage image ) {
// do something with the image
// ...
// return a true if you want to continue crawling
// or return, a false to stop the crawling
return true ;
}
};
crawler . crawl ( collector );
Snapshot pengembangan JAR
saat ini dapat diperoleh menggunakan JitPack.io
sebagai:
Tambahkan repository
berikut ke Maven,
< repository >
< id >jitpack.io</ id >
< url >https://jitpack.io</ url >
</ repository >
Kemudian tambahkan ketergantungan sebagai,
< dependency >
< groupId >com.github.sangupta</ groupId >
< artifactId >shopify-burst-crawler</ artifactId >
< version >1.0.0-SNAPSHOT</ version >
</ dependency >
Untuk transparansi dan wawasan tentang siklus rilis kami, dan untuk upaya mempertahankan kompatibilitas ke belakang, proyek ini akan dipertahankan sebisa mungkin berdasarkan pedoman Versi Semantik.
Rilisan akan diberi nomor dengan format berikut:
<major>.<minor>.<patch>
Dan dibangun dengan pedoman sebagai berikut:
Untuk informasi lebih lanjut tentang SemVer, silakan kunjungi http://semver.org/.
shopify-burst-crawler
Copyright (c) 2017-2019, Sandeep Gupta
https://sangupta.com/projects/shopify-burst-crawler
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.