YayCrawler 分散クローラーシステムのダウンロード-YayCrawler 分散クローラーシステム v1.0 ソースコードのダウンロード

YayCrawler 分散クローラーシステム v1.0

JAVAソースコード

1.0

ダウンロード

YayCrawler 分散型クローラーシステム、使いやすく、高度な構成。拡張可能で、開発作業負荷を軽減し、Docker 化でき、さまざまなコアフレームワークに適応します: WebMagic、Spring Boot、MongoDB、ActiveMQ、Spring + Quartz、Spring Jpa、Druid、Redis、Ehcache、SLF4J、Log4j2、Bootstrap +。 Jクエリなど

プロジェクトの目標

能力を最大限に発揮して、Web クローラー開発者の生産性を最大化します。これは、クローラーフレームワークに新しい風を吹き込むことになります。

主な機能

WebMagic をベースに開発された完全な分散型クローラーフレームワークの特徴は次のとおりです。

1. 完全分散型: 管理端末 (Admin)、ディスパッチ端末 (Master)、および複数のワーカーで構成され、各コンポーネントは HTTP プロトコルを介して通信します。

2. 完全に構成可能: 管理者側のページ構成ルールを通じて、どの Web サイトからのデータもクロールできます。もちろん、Web サイトによって難易度は異なり、ログイン、確認コード、IP などの問題を処理するためのコンポーネントも異なります。ブロッキングなど。

3. スケーラブルなタスクキュー: タスクキューは Redis によって実装されます。タスクのステータスに応じて、初期、実行、成功、失敗の 4 つの異なるタスクキューがあります。さまざまなタスクスケジューリングアルゴリズムを拡張することもできます。デフォルトは公平なスケジューリングです。

4. 定義可能な永続化方法: クロール結果では、属性データはデフォルトで MonogoDB に永続化され、画像はファイルサーバーにダウンロードされます。もちろん、さらに多くのストレージタイプを拡張することもできます。

5. 安定性と耐障害性: クローラータスクはすべて再試行され、タスクが本当に成功した場合にのみ、失敗の理由が説明されます。

テクノロジーの選択

コアフレームワーク: Webmagic Springブート

タスクのスケジューリング: Spring + Quartz

永続層フレームワーク: Spring JPa

データベースと接続プール: Alibaba Druid MongoDB MySql

キャッシュフレームワーク: Redis Ehcache

ログ管理：SLF4J、Log4j2

フロントエンドフレームワーク: Bootstrap + Jquary

開発環境の構成

1.JDK8をインストールする

2. 解析ルールなどのデータを保存するには、mysql データベースをインストールします。「yayCrawler」のデータベースインスタンスを作成し、quartz 関連のデータベーススクリプトquartz.sql を実行する必要があります (リリースパッケージまたはソースコードを参照)。

3.redisをインストールする

4. mongoDB をインストールして結果データを保存する

5. FTP サーバーソフトウェア ftpserver をインストールします (オプション。ダウンロードしたイメージを保存するために使用します)。

起動手順

プロジェクトをインポートし、Maven install を実行して、Admin、Worker、Master モジュールをインストールします。次に、生成された Jar をcrawler.worker/deploy ディレクトリにコピーし、構成ファイル内の Redis と mysql mogodb の IP を忘れずに変更し、start.bat をクリックして開始します。

(Linux および Windows) java -jar worker.war --spring.config.location=worker_local.properties

閉じるコマンド

(Windows) for /f "tokens=1-5 delims= " %%a in ('"netstat -ano|findstr "^:8086""') do taskkill /f /pid %%e